확률제어이론

1. 개요 Introduction

확률제어이론(stochastic control theory)은 확률과정의 거동을 동적(dynamic)으로 최적화하는 문제를 다룬다. 동적이라는 것은, 제어자(controller)가 주어진 각 시점에서 그때까지 이용 가능한 모든 정보에 근거해 새로운 결정을 내릴 수 있다는 뜻이다. 보험에서 나오는 전형적인 예는 다음과 같다.

예 1 (마틴뢰프, 이산시간 보험료 제어). 어떤 시점(예: 월말)에서 보험회사의 적립금(reserve)이

로 주어진다. 여기서 p는 고정된 기본 보험료율, Y_t는 기간 [t−1, t)의 총 청구액(i.i.d.로 가정)이다. 목표는 다음을 최대화하도록 (t, t+1)의 보험료율 p_t = p(X_t)를 고르는 것이다.

여기서 τ는 파산시각(time of ruin), α ∈ [0, 1]은 할인계수이다.

예 2 (아스무센–탁사르, 연속시간 배당). 적립금과정 X_t가 양의 표류(drift) μ와 확산계수 σ를 갖는 브라운운동으로 모형화된다. 회사가 율 D(t) ∈ [0, M]로 배당을 분배하면

이고(W는 표준 브라운운동), 목표는 파산까지의 모든 미래 배당의 현재 기대값을 최대화하는 것이다.

여기서 ρ > 0은 할인율이다.

예 3 (슈미들리, 복합포아송 비례재보험). 적립금과정의 고전적 연속시간 모형은 복합포아송 모형으로, 청구는 강도 λ의 포아송과정 N_t에 따라 도착하고 청구크기 Y_i는 분포 B를 갖는 i.i.d.이다. 회사가 보유율 a(t)로 비례재보험(proportional reinsurance)을 사용하면, 각 시각 t에 들어오는 청구의 비율 a(t)를 재보험에 넘긴다. 보유율 a에 대해 p(a)는 보험료율, Y^a는 재보험 후 청구크기이다. 이때 적립금은 다음과 같고, 최적 보유율을 고르는 기준은 파산확률 J_x(a) = r·P(τ < ∞)를 최소화하는 것이다(τ는 파산시각).

이 문제들에 대한 수학적 접근은 동적계획원리(Dynamic Programming Principle, DPP) 또는 벨만원리(Bellman Principle)에 기초한다. 다만 이론을 세울 때는 이산시간과 연속시간 최적화를 구분해야 한다. 여기서는 표기 편의상 제어 대상인 상태과정(state process)이 스칼라인 경우만 다루는데, 이는 고차원으로 쉽게 확장된다.

2. 이산시간 최적화 Discrete Time Optimization

이산시간에서 상태과정 X = (X_t)는, 미리 정해진 집합 A_t,x에서 값을 갖는 제어과정(control process) U = (U_t)로 제어된다(집합이 시각 t와 과정 X에 의존할 수 있음). F = (F_t)를 제어자가 이용 가능한 모든 정보를 기술하는 여과라 하면, U_t는 F_t-가측이어야 하고, 이러한 적합한 과정 전체를 허용제어(admissible control)의 집합 U로 나타낸다. 시각 t의 상태값은 시각 t−1의 상태와 제어에 의존하므로, 전이핵(transition kernel) P^u(dy) = P(X_t ∈ dy | X_t−1 = x, U_t−1 = u)를 정의한다.

두 가지(밀접히 관련된) 최적성 기준을 고려한다. 첫째는 유한지평(finite horizon) 문제로, 다음 형태의 가치함수를 찾는 것이 목표다.

여기서 첨자 n, x는 {X_n = x}에 대한 조건부를 뜻한다. 목표는 V_n(x) = J_n,x(U^*)가 되는 최적 제어함수 U^*(와 대응 상태과정 X^*)를 찾는 것이다.

정리 1. (8)로 정의된 함수열 V_n(x), n = 0, …, T는 동적계획원리(DPP)를 만족한다.

따라서 원하는 함수 V_n은 n = T에서 시작하여 (9)를 재귀적으로 적용해 구할 수 있다. (9)의 동기는 간단하다. U(n) = u인 임의의 제어 U를 생각하면, 미래 부분의 가치는 어떤 제어의 가치함수와 같고 따라서 V_n+1(y)보다 크지 않다. 그러므로 J_n,x(U) ≤ h(n, x, u) + E[V_n+1(X_n+1)]이 되고, 임의의 U에 대해 성립하므로 V_n(x)에서 등식이 성립한다. V_T(x) = g(x)는 자명하다.

마르코프 제어(피드백 제어)는 U_t = u(t, X_t) 형태의 제어이다(u는 결정론적 함수). 따름정리 1. (9)의 우변을 최대화하는 함수 u(n, x)가 존재하면, 최적제어는 마르코프 제어 U^*_t = u(t, X^*_t)이다.

둘째 기준으로 할인 무한지평(infinite horizon) 문제를 고려한다. 가치함수는 다음과 같다.

여기서 0 < α < 1은 할인계수이다. 우변이 잘 정의되도록 h가 성장조건을 만족한다고 가정하고(예: h 유계), U_t = u(X_t−1) 형태의 정상(stationary) 마르코프 제어만 고려한다.

정리 2. (12)로 정의된 가치함수 V는 다음 DPP를 만족한다.

나아가 (13)에서 최대화 함수 u(x)가 존재하면, 최적제어는 U^*_t = u(X^*_t)이다. 이 결과의 논증은 유한지평의 경우와 같다. 해가 존재하면 가치함수가 (13)의 유일한 해임을 보일 수 있고, 임의의 V₀(x)에서 시작해 V_n(x)를 갱신하는 고정점(fixpoint) 기법으로 근사할 수 있다.

무한지평 문제는 정지(stopping)를 포함할 수도 있다. 즉 어떤 집합 G로부터의 첫 탈출시각 τ = inf{t ≥ 0 : X_t ∉ G}를 두고 가치함수를 정의한다. 예 1로 돌아가면, 이는 g = 0, h(x, p) = p인 정지형 문제이며, ξ = x − p로 치환하면 문제는 V(x) = max[x − ξ + ∫V(ξ − y)B(dy)]이 되어, 어떤 임계값 ξ₁이 존재하여 최적선택이 결정되는 임계형(threshold) 구조를 갖는다.

3. 연속시간 최적화: 제어된 확산 Continuous-time Optimization: Controlled Diffusions

연속시간 최적화의 고전적 영역은 제어된 확산(controlled diffusion)이다. 보험 문제에서 제어된 확산의 사용은 보통 확산근사(diffusion approximation)에서 동기를 얻는다. 이 설정에서 상태과정 X는 다음 확률미분방정식(SDE)에 의해 지배된다.

여기서 s, x는 초기시각과 위치, W = {W(t)}는 표준 브라운운동, U = {U(t)}는 W가 생성하는 여과에 적합하며 어떤 영역 A_t,x에서 값을 갖는 제어과정이다. 허용제어 U는 (17)이 해 X를 갖도록 보장하는 조건을 만족하는 과정이다. 각 허용제어 U에 대해 성능기준(performance criterion) J_s,x(U)를 도입하는데, τ를 영역 G로부터 X의 첫 탈출시각이라 할 때 보통 다음 중 하나이다.

(a) 유한시간지평:

여기서 0 < T < ∞은 고정된 종료시각이다.

(b) 무한지평, 할인보수:

(c) 무한지평, 에르고딕(ergodic) 보수: 장기 평균보수의 극한을 사용한다. 경우 (b)와 (c)에서는 SDE (17)이 시간동질적이어야 한다(즉 μ, σ가 t에 명시적으로 의존하지 않음).

목표는 최적 가치함수 V(s, x) = sup_U J_s,x(U)와, 모든 s, x에 대해 V(s, x) = J_s,x(U^*)가 되는 최적제어 U^*를 찾는 것이다. 이 문제를 푸는 중요한 도구가, 최적 가치함수가 만족하는 2계 비선형 미분방정식인 해밀턴–야코비–벨만(Hamilton–Jacobi–Bellman, HJB) 방정식이다.

각 u ∈ A에 대해 무한소 생성작용소(infinitesimal operator)를 다음과 같이 정의한다.

정리 3 (HJB 방정식). 경우 (a)와 (b)에서 V ∈ C^1,2라 가정하면, V는 다음 HJB 방정식을 만족한다.

경우 (a)에서는 경계조건 V(T, x) = g(T, x) (x ∈ G)와 V(s, x) = g(s, x) (x ∈ ∂G, s < T)를 갖는다.

HJB 방정식에 대한 논증은 경우 (a)에 대해서만 제시한다. 유한시간 모형의 논증을 따라 임의의 정지시각 σ에 대해 DPP를 얻고, 작은 h > 0에 대해 σ = σ_h를 택해 이토 공식(Itô's formula)을 적용한 뒤, E[σ]로 나누고 h → 0의 극한을 취한다(극한과 상한의 교환을 가정). 다만 이러한 논증을 엄밀히 만들 수 있어도, V가 HJB를 만족할지를 미리 알 수는 없다. 검증정리(Verification Theorem)는 HJB의 해가 존재하면 그것이 최적 가치함수와 같음을, 그리고 최적제어를 어떻게 구성하는지를 보여준다.

정리 4 (검증정리). 경계조건을 만족하는 (22)의 해 F가 존재한다고 하자. u(s, x)를 V 대신 F를 넣은 (22)의 최대화자(maximizer)라 하고, X^*를 대응 상태과정으로 하여 U^*(t) = u(t, X^*(t))로 정의하면, F(s, x) = V(s, x) = J_s,x(U^*)이다.

무한지평 경우 (b)에서는 V(s, x) = e^−ρsV(0, x)임을 보일 수 있어 V(x) = V(0, x)만 고려하면 되고, 이때 HJB는 다음이 된다.

경계조건은 V(x) = g(x) (x ∈ ∂G)이다. 에르고딕 보수 경우 (c)에서는 최적 가치함수가 x에 무관한 상수 V(x) = λ임을 보일 수 있어 접근이 약간 다르다. 이 경우 퍼텐셜 함수(potential function) F(x)가 필요하며, 쌍 (F(x), λ)가 대응하는 HJB를 만족한다.

4. 적용: 배당최대화 예제 Application: Dividend Maximization

예 2(배당)에서는 HJB 방정식이 다음과 같이 됨을 쉽게 볼 수 있다.

가치함수가 오목(concave)함을 보일 수 있고, 그로부터 해가 뱅뱅(bang-bang) 해임이 쉽게 따른다. 즉 어떤 임계값 x₁이 존재하여, x < x₁이면 D(x) = 0(배당 안 함), x > x₁이면 D(x) = M(최대율 배당)이다. 이 관찰로부터 두 개의 상미분방정식(ODE)을 풀고 두 해를 x₁에서 매끄럽게 잇는(smooth fit) 방식으로 함수 V와 미지의 x₁을 쉽게 구성할 수 있다. 만약 배당율 제한을 없애 M = ∞으로 두면 HJB를 풀 수 없으나, 그래도 특이제어(singular control)를 써서 문제를 풀 수 있다.

이 배당최대화 문제는 재보험과 투자전략을 추가하는 일련의 논문으로 확장되었다.

5. 조각결정론적 마르코프 과정의 제어 Control of Piecewise Deterministic Markov Processes

조각결정론적 마르코프 과정(Piecewise Deterministic Markov Process, PDMP)은 비확산(non-diffusion) 연속시간 마르코프 과정의 한 부류이다. 이 과정 X = (X(t))는 분포 B를 갖는 크기 Y₁, Y₂, …의 점프를 강도 λ(x)로 가지며(도착시각 T₁, T₂, …), 점프 사이의 구간 (T_i, T_i+1)에서는 미분방정식 dX(t)/dt = f(t, X(t))에 따라 결정론적으로 진화한다. 제어할 때는 정상 마르코프 제어 U(t) = u(X(t))만 고려하고 λ = λ(x, u), B = B^u, f = f(x, u)로 둔다. 집합 G로부터 첫 탈출시각 τ에 대한 가치함수는 유사한 논증으로 다음 HJB를 만족한다.

여기서 무한소 생성작용소는 적분미분작용소(integro-differential operator)로, 결정론적 표류항 f(x, u)k'(x)와 점프항 λ(x, u)∫[k(x+y) − k(x)]B^u(dy)의 합이다. 따라서 HJB는 일반적으로 풀기 매우 어려운 비선형 적분미분방정식이 된다. 예 3(비례재보험)은 PDMP 설정에 해당하며, 청구크기가 지수분포이면 일부 제어문제는 명시적으로 풀린다.

참고 및 관련 표제어

부록. 이 글에 나온 용어 (배경지식 보충)

• 확률제어 (stochastic control) — 확률과정의 거동을, 매 시점 정보에 따라 제어를 조정하며 동적으로 최적화하는 이론.
• 상태과정 / 제어과정 (state / control process) — 제어 대상인 과정 X / 매 시점 선택하는 행동 U.
• 가치함수 (value function) V — 주어진 상태에서 최적으로 행동했을 때 얻는 최대 기대보수(또는 최소 비용).
• 동적계획원리 (DPP) / 벨만원리 — "가치 = 지금의 보수 + 다음 상태 가치의 기대값"이라는 재귀 구조.
• HJB 방정식 — 연속시간 가치함수가 만족하는 2계 비선형 (적분)미분방정식. DPP의 미분형.
• 무한소 생성작용소 (infinitesimal operator) L^u — 표류항(1계)과 확산항(2계)으로 함수의 순간 기대변화율을 주는 작용소.
• 검증정리 (verification theorem) — HJB의 해가 존재하면 그것이 최적 가치함수이며 최적제어를 구성해 줌을 보장하는 정리.
• 마르코프(피드백) 제어 / 정상 제어 — 현재 상태만의 함수인 제어 u(x); 시간에 무관하면 정상 제어.
• 뱅뱅 / 특이제어 (bang-bang / singular control) — 제어가 끝점만 취하는 해; 무한율 등으로 일반 HJB가 안 풀릴 때 쓰는 제어.
• PDMP — 구간마다 결정론적으로 흐르다 무작위 시점에 점프하는 마르코프 과정. 보험 적립금 모형에 적합.

한국보험시장 현황 Korea Market Practice

확률제어이론은 국내 보험 실무에서 변액보험 동적 자산배분과 ALM 최적 헤지 전략의 이론적 기반이다. 변액보험 펀드는 주식·채권·부동산 등 다양한 자산에 투자되며, 가입자의 위험 선호와 보증 조건을 동시에 고려해 최적 포트폴리오를 동태적으로 조정해야 한다. HJB(Hamilton-Jacobi-Bellman) 방정식을 통한 최적 제어 프레임워크가 이론 근거를 제공하지만, 다차원 상태변수와 불완비 시장 특성 때문에 수치 근사가 필수적이다.

보험사 잉여금(surplus) 관리에도 확률제어 접근이 적용된다. 배당 정책, 재보험 구매 시점, 자산배분 변경 등의 의사결정은 K-ICS 비율과 수익성을 동시에 고려해야 하는 다목적 최적화 문제다. ORSA(자체위험지급여력평가)에서 보험사는 다양한 스트레스 시나리오 아래 적기시정조치 회피를 위한 최적 자본 행동 계획을 사전에 수립해야 하며, 이는 확률제어의 전형적 응용이다.

K-ICS에서 내부모형을 활용하는 보험사는 위험 요소별 요구자본의 동적 변화를 추적하고, 헤지 비율과 자산배분을 실시간으로 조정하는 체계를 구축한다. 잉여금이 감독기준 아래로 떨어질 위험을 최소화하면서 장기 수익률을 극대화하는 문제는 확률제어의 전형적인 형태를 띠며, 이 분야의 학술 연구가 실무 내부모형 개발로 이어지는 경로가 국내에서도 형성되고 있다.