효용이론(utility theory)의 기본 형태는 보통 1기간 의사결정 문제(one-period decision problem)로 정식화된다. 투자자는 효용함수(utility function) u(W(1))을 가지는데, 여기서 W(1)은 투자기간이 끝나는 시점의 그녀의 부(wealth)이다. 시각 0에 주어진 투자기회 집합에 대해, 그녀는 시각 1에서의 기대효용(expected utility) E[u(W(1))]을 극대화하는 투자안을 선택한다.
즉, 효용극대화 문제란 "주어진 선택지 가운데 기대효용을 가장 크게 만드는 것을 고른다"는 원리다. 효용함수 u는 보통 증가함수이면서 오목(concave)한데, 이는 부가 많을수록 좋지만 그 추가 만족(한계효용)은 점점 줄어든다는 위험회피(risk aversion)를 나타낸다.
투자자가 단순히 기대수익(부의 기대값)만 본다면, 위험은 전혀 고려하지 못한다. 효용함수 u를 오목하게 두면, 같은 기대값이라도 결과가 덜 출렁이는(변동성이 작은) 쪽의 기대효용이 더 커진다. 그래서 E[u(W)]를 극대화하면 수익과 위험을 동시에 저울질하게 된다. 이것이 평균–분산 분석이나 포트폴리오 이론의 밑바탕이다.
이 이론은 다기간(multiperiod) 또는 연속시간(continuous-time) 설정으로 확장할 수 있다(예컨대 포트폴리오 이론 표제어의 2절을 보라). 이 경우 투자자는 보통 유동성 있는 투자시장(liquid investment market)에 놓여, 원하는 만큼 자유롭게 각 자산을 사고팔 수 있다(또는 공매도 금지처럼 개별 보유 규모에 제약을 둘 수도 있다).
이 맥락에서 간단한 예로, 그녀의 효용을 미래의 특정 시각 T에서의 부 W(T)의 함수로 측정한다고 하자. 이때의 효용함수를 최종효용함수(terminal utility function)라 부른다. 그러면 문제는 기대 최종효용(expected terminal utility)을 어떻게 극대화하는가가 된다.
이 문제를 풀려면 최적 확률제어(optimal stochastic control) 이론이 필요하다. 여기서 제어변수(control variable)는 투자전략이 되며, 많은 문제에서 최적 제어전략은 시간에 의존할 수 있고, 나아가 포트폴리오의 과거 성과에 의존하는 확률적(stochastic) 전략일 수도 있다.
투자자가 부를 운용하면서 동시에 소비 c(t)도 한다면, 목적함수는 평생에 걸친 소비의 (할인된) 기대효용으로 확장된다.
이렇게 소비–투자(consumption–investment)를 동시에 최적화하는 연속시간 문제를, 1969–1971년에 이를 푼 로버트 머튼(R. C. Merton)의 이름을 따 머튼 문제(Merton problem)라 부른다. 여기서 ρ는 시간선호(할인)율, π(t)는 위험자산 투자비중이다.
전형적인 머튼 문제에서는, 무위험이자율 r인 무위험자산과 기대수익률 μ·변동성 σ인 위험자산(기하 브라운운동)에 투자한다. 위험자산 비중을 π(t)라 하면 부 W(t)는 다음 확률미분방정식을 따른다(여기서 B(t)는 브라운운동).
효용함수가 상대위험회피도가 일정한(CRRA) 멱효용일 때,
최적 확률제어 이론(동적계획법·해밀턴–야코비–벨만 방정식)으로 풀면, 놀랍게도 위험자산에 투자하는 최적 비중이 일정한 상수로 나온다. 이를 머튼 비율(Merton fraction)이라 한다.
여기서 γ는 상대위험회피계수다. 이 결과는 위험자산의 초과수익률 (μ − r)이 클수록, 그리고 위험회피도 γ나 분산 σ2이 작을수록 위험자산을 더 많이 담아야 함을 명료하게 보여준다.
위험자산의 기대수익률 μ=0.10, 무위험이자율 r=0.04, 변동성 σ=0.20, 상대위험회피계수 γ=2 일 때 위험자산 최적 비중 π*는?
π* = (μ − r)/(γ σ2) = (0.10 − 0.04)/(2 × 0.04) = 0.06/0.08 = 0.75. 즉 부의 75%를 위험자산에, 25%를 무위험자산에 두는 것이 최적이며, 이 비율은 시간이나 부의 크기와 무관하게 일정하게 유지된다.
효용극대화는 파생상품 가격결정(derivative pricing) 문제에도 적용된다. 완비시장(complete market)에서는 파생상품이 반드시 무차익 가격(arbitrage-free price)으로 거래되어야 한다. 그렇지 않으면 투자자가 그 차익거래 기회를 이용해 기대 최종효용을 무한대로 끌어올릴 수 있기 때문이다.
불완비시장(incomplete market)에서는 효용극대화를 이용해, 특정 가격에 거래되는 파생상품에 대해 서로 다른 투자자들이 어떻게 반응하는지를 살펴볼 수 있다. 각 투자자는 자신만의 효용무차별가격(utility-indifference price)을 가진다. 실제 가격이 이보다 낮으면 그는 일정량을 매수하고, 높으면 파생상품을 공매도하려 할 수 있다.
효용무차별가격은 "그 파생상품을 보유하든 보유하지 않든 투자자의 최적 기대효용이 똑같아지는 가격"이다. 즉 이 가격이라면 거래해도 그만, 안 해도 그만이다. 완비시장에서는 이 가격이 모든 투자자에게 같고 무차익 가격과 일치하지만, 불완비시장에서는 투자자의 위험회피도와 기존 보유 자산에 따라 달라진다.
효용극대화 이론은 국내 보험 실무에서 보험 수요의 이론적 근거로 쓰이며, 변액보험 자산배분과 ALM 동적 최적화의 목적함수 설정에도 직접 연결된다. 위험회피 효용함수 아래에서 보험 가입은 유한한 부의 감소(보험료)를 감수하더라도 큰 손실의 불확실성을 제거하는 최적 선택이 된다. 국내 보험 감독 정책에서 설계사의 적합성 원칙(suitability principle)은 가입자의 위험 성향을 파악하고 효용에 맞는 상품을 권유해야 한다는 규범으로, 효용극대화의 규제 응용이다.
변액보험 투자 옵션에서 계약자의 자산배분 선택도 효용극대화로 해석된다. 보험사는 계약자의 투자 성향(공격형·안정형 등)을 분류하고 이에 맞는 펀드 포트폴리오를 제공한다. K-ICS 자본 최적화 문제 역시 효용 관점에서 재서술할 수 있다. 규제 자본 초과 보유량, 위험 인수 수준, 주주 배당 규모 사이에서 기업 가치를 극대화하는 것이 보험사 최고경영진의 효용 문제와 구조적으로 같다.
기대효용이론에 대한 비판(알레 역설, 손실 회피)은 국내 보험 판매 행태 설명에도 적용된다. 소비자가 기대값 이하의 보험료에도 소액 보험에 가입하거나, 낮은 확률의 대재해 보험을 기피하는 현상은 전망이론(prospect theory)으로 더 잘 설명된다. 이러한 행동경제학적 발견이 국내 보험 상품 개발과 판매 전략에도 영향을 미치고 있다.
국내 자본시장법과 보험업법은 금융회사가 고객의 위험 성향을 파악하고 이에 부합하는 상품을 권유하도록 의무화한다. 변액보험 가입 시 투자자 성향 진단(5~7단계 분류)을 반드시 실시하며, 공격적 성향 계약자에게는 주식 편입 비중이 높은 펀드를, 안정적 성향에는 채권 위주 펀드를 권유하는 것이 원칙이다. 이는 효용극대화 이론을 판매 규제로 번역한 실무 관행이다.