효용이론(utility theory)은 위험이 따르는 자산들 사이의 선호(preference)를 정량화하는 이론이다. Savage(1954)의 확률론에 대한 공리적 기초와, von Neumann & Morgenstern(vNM, 1947)의 효용이론에 대한 공리적 정식화의 표준 틀은 다음을 가정한다. 먼저 (무한하거나) 유한한 자연상태(states of nature)의 집합 S = {s1, s2, …, sn}이 있고, 의사결정자(decision maker, DM)는 여기에 확률분포 P = (p1, p2, …, pn)를 부여한다.
하나의 행위(act, 또는 위험자산·확률변수)는 각 자연상태에 결과(consequence, outcome) c1, c2, …, cn을 대응시킨다. 따라서 행위란 상태집합 S에서 결과집합 C로 가는 함수(의 전부 또는 일부)이다. 이러한 행위는 확률 p를 함께 고려하면 하나의 복권(lottery)을 정의한다. 합리적 DM의 복권들 사이의 선호(L1 ⪰ L2 는 복권 L1이 L2보다 (약하게) 선호됨을 뜻함)는 다음 몇 가지 공리를 만족한다고 가정한다.
‘행위(act)’는 “어떤 선택을 했을 때 상태에 따라 어떤 결과가 나오는가”를 정한 함수이고, 거기에 각 상태의 확률이 붙으면 ‘복권(lottery)’이 된다. 즉 복권은 확률이 매겨진 결과들의 묶음이다. 효용이론은 “이 복권과 저 복권 중 어느 쪽을 더 좋아하는가”를 수학적으로 다룬다.
vNM1 — 완비성(Completeness). 임의의 두 복권은 서로 비교 가능하며, 선호관계 ⪰ 는 추이적(transitive)이다.
vNM2 — 연속성(Continuity). L1 ≻ L2 ≻ L3 일 때마다, L1과 L3의 확률혼합으로 얻어지는 복권 L4가 존재하여, DM이 L4와 L2 사이에서 무차별(L4 ∼ L2)하게 된다.
vNM3 — 독립성(Independence). 모든 α ∈ (0, 1)과 복권 L3에 대해, L1 ⪰ L2 인 것과 다음이 성립하는 것은 동치이다.
결과집합 위에 정의된 임의의 실수값 효용함수(utility function) U 에 대해, 복권 위에 정의된 기대효용 범함수(expected utility functional)
는 vNM 공리에 부합하게 복권들을 비교한다. von Neumann & Morgenstern은 이 공리들을 만족하는 모든 선호관계는 이러한 효용함수 표현을 가짐을 증명하였다. 나아가 이 효용함수는 아핀변환(affine transformation, 양수 곱하기 + 상수 더하기)을 제외하면 유일하다. 예컨대 DM이 무차별하지 않은 임의의 두 결과에 (올바른 순서로) 효용값을 임의로 정해 주면 효용함수가 유일하게 결정된다.
효용함수 U를 aU + b (단 a > 0)로 바꿔도 모든 복권의 선호 순서는 그대로 유지된다. 즉 효용의 절대 수치 자체에는 의미가 없고, 어느 쪽이 더 큰가 하는 순서와 비율만 의미가 있다. 온도를 섭씨로 재든 화씨로 재든 “더 뜨겁다”는 판단이 같은 것과 비슷하다.
한편 Savage는 (복권이 아니라) 행위들 사이의 선호에 대해 일곱 개의 공준(postulate)을 제시했는데, 그중 셋째 공준은 결과 위에 외생적으로 주어진 효용함수에 기반한다. 그는 이로부터 DM의 행위 선호를 대응되는 기대효용 사이의 부등호로 정확히 표현하는 확률분포의 존재와 유일성을 공리적으로 얻었다. 이 주관확률(subjective probability)을 베이즈 통계학에서는 사전분포(apriori distribution)라 부른다.
결과에 효용값을 부여하고 복권의 바람직함을 기대효용으로 측정한다는 발상은 18세기에 Daniel Bernoulli가 처음 제안했으며, 그는 이 맥락에서 로그효용(logarithmic utility)
을 주장했다. 정성적 비교로부터 확률을 정량적으로 끌어내는 발상은 1930년대에 de Finetti가 처음 도입했다.
현재 재산이 w = 100인 사람이 로그효용 U(x) = log x 를 가진다. 확률 1/2로 재산이 64가 되고, 확률 1/2로 100이 그대로 유지되는 위험에 노출되어 있다. 이 사람은 위험회피적인가?
기대재산은 0.5·64 + 0.5·100 = 82이다. 기대효용은 0.5·log 64 + 0.5·log 100 ≈ 0.5·4.159 + 0.5·4.605 = 4.382 이고, 기대재산의 효용은 log 82 ≈ 4.407 이다. 즉 E[U] < U(E[재산]) 이므로 위험을 싫어한다(위험회피). 이 사람은 기대손해(100−82=18)보다 다소 큰 보험료라도 내고 위험을 없애려 한다 — 이것이 보험수요의 근거다.
von Neumann & Morgenstern의 기대효용이론은 위험하에서의 의사결정에 대한 주류 미시경제학적 기초를 이룬다. 이 이론은 위험회피(risk aversion)를 효용함수 U의 오목성(concavity)으로 결정적으로 특징지었다. 즉 오목한 효용함수에 대해 옌센부등식에 의해
이 성립하여, DM은 위험자산 Y 보다 그 기대값 E[Y]를 (확실한 금액으로) 더 선호한다. 또한 두 DM 중 누가 더 위험회피적인가도 특징지었다 — 한 사람의 효용함수가 다른 사람의 효용함수의 오목함수(concave function)인 경우, 그 사람이 더 위험회피적이다.
이 Arrow–Pratt 특징짓기는 1960년대에 Arrow가 포트폴리오에서 분산투자 성향의 관점에서, Pratt가 완전보험(full insurance)을 살 성향의 관점에서 모형화하였다.
위험 X를 가진 사람이 “이만큼이면 위험을 통째로 넘기겠다”는 확실한 금액 P+를 최대보험료라 한다. 이는 보험 가입 후 효용과 미가입 시 기대효용이 같아지는 균형식
의 해이다. 효용이 오목하면 P+는 항상 기대손해 E[X]보다 크며, 이 차이가 곧 사람들이 순보험료를 넘는 금액을 기꺼이 내는 이유 — 보험산업이 존립하는 근거다.
Rothschild & Stiglitz는 1970년대에 평균보존 위험증가(Mean-preserving Increase in Risk, MPIR) 연구를 경제학에 도입했다. 이는 1930년대 Hardy & Littlewood에서 시작되어 1960년대 Strassen으로 이어진 것으로, 위험자산 사이의 선택을 개별 DM 차원에서 모든 (기대효용 극대화) 위험회피자의 집단 차원으로 끌어올렸다. 분산투자 성향에 관한 그들의 1971년 논문은, MPIR 의미에서 더 위험해진 위험자산의 보유량을 모든 위험회피자가 줄이지는 않음을 보이고, 줄이는 부분집합을 특징지었다. 이 연구는 효용이론과 확률순서(stochastic ordering, 확률분포 공간의 부분순서) 연구를 융합하는 강력한 흐름을 촉발했다.
한편 이렇게 날카롭고 명료한 공리적 정식화는 도입과 확산 이후 그것에 대한 생산적 비판의 도구가 되기도 했다. Ellsberg는 Savage 공준과 모순되는 행위 선택의 예들을 제시했고, Allais는 규범적 행동이 vNM 공리와 충돌하는 복권 쌍의 예를 제안했다. Kahnemann & Tversky의 1979년 인간 피험자 실험은 Allais의 주장을 확인했다. 이러한 비일관성들은 논쟁적인 vNM 독립성 공리를 약화한 형태와, Savage·vNM 양쪽이 고집한 선호의 완비성을 완화한 효용이론 일반화 학파로 가는 길을 열었다.
효용이론은 보험 수요와 보험료 원리의 경제학적 기반이다. 소비자가 순보험료(기대손실)보다 높은 보험료를 수용하는 현상 — 국내 보험 시장에서 실손·종신·연금 등 전 계층에 걸쳐 관찰되는 — 은 오목 효용함수를 가진 위험회피 소비자의 합리적 선택으로 설명된다. 역으로, 보험사는 위험을 분산함으로써 기대손실에 부하를 얹어 수익을 창출하는 구조가 성립한다.
국내 보험 상품 설계에서 효용이론의 영향은 보장 범위·자기부담금·갱신 구조 설정에 나타난다. 소비자의 손실 회피 성향이 강할수록 갱신 시 보험료 인상에 민감하게 반응하는 경향이 있어, 보험사는 초기 보험료를 낮게 설정하고 갱신 시 인상하는 구조를 취해 왔다. 5세대 실손보험(2026.5)의 비급여 자기부담률 상향은 도덕적 해이 억제와 소비자 효용 균형 사이의 규제적 조정이다.
보험료 원리 중 지수효용(exponential utility) 기반의 지수 보험료(exponential premium)는 재보험 시장에서 전통적으로 사용되어 왔다. 코리안리 및 외국계 재보험사가 위험 인수 시 사용하는 요율 산출 방법론에는 이 원리가 내재되어 있으며, 특히 경험통계가 부족한 특종보험·대형 물건에서 효용 기반 판단이 보완적 역할을 한다.
지수효용함수 u(x) = (1 - e^{-αx})/α 에서 도출된 지수 보험료 원리는 H(X) = (1/α)ln E[e^{αX}]로 표현된다. 위험 회피 계수 α가 클수록 부하율이 높아진다. 재보험사가 자기 자본 대비 인수 규모를 제한하는 규칙은 이 원리의 실무 번역이다. 국내 대형 손보사의 자체 재보험 보유 한도 설정도 유사한 논리를 따른다.