과소·과대산포

1. 개요: 산포란 무엇인가 Introduction

실제 데이터를 다루다 보면, 가정한 모형이 예측하는 변동성과 다른 변동성을 보이는 자료를 자주 만난다. 관찰된 변동성이 예상보다 크면 이를 과대산포(over­dispersion), 예상보다 작으면 과소산포(under­dispersion)라 부른다.

경험적 분산과 명목상의 분산 사이의 이러한 차이는, 모형의 기본 가정 일부가 성립하지 않기 때문에 생긴다고 해석할 수 있다. 이러한 가정 위반은 그것이 생겨나는 메커니즘에 따라 분류할 수 있다. 전통적인 실험 상황에서는 개별 관측값 간의 독립성 결여, 전염(contagion), 군집화(clustering), 이질성(heterogeneity) 같은 모집단 구조에서의 일탈로 인해 생긴다. 관찰 연구 상황에서는 확인(조사) 방법 자체가 원인이 되어 관측값이 부분적으로 왜곡될 수 있다.

이 두 경우 모두, 관찰된 값 x는 확률변수 X의 관측값이 아니라, 그 확률분포가 X의 원래 분포를 왜곡한 다른 확률변수 Y의 관측값이다. 이 관찰된 분포의 분산은 원래 분포가 예상하는 것보다 클 수도(과대산포), 실무에서는 훨씬 드물지만 작을 수도(과소산포) 있다.

이러한 현상은 1세기 넘게 주목받아 왔다. 렉시 비율(Lexis ratio)은 모집단이 실제로 군집으로 구조화되어 있을 때, 가정한 이항분포 모형 대비 과대·과소산포의 존재를 검정하는 최초의 통계량으로 알려져 있다. 그 값이 1을 넘으면 과대산포, 1보다 작으면 과소산포를 나타낸다. 계수(count) 자료에 대해서는 피셔(Fisher)가 표본 산포지수를 이용해 포아송분포의 적절성을 검정하는 방법을 제안했다.

2. 산포지수와 산포의 모형화 Dispersion Index & Modeling

하나의 모수만 가진 단일모수 분포로 데이터를 분석한다는 것은, 분산이 평균에 의해 결정된다는 것을 의미한다. 과대·과소산포는 이 관계를 깨뜨린다. 단일모수 족에 적합한 통계량을 그대로 쓰면 효율이 떨어질 수 있으므로(다만 산포가 아주 작을 때는 그렇지 않을 수도 있다), 과대·과소산포를 제대로 표현해주어야 한다. 산포 정도를 재는 가장 간단한 척도는 산포지수(dispersion index), 즉 분산과 평균의 비율이다.

이 값이 1보다 크면 과대산포, 1보다 작으면 과소산포, 1이면 포아송과 일치한다. 과대·과소산포를 표현하는 방법은 여러 가지가 있으며, 아래에서 가장 중요한 것들을 설명한다.

3. 개별 응답 간 독립성 결여 Lack of Independence

사고 연구 상황에서, 실제로 발생한 x건의 사고 중 각 사고가 확률 p로 보고되지만 서로 독립적이지 않다면(상관 ρ ≠ 0), 보고된 총 사고 수 Y의 평균은 np이고 분산은 다음과 같다.

ρ > 0이면 Y의 분산이 독립 시행을 가정한 이항분포 모형보다 커져 과대산포가 되고, ρ < 0이면 작아져 과소산포가 된다.

4. 전염 모형 Contagion

분산이 부풀려지는 또 다른 경로는, 짧은 시간 구간에서 사건이 발생할 확률이 일정하다(이전 발생 횟수에 영향받지 않는다)는 가정의 실패에서 비롯된다. 이는 고전적 전염 모형으로 이어지는데, 처음엔 모든 개체가 사고를 당할 확률이 같지만 사고를 당할 때마다 그 확률이 바뀜다고 가정한다. 시간 t까지 y건의 사고를 겪은 사람이 t에서 t+dt 사이에 한 건을 더 겪을 확률이 (k + my)dt 형태라고 하면, Y의 분포는 음이항분포가 되고 평균과 분산은 다음과 같다.

분산이 평균의 e^mt배이므로(계수 1보다 크므로) 과대산포가 된다. 이 모형은 문헌에서 기간(spells) 모형으로도 알려져 있으며, 다른 형태의 과대산포 분포로도 이어질 수 있다.

5. 군집화 Clustering

모집단의 군집 구조도 과대·과소산포를 유발할 수 있다. 사고 상황에서, N건의 사고에 연루된 사람이 입은 부상 건수 Y는, 각 사고에서 비롯된 부상 수 Y_i들의 합 Y = Y₁ + Y₂ + ⋯ + Y_N로 자연스럽게 생각할 수 있다. 여기서 Y_i들은 동일하게 분포하며 총 사고 수 N과는 독립이라고 가정한다. 즉 하나의 사고를 부상들의 군집으로 본다. 이 경우 Y의 평균과 분산은 다음과 같다(여기서 μ, σ²은 Y₁의 평균·분산).

N이 평균 = 분산인 포아송변수이면, σ² + μ²이 1보다 크냐 작냐에 따라 과대산포 또는 과소산포가 된다. 이 유형의 최초 모형은 크레스웰·프로겟(Cresswell & Froggatt)이 제안했으며, 각 사람이 모든 사고가 일어나는 “상태가 나쁜 기간(spells)”을 겪는다고 가정하여 음이항분포로 이어졌다.

6. 이질성과 혼합분포 Heterogeneity & Mixtures

과대·과소산포를 일으키는 또 다른 일탈은, 실제로는 이질적인(개체마다 사건 발생 확률이 일정하지만 서로 다른) 모집단을 동질적이라고 가정하는 데서 온다. 이 경우 각 구성원은 자신만의 모수 θ 값을 가지며, θ는 평균 μ·분산 σ²을 가지는 확률분포 G에 따라 개체마다 달라지는 “비동질성 모수”로 볼 수 있다. 그러면 관찰된 Y의 분포는 다음과 같은 혼합분포(mixture)가 된다.

이러한 모형에서 Y의 분산은 두 부분으로 나뉘어진다. 하나는 θ의 변동에서 오는 분산, 다른 하나는 분포 자체의 고유 변동에서 오는 분산이다(총분산의 분해, 분산분석 ANOVA의 “집단 간·집단 내” 분해와 같은 원리).

이 분산 관계는 혼합모형이 왜 종종 과대산포 모형으로 불리는지를 설명해 준다. 특히 포아송(θ) 분포의 경우에는 다음이 성립한다. 즉 포아송을 섞으면 분산은 항상 평균보다 커지므로 과대산포가 된다.

7. 혼합포아송과 음이항분포 Mixed Poisson & Negative Binomial

역사적으로 혼합포아송분포는 그린우드·우즈(Greenwood & Woods)가 사고 연구에서 처음 다루었다. 개인의 사고 경험이 모수 θ를 가진 포아송분포이고, θ가 평균 μ·지수모수 μ/γ의 감마분포를 따라 개인마다 달라진다고 가정하면, Y의 분포는 음이항분포가 된다. 이 관찰된 분포에서 Y의 평균과 분산은 다음과 같으며, 여기서 γ가 과대산포 모수 역할을 한다.

혼합포아송 과정은 뒤부르디외(Dubourdieu)에 의해 계리 문헌에서 널리 알려졌고, 감마 혼합 경우는 티리온(Thyrion)이 다루었다. 이항 혼합, 음이항 혼합, 정규 혼합, 지수 혼합 등 다양한 혼합분포가 여러 과대산포 자료에 대해 개발되었다. 실무에서는 θ에 유한 단계(finite­step) 분포를 가정하고 관측값을 묶어 군집을 만드는 유한 혼합모형(군집분석)도 자주 사용된다.

8. GLM·랜덤효과와 일반화 GLM & Random Effects

이질성 모형을 설명변수가 있는 모형으로 확장하면, Y의 모수 θ가 회귀모형 θ = η(x; β) + ε에 따라 개체마다 달라진다고 가정할 수 있다. 이를 랜덤효과 모형(random effect model)이라 하며, 일반화선형모형(GLM) 광범위하게 연구되었다. 예를 들어 포아송 회귀에서 데이터 Y_i가 평균 θ의 포아송을 따르고 다음과 같이 둔다고 하자(여기서 ε는 평균 0, 분산 φ).

그러면 Y의 주변분포는 더 이상 포아송이 아니라 혼합포아송이 되며, 혼합분포는 ε의 분포에 의존한다. 음이항 회귀와 포아송·역가우시안(Poisson inverse Gaussian) 회귀모형이 포아송 회귀의 과대산포 대안으로 제안되었다.

9. 혼합모형에서의 추정과 검정 Estimation & Testing

회귀모형을 포함한 혼합모형은 다양한 형태의 “분산–평균 관계”를 허용한다. 따라서 E(Y) = μ(β), V(Y) = σ²(μ(β), λ)와 같이 두면, 모멘트법과 준우도(quasi­likelihood)·의사우도(pseudolikelihood) 방법 등을 쓸 수 있다.

과대·과소산포의 존재 검정은 점근 논증을 이용해 수행할 수 있다. 콕스(Cox)는 표본의 밀도를 f(y; μ_θ)(1 + ε·h(y; ϕ_θ)) 형태로 전개했는데, 이 족은 ε > 0이면 과대산포, ε < 0이면 과소산포, ε = 0이면 산포 문제가 없음을 나타낸다. 콕스는 ε = 0 가설에 대한 검정을 제안했으며, 이는 표준 산포 검정의 일반화로 볼 수 있다.

10. 확인(조사) 방법의 영향 Method of Ascertainment

자연이 어떤 모형에 따라 생성한 관측값을 수집할 때, 관측값의 부분적 손실·증폭 등 여러 이유로 원래 분포가 그대로 재현되지 않을 수 있다. 손실형을 손상(damage) 모형, 증폭형을 생성(generating) 모형이라 한다. 계리 상황에서는 사람들이 사고는 과소보고하는 경향(보고된 Y ≤ 실제 X)이 있고 손해는 과대보고하는 경향(보고된 Y ≥ 실제 X)이 있어, 이 모형들이 유용한 해석 수단이 된다.

또 다른 왜곡은 표본 단위에 서로 다른 포함 확률을 주는 표본추출에서 온다. 값 x가 포함될 확률이 어떤 함수 w(x; β)에 비례한다면, 기록된 값은 다음 밀도를 가지는 Y의 값이다. 이를 가중분포(weighted distribution)라 하며, w(x; β) = x일 때 크기편향(size­biased) 분포라 부른다.

계리 데이터에서 가중함수는 보고편향을 나타낼 수 있어, 보고편향이 유발하는 과대·과소산포를 모형화하는 데 도움을 준다. 예를 들어 포아송(θ) 분포의 X에 w(x) = x를 적용하면 이동된 포아송(shifted Poisson)이 되어 분산이 1 + θ로 과대산포가 되고, w(x) = β^x를 적용하면 포아송(θβ)가 되어 β > 1이면 과대산포, β < 1이면 과소산포가 된다.

참고 및 관련 표제어

부록. 이 글에 나온 용어 (배경지식 보충)

• 과대산포·과소산포 (over·under­dispersion) — 관찰 분산이 모형 예상 보다 크거나(과대) 작은(과소) 현상.
• 산포지수 (dispersion index) — 분산을 평균으로 나눈 값. 1이면 포아송, 1 초과면 과대산포.
• 포아송분포 (Poisson) — 평균과 분산이 같은(평균=분산=θ) 대표적 계수 분포.
• 음이항분포 (negative binomial) — 과대산포 계수 분포. 감마로 혼합된 포아송으로도 유도됨.
• 혼합분포·혼합포아송 (mixture, mixed Poisson) — 모수가 개체마다 다르고 그 모수 자체가 분포를 따를 때 생기는 합성 분포.
• 이질성 (heterogeneity) — 개체들의 위험도(모수)가 서로 다른 성질. 과대산포의 주된 원인.
• 전염 (contagion) — 사건이 한 번 일어나면 다음 발생 확률이 바뀌는 구조. 음이항을 유도.
• 준우도 (quasi­likelihood) — 분포를 완전히 명시하지 않고 평균·분산 관계만으로 추정하는 방법(GLM에서 과산포 처리).
• 가중분포·크기편향 (weighted, size­biased) — 포함 확률이 크기에 비례해 왜곡된 표본에서 생기는 분포.
• 렉시 비율 (Lexis ratio) — 군집 구조에서 이항분포 대비 과대·과소산포를 검정하는 최초의 통계량.

한국보험시장 현황 Korea Market Practice

과소·과대산포(Under-/Overdispersion)는 관측 분산이 기준 분포(포아송의 경우 분산=평균)에서 벗어나는 현상이다. 국내 손해보험 요율 산정에서 자동차보험 사고건수 모형은 포아송 분포를 기본으로 하지만, 개인별 위험 이질성(heterogeneity)으로 인해 실제 데이터에서는 과대산포가 빈번히 관찰된다. 이 경우 음이항(Negative Binomial) 분포나 트윗디(Tweedie) 분포로 대체하여 분산 구조를 올바르게 모형화한다.

일반화선형모형(GLM) 기반 자동차보험 참조요율 산출 시 과대산포를 무시하면 표준오차가 과소 추정되어 유의하지 않은 변수가 유의하게 나타나는 오류가 발생한다. 금융감독원 참조요율 체계에서도 GLM의 분산함수 선택이 결과 요율의 신뢰성에 직접 영향을 미치므로, 데이터의 산포 수준을 진단 검정(산포 매개변수 φ 추정)으로 확인하는 것이 표준 절차다.

IFRS17 하에서 실손의료보험의 보험금 지급 건수 예측에도 산포 구조가 중요하다. 5세대 실손(2026.5 출시)에서 비중증 비급여 자기부담이 50%로 상향되며 의료이용 패턴이 변화하고 있어, 과거 경험 데이터에 기반한 건수 모형의 산포 가정을 주기적으로 재검토하는 작업이 최선추정(BEA) 가정 유효성 점검의 일환이다. 과소산포가 관찰되는 경우는 종목 특성상 비교적 드물지만, 단체보험 등 동질적 집단에서 관찰되기도 한다.