정보기준 (Information Criteria)

1. 아카이케 정보기준 AIC Akaike's Information Criterion

가장 깊이 연구되고 널리 쓰이는 정보기준은 아카이케(Akaike, 1973)의 정보기준이다. 이것은 고려 중인 모형과 미지의 자료생성 과정 사이의 쿨백–라이블러(Kullback–Leibler) 거리의 기대값을 추정해 만든 것이다. g(·)를 참 자료생성 밀도, f(·;θ)를 모수벡터 θ를 갖는 밀도족(모형)이라 하면, g와 f 사이의 쿨백–라이블러 거리는

이다. 참 밀도 g도 모수 θ도 미지이므로 이 양은 곧바로 쓸 수 없다. 먼저 θ를 최대우도 추정량 θ̂로 대체해 추정된 KL 거리를 얻고, θ̂가 확률변수이므로 그 기대값

을 생각한다. 이 기대값은 두 항의 차로 쓸 수 있는데, 첫째 항은 g에만 의존해 모든 후보 모형에 공통이고, 둘째 항은 기대 로그밀도다. 아카이케는 이를 자료의 최대화된 로그우도 log L(θ̂)=Σ log f(x_i;θ̂)로 추정하자고 제안했고, 이 추정 단계의 편향이 근사적으로 dim(θ)(모수벡터의 성분 개수)임을 보였다. 그 결과가 모형 f(·;θ)의 AIC 값이다:

여러 모형 f₁(·;θ₁),…,f_m(·;θ_m) 가운데서는 각각의 AIC 값을 만들어 가장 큰 모형을 고른다. 이 형태는 벌점화 로그우도다 — 적합도(log L)에서 복잡도(모수 수)를 벌점으로 깎는다. 부호를 바꿔 −2logL+2dim(θ)를 최소화하는 표기도 흔히 쓰인다. 중요한 점은, AIC와 그 파생 기준들을 만드는 데 참 밀도 g에 대한 지식이 전혀 필요 없다는 것이다.

소표본 보정과 변형. 표본이 작을 때 Hurvich & Tsai(1989)는 2차 편향 보정을 제안했다:

다케우치(Takeuchi, 1976)의 보정은 dim(θ) 대신 행렬곱 J(θ)I⁻¹(θ)의 대각합(trace)을 쓴다. 여기서 J(θ)=E[{(∂/∂θ)logL}{(∂/∂θ)logL}^t], I(θ)=E{−(∂²/∂θ∂θ^t)logL}이다:

모형이 참(f=g)이면 J(θ)=I(θ)(둘 다 피셔 정보행렬)가 되어 TIC는 AIC로 환원된다. 다만 이 행렬들의 계산·추정이 모든 모형에서 쉬운 것은 아니다. 그 밖에 신경망용 NIC, 준우도(quasi-likelihood)·준모수 및 가법모형 선택에의 응용 등 확장이 있고, 다중회귀·시계열에서의 응용 사례가 풍부하다.

2. 베이즈 정보기준 BIC와 DIC Bayesian information criteria

BIC(Schwarz 1978, Rissanen 1989)는 모수 개수에 표본크기의 로그를 곱해 벌점화한다:

이 기준은 자료가 주어졌을 때 모형의 사후확률의 로그를 근사하는 데서 나온다. 참 자료생성 모형이 후보 모형족 안에 있다면 BIC는 일치적으로(consistently) 옳은 모형을 골라낸다(지수족에서의 증명은 Haughton 1989). 이 가정이 성립하지 않으면 BIC가 고른 모형은 과소적합(모수를 너무 적게 사용)하는 경향이 있다.

DIC(Spiegelhalter et al. 2002) 역시 베이즈 방법에 기초한다. f(x|θ)를 θ가 주어진 X의 밀도, h(x)를 미지량에 의존하지 않는 완전히 지정된 자료의 함수라 하고(예: 지수족에서 h(x)=P(X=x|μ(θ)=x)), 베이즈 이탈도를

로 정의한다. 벌점항은 이탈도의 사후평균과 사후평균 모수에서의 이탈도의 차 p_D=D̄(θ)−D(θ̄)이고,

이다. DIC는 최소화해 모형을 고른다. p_D는 "유효 모수 개수"로 해석되며, MCMC 출력에서 바로 계산되어 베이즈 계층모형에서 특히 실용적이다.

예제 AIC와 BIC가 다른 모형을 고르는 경우

클레임 심도자료 n=200건에 (A) 지수분포(모수 1개, log L=−1310.0), (B) 감마분포(2개, −1306.5), (C) 일반화 파레토(3개, −1305.2)를 적합했다. AIC와 BIC(둘 다 "클수록 좋음" 형태)는 각각 어느 모형을 고르는가?

AIC는 C(−2616.4가 최대)를, BIC는 B(−2623.6이 최대)를 고른다. 모수 1개당 벌점이 AIC는 2, BIC는 log n≈5.3이라 BIC가 더 검소한 모형을 선호한 것이다. n이 커질수록 이 차이는 벌어진다 — 예측 정확도가 목적이면 AIC(C), 구조의 식별·해석이 목적이면 BIC(B)를 따르는 것이 통상의 지침이다.

3. 초점 정보기준 FIC The focused information criterion

평균 추정에 가장 좋은 모형과 분산 추정용으로 만든 모형은 다를 수 있다. FIC(Claeskens & Hjort 2003)의 출발점은 — "최선의 모형"은 관심을 둔 초점 모수(focus parameter)에 따라 달라진다는 것이다. 하나의 모형이 자료의 모든 측면을 설명하고 모든 유형의 미래 관측을 예측하리라 기대해서는 안 되며, FIC는 관심 모수에 맞춰 재단된 선택을 한다.

구성은 이렇다. 길이 p의 θ를 갖는 좁은 모형 f(x;θ)에 추가 모수 q-벡터 γ를 붙인 확장 모형 f(y;θ,γ)를 두고(γ=γ₀이면 좁은 모형), μ(θ,γ)를 초점 모수(예: 주어진 공변량에서의 평균 반응)라 하자. 과제는 q개의 추가 모수 중 어느 부분집합 S⊂{1,…,q}를 포함할지 정하는 것이다. 정보행렬을 I₀₀(p×p), I₀₁, I₁₀, I₁₁로 분할하고 K=(I₁₁−I₁₀I₀₀⁻¹I₀₁)⁻¹, ω=I₁₀I₀₀⁻¹(∂μ/∂θ)−(∂μ/∂γ), 부분집합별 K_S=(π_SK⁻¹π_S^t)⁻¹, H_S=K^−1/2π_S^tK_Sπ_SK^−1/2, δ̂=√n(γ̂_full−γ₀)을 정의하면(모두 최대 모형에서 일치추정 가능), FIC는 위험(리스크) 차이에 기초해

로 주어지고(ψ̂_S=ω̂^tK̂^1/2Ĥ_SK̂^−1/2δ̂), FIC 값을 최소화하는 모형을 고른다. K̂가 대각이면 다음처럼 단순해진다:

첫째 항은 변수를 빼서 생기는 편향², 둘째 항은 변수를 넣어 생기는 분산에 대응한다 — 초점 모수의 평균제곱오차를 부분집합별로 가늠하는 셈이다.

참고 및 관련 표제어

부록. 이 글에 나온 용어 (배경지식 보충)

• 쿨백–라이블러 거리 (Kullback–Leibler distance) — 참 분포 g 대신 모형 f를 쓸 때의 평균 정보 손실. 0 이상이며 f=g일 때만 0.
• 최대우도 추정량 θ̂ (MLE) — 관측자료의 우도 L(θ)를 최대화하는 모수값.
• 벌점화 로그우도 (penalized log-likelihood) — 적합도에서 모형 복잡도 벌점을 뺀 기준. AIC·BIC의 공통 골격.
• 피셔 정보행렬 (Fisher information matrix) — 로그우도 기울기의 분산(=2계 도함수 기대값의 음수). 모수 추정 정밀도의 척도.
• 대각합 tr (trace) — 정방행렬 대각원소의 합. TIC의 벌점항.
• 일치성 (consistency) — 표본이 커질수록 옳은 답(여기서는 참 모형)에 확률적으로 수렴하는 성질. BIC의 장점.
• 과소적합/과대적합 (underfit/overfit) — 모수가 너무 적어 구조를 놓침/너무 많아 잡음까지 학습함.
• 사후확률 (posterior probability) — 자료를 관측한 뒤의 모형(또는 모수) 확률. BIC가 그 로그를 근사.
• 유효 모수 개수 p_D — DIC의 벌점항. 계층모형처럼 모수 수가 모호할 때의 실질적 복잡도.
• 초점 모수 (focus parameter) — 분석의 최종 관심량(평균 반응, 분위수, 비율 등). FIC는 이것별로 모형을 고른다.
• 준우도 (quasi-likelihood) — 분포 전체 대신 평균–분산 관계만 지정해 만드는 우도 유사물. 과산포 모형에 사용.

한국보험시장 현황 Korea Market Practice

AIC·BIC는 한국 계리 실무에서 분포 적합과 변수 선택의 공용 심판으로 쓰인다. 손해 심도분포를 감마·로그정규·파레토·혼합 중 무엇으로 둘지 비교할 때, 빈도 모형을 포아송에서 음이항·영수정으로 확장할지 판단할 때, GLM 요율 분석에서 요율변수와 교호작용 항을 넣고 뺄 때 — 모수 수가 다른 모형들의 우도를 공정하게 비교하는 도구가 정보기준이다. 모수가 많은 모형이 우도에서 항상 이기는 문제를 벌점으로 교정한다는 발상은, "적합도가 좋다"는 보고에 "모수 몇 개로?"라는 질문을 붙이는 실무 감각과 같다.

모형 선택이 재무 수치로 직결되는 환경이라는 점이 한국적 맥락의 핵심이다. IFRS17 최선추정 가정(해지율·손해진전·사망률 추세)과 K-ICS 기초 분석에서 어떤 모형을 채택하는가는 부채와 요구자본의 크기로 이어지고, 무·저해지 상품의 해지율 가정처럼 모형·가정 선택의 재량이 회사 간 손익 차이를 만들었던 사례(2024년 가이드라인로 산출 원칙이 정비된 영역)는 "모형 선택의 규율"이 왜 필요한지를 보여 준 국내의 실물 교훈이다. 정보기준은 그 규율을 객관화하는 한 가지 — 유일하지는 않은 — 장치다.

본문의 AIC(예측 지향)와 BIC(진모형 식별 지향)의 성격 차이도 실무 선택에 반영된다. 다음 해 요율·예측이 목적이면 AIC 쪽, 보고서에 "데이터가 지지하는 가장 단순한 구조"를 남기는 것이 목적이면 표본이 클 때 더 검약한 BIC 쪽이 자연스럽다. 다만 어느 쪽이든 정보기준은 후보 집합 안의 상대 비교일 뿐이므로, 잔차 진단·홀드아웃 검증(최근 연도를 빼고 적합해 예측력을 보는 것)과 함께 써야 하며, 기준값 차이가 근소하면 해석 가능하고 단순한 모형을 고르는 것이 국내 검증 관행에 부합한다.