비모수통계

1. 들어가며 Introduction

비모수(nonparametric) 통계방법은 모수적(parametric) 방법에 비해 여러 장점을 누린다. 주요 장점은 다음과 같다.

• 자료가 나온 모집단에 대해 가정을 더 적게 요구한다.
• 이상치(outlier)에 상대적으로 둔감하다.
• 절차가 직관적이고 이해하기 쉽다.

비모수통계의 가장 이른 연구는 1710년 Arbuthnott이 부호검정의 선구적 형태를 만든 것, 1904년 Spearman이 순위상관 절차를 제안한 것으로 거슬러 올라간다. 그러나 이 분야의 체계적 발전은 1930년대 말~1940년대에 Friedman, Kendall, Mann–Whitney, Smirnov, Wilcoxon의 선구적 논문들과 함께 시작되었다고 보는 것이 일반적이다. 초기 발전의 대부분은 직관적이었고, 가능한 이상치의 영향을 줄이기 위해 관측값 자체가 아니라 그 순위(rank)에 기반했다.

이후 Quenouille가 영리한 편향감소 기법인 잭나이프(jackknife)를 고안하여 비모수 절차를 다양한 상황에 쓸 수 있게 했다. Hodges와 Lehmann은 순위검정으로부터 점추정량을 유도하고 이들이 바람직한 성질을 가짐을 증명했으며, 이 접근은 비모수방법을 회귀 같은 더 일반적 상황으로 확장시켰다. 현대의 중요한 진전으로는 Efron의 부트스트랩(bootstrap)이 있는데, 이는 모수적·이론적 접근이 다루기 어려운 복잡한 상황에서도 비모수 절차를 쓸 수 있게 한 컴퓨터 집약적 기법이다. 끝으로 현대 컴퓨터의 속도 덕분에 평활화(smoothing) 기법(비모수 밀도추정, 비모수 회귀가 대표적)이 보험계리 응용을 포함해 실무에서 인기를 얻고 있다.

2. 일표본 위치문제 One-sample Location Problem

연속 누적분포함수 F와 중앙값 μ를 갖는 모집단에서 뽑은 확률표본 Z₁, …, Z_n이 있다 하자. 관심은 μ에 대한 추론이다. 즉 H₀: μ = μ₀ 대 H_A: μ > μ₀(또는 μ < μ₀, 또는 μ ≠ μ₀)를 검정한다. 순서통계량을 Z₍₁₎ ≤ … ≤ Z_(n)로 표기한다.

부호검정 Sign Test

F의 연속성 외에 다른 가정을 하지 않으면, 적절한 검정통계량은 부호검정 통계량이다.

B는 μ₀을 넘는 표본관측의 개수를 센다(이런 형태를 계수통계량이라 한다). H₀이 참일 때 B는 모수 n, p = P(Z_i > μ₀) = 1/2인 이항분포를 따른다(μ₀이 F의 중앙값이므로). 따라서 B는 분포무관 통계량이다 — 귀무분포가 기반분포 F에 의존하지 않는다. 관측값 B_obs에 대한 유의수준 α 검정의 기각역은 이항(n, 1/2)분포의 백분위수로 정해진다.

μ의 신뢰구간은 보통 검정을 뒤집어(invert) 구성한다. 양측 부호검정을 뒤집으면 μ의 (1−α)100% 신뢰구간 (Z_(bα/2), Z_{(n+1−bα/2)})을 얻으며, 점추정량은 μ̃ = median{Z₁, …, Z_n}이다.

윌콕슨 부호순위검정 Wilcoxon Signed-rank Test

같은 문제에 F가 μ에 대해 대칭이라는 가정을 추가하면, 표준적 접근은 윌콕슨 부호순위검정 통계량에 기반한다.

여기서 R_i는 |Z₁−μ₀|, …, |Z_n−μ₀| 가운데 |Z_i−μ₀|의 순위다. 즉 T⁺는 μ₀을 넘는 관측들의 |Z−μ₀| 순위 합이다. H₀이 참이면 (i) Z_i−μ₀의 부호와 크기가 독립이고, (ii) 순위가 1,…,n의 모든 순열에 균등분포하므로 T⁺ 역시 분포무관이다. 신뢰구간은 월시 평균(Walsh average) W_ij = (Z_i+Z_j)/2 (1 ≤ i ≤ j ≤ n)의 순서통계량에 기반하며, 점추정량은 월시 평균들의 중앙값인 Hodges–Lehmann 추정량이다.

3. 이표본 위치문제 Two-sample Location Problem

연속 cdf F, G를 갖는 두 모집단에서 독립표본 X₁,…,X_n1과 Y₁,…,Y_n2가 있고, 두 분포가 위치만 이동(shift)한 관계 G(x) = F(x−Δ)라 하자. 관심은 이동 Δ가 0인지다(H₀: Δ = 0). 가장 널리 쓰이는 절차는 윌콕슨–만–휘트니(Wilcoxon–Mann–Whitney) 순위합 통계량에 기반한다.

여기서 R_i는 두 표본을 합친 N = n₁+n₂개 관측 가운데 Y_i의 순위다. H₀이 참이면 W는 분포무관이다. 신뢰구간은 차이값 U_ij = Y_j−X_i의 순서통계량에 기반하고, Δ의 점추정량은 Hodges–Lehmann 추정량 Δ̂ = median{U_ij}이다.

4. 관련 문제와 확장 Related Problems and Extensions

위치모형과 밀접하거나 이를 일반화하는 두 유형의 문제가 있다. 하나는 위치 이외의 차이(척도, 위치–척도, 또는 일반적 차이)를 보는 것이고, 다른 하나는 k > 2개 분포의 위치를 동시에 비교하는 것이다.

척도·위치–척도·일반대안 Scale, Location–Scale, General Alternatives

척도문제에서는 두 분포가 척도 σ₁, σ₂만 다르다고 보고 H₀: σ₁ = σ₂를 검정한다. 가장 흔한 절차는 Ansari–Bradley 통계량 C로, 합친 표본을 작은 값부터 정렬한 뒤 가장 작은 값과 가장 큰 값에 점수 1, 두 번째에 2, … 식으로 안쪽으로 점수를 매겨 한 표본의 점수합을 본다. 위치–척도문제에서는 중앙값과 척도가 모두 다를 수 있다고 보고, WMW의 W와 Ansari–Bradley의 C를 표준화해 결합한 Lepage 통계량 L을 쓴다. 일반대안(F₁, F₂의 모든 종류의 차이)에서는 잘 알려진 콜모고로프–스미르노프(Kolmogorov–Smirnov) 통계량을 쓴다.

여기서 d는 n₁, n₂의 최대공약수, F̂_1,n1·F̂_2,n2는 두 표본의 경험분포함수(EDF)다.

일원배치 분산분석 One-way Analysis of Variance

자료가 k > 2개의 서로 독립인 표본이고 각 모집단이 중앙값 μ_i와 cdf F_i(x) = F(x−τ_i)를 가질 때(τ_i는 위치효과), 관심은 효과들 τ₁,…,τ_k의 차이다. H₀: τ₁ = … = τ_k를 일반대안에 대해 검정할 때는 크루스칼–왈리스(Kruskal–Wallis) 검정이 가장 흔히 쓰인다. 순서대안에는 Jonckheere–Terpstra 검정, 우산형 대안에는 Mack–Wolfe 기법이 적절하다. H₀이 기각되면 어느 모집단이 다른지 알아내는 다중비교·대비추정으로 이어진다.

5. 독립성 검정 Independence

연속 이변량 모집단에서 표본 (X₁, Y₁), …, (X_n, Y_n)이 있을 때 H₀: X와 Y가 독립을 검정한다. 연관 강도를 어떻게 재느냐에 따라 접근이 다르며, 여기서는 두 대표 절차를 본다.

스피어만 ρ Spearman's rho

1904년 도입된 스피어만 순위상관계수 ρ는 현재 쓰이는 가장 오래된 비모수 측도일 것이다. 이는 실제 관측값 대신 순위 벡터에 적용한 피어슨 상관계수와 같으며, 계산에 편리한 형태는 다음과 같다.

여기서 R_i^X, R_i^Y는 각 표본에서 X_i, Y_i의 순위다. 양의/음의 연관, 비독립 대안에 대해 임계값 ρ_α로 기각역이 정해진다.

켄달 τ Kendall's tau

1938년 Kendall이 도입한 켄달 모상관계수 τ는 다음으로 주어진다.

독립이면 τ = 0이다(역은 성립하지 않음). 검정통계량은 모든 쌍 (X_i,Y_i), (X_j,Y_j)에 대해 일치(concordant)면 +1, 불일치면 −1을 더한 K이며, 점추정량은 τ̂ = 2K/(n(n−1))이다.

6. 보험계리 응용: 경험적 접근 Empirical Approach

분포 F의 평균·분산·왜도·첨도 같은 특성은 F의 범함수(functional) T(F)로 나타낼 수 있다. 마찬가지로 평균초과함수, 손실제거비율, 여러 재보험 보험료 같은 보험계리 모수도 클레임분포 F의 범함수로 표현된다. 예컨대 우선순위 β·기대 클레임 수 λ인 초과손해(excess-of-loss) 재보험의 순보험료, 또는 공제액 d에 대한 손실제거비율 T(F) = ∫min(x,d)dF(x)/∫x dF(x) 등이다.

경험적 비모수 접근에서는 관심모수 T(F)를, F를 경험분포함수 F̂_n으로 바꾼 T(F̂_n)으로 추정한다(이를 대입(plug-in) 원리라 한다).

그다음 델타방법(delta method)으로 이런 추정량의 점근분포를 유도한다. 일정한 정칙조건 아래 이들은 평균 T(F), 분산 (1/n)∫[T′(F)]²dF를 갖는 점근정규를 따른다. 여기서 T′(F)는 방향도함수(Hadamard형)이며, 로버스트 통계 맥락에서는 영향함수(influence function)로도 알려져 있다. 이 접근은 초과손해·스톱로스 재보험 보험료, 파산확률, 종합클레임분포 추정 등 다양한 보험문제에 폭넓게 쓰인다.

7. 재표본 방법: 잭나이프와 부트스트랩 Resampling Methods

추정량 θ̂ = T(F̂_n)의 성능(편향·분산 등)을 평가하는 비모수적 방법이 재표본(resampling) 방법, 곧 부트스트랩이다. Efron이 Quenouille–Tukey 잭나이프의 확장으로 도입했다.

잭나이프(jackknife)는 점 X_i를 하나씩 빼고 θ̂를 다시 계산해 n개의 새 추정값 θ̂_(i)를 만든다(각각 크기 n−1 표본 기반). 이로부터 편향·분산을 추정한다. d ≥ 2개를 동시에 빼는 delete-d 잭나이프도 있다.

부트스트랩(bootstrap)은 경험분포 F̂_n(각 X_i에 질량 1/n)에서 크기 n의 표본을 복원추출해 X₁^*,…,X_n^*(부트스트랩 표본)을 얻고 θ̂를 다시 계산한다. 이를 b번 반복해 θ̂^*(1),…,θ̂^*(b)를 얻으면, 경험적 공식으로 편향·분산·표준편차·신뢰구간 등을 평가한다. 예컨대 표준편차의 부트스트랩 추정값은 다음과 같다.

8. 평활화 기법 Smoothing Techniques

비모수 밀도추정 Nonparametric Density Estimation

밀도 f를 알려진 모수족 가정 없이 추정하려 한다. 히스토그램류의 소박한 추정량은 '매끄러움'이 부족해 기술적 어려움이 있다. 이를 보정·일반화한 것이 커널(kernel) 추정량이다.

여기서 h > 0는 띠폭(bandwidth), K(·)는 적분이 1인 커널함수다(관측점마다 '봉우리'를 놓고 더하는 셈으로, K가 봉우리 모양을, h가 폭을 정한다). 핵심은 커널 K와 띠폭 h의 선택이다. 대표적 대칭커널로는 가우스 커널과 에파네치니코프(Epanechnikov) 커널이 있는데, 후자가 평균적분제곱오차(MISE) 기준으로 가장 효율적이다. 다만 가우스 커널의 MISE도 약 5%만 더 클 뿐이라 큰 손해는 없다. 최적 h는 미지의 밀도에 의존하므로, 교차검증 등 추가 기준이 동원된다.

비모수 회귀 Nonparametric Regression

가장 일반적인 회귀모형은 Y_i = m(x_i) + ε_i로, m(·)이 미지의 함수다. m의 형태를 지정하지 않으므로, 평활자(smoother)로 Y의 변동을 누그러뜨린다(이동직선·커널·국소회귀·스플라인 평활자 등). 스플라인은 여러 다항조각을 매듭(knot)에서 이어 붙인 곡선으로, 곡선의 매끄러움과 자료적합도 사이의 최적 절충을 찾는다. 거칠기벌점(roughness penalty) 추정량은 다음 최소화 문제를 푼다.

여기서 h는 평활모수(커널의 띠폭에 대응)이고, 이렇게 얻은 m̂(·)을 매듭이 예측값 x₁,…,x_n에 있는 3차 평활 스플라인(cubic smoothing spline)이라 한다. 순위에 기반한 회귀 절차도 고전적 비모수방법의 자연스러운 확장이다.

9. 맺음말 Final Remarks

비모수통계의 이론·응용을 더 보려면 응용지향서(Hollander–Wolfe 등)·이론 중급서·로버스트 회귀 전문서·Silverman의 밀도추정서·Simonoff의 평활화서, 부트스트랩 입문서(Efron–Tibshirani, Davison–Hinkley) 등을 참고하라. 소프트웨어로는 BMDP·Minitab·SAS·S-Plus·SPSS·Stata·STATISTICA·StatXact 등이 비모수 절차를 내장한다. 특히 StatXact는 정확 p값과 정확 신뢰구간을 산출하는 독특한 능력으로 주목할 만하다.

참고 및 관련 표제어

부록. 이 글에 나온 용어 (배경지식 보충)

• 비모수 / 분포무관 (nonparametric / distribution-free) — 분포꼴을 가정하지 않는 방법, 그리고 귀무분포가 기반분포 F에 의존하지 않는 통계량.
• 순위 (rank) — 관측값을 크기순으로 매긴 등수. 값 대신 순위를 써서 이상치·분포 가정에 둔감해진다.
• 부호검정 / 윌콕슨 부호순위검정 (sign / Wilcoxon signed-rank test) — 일표본 중앙값 추론. 후자는 대칭 가정을 추가로 이용.
• 윌콕슨–만–휘트니 (Wilcoxon–Mann–Whitney) — 두 표본 위치 비교의 비모수 검정(두 표본 t검정의 대응).
• 콜모고로프–스미르노프 (Kolmogorov–Smirnov) — 두 경험분포함수의 최대 차이로 모든 종류의 분포 차이를 검정.
• 크루스칼–왈리스 (Kruskal–Wallis) — k > 2개 집단의 위치를 비교하는 비모수 일원분산분석.
• 스피어만 ρ / 켄달 τ (Spearman's rho / Kendall's tau) — 순위에 기반한 두 변수 연관(상관) 측도.
• 경험분포함수 / 대입원리 (empirical cdf / plug-in) — F를 자료의 EDF F̂_n으로 대체해 모수 T(F)를 추정.
• 잭나이프 / 부트스트랩 (jackknife / bootstrap) — 점을 빼거나(잭나이프) 복원추출(부트스트랩)해 추정량의 편향·분산을 평가하는 재표본법.
• 커널 밀도추정 / 평활 스플라인 (kernel density estimation / smoothing spline) — 분포꼴 가정 없이 밀도·회귀곡선을 매끄럽게 추정하는 평활화 기법.

한국보험시장 현황 Korea Market Practice

비모수통계(Nonparametric Statistics)는 분포 형태를 미리 가정하지 않고 데이터 자체에서 통계적 구조를 추출하는 방법론으로, 국내 보험 계리의 다양한 분야에 활용된다. 카플란-마이어(Kaplan-Meier) 생존 추정량과 넬슨-알렌(Nelson-Alen) 누적위험률 추정량은 중도절단이 있는 생명보험 계약자 데이터에서 비모수적으로 생존함수를 추정하는 표준 도구다. 이 추정량은 제10회 경험생명표(2024.4) 산출 과정에서 연령별 원시위험률 추출에 사용된다.

손해보험에서는 경험적 분포함수(ECDF)와 커널 밀도 추정(KDE)이 대형 손해(CAT) 심도 분포 모형화에 활용된다. 분포 형태가 불명확하거나 장기 꼬리 구조가 중요한 자연재해 손해 데이터에서 비모수 추정을 먼저 수행한 뒤, 파레토·GPD 등 모수 분포를 적합하는 탐색적 방법이 표준 절차다. 극단값 이론(EVT)과 결합하여 100년 빈도 이상의 CAT 손해 추정에 사용된다.

IFRS17 최선추정(BEA) 가정 검증 시 비모수 검정(Kolmogorov-Smirnov, Wilcoxon, Mann-Whitney 등)이 경험 데이터와 가정의 적합성 평가에 사용된다. 계리사의 최선추정 가정 문서화 요건이 강화됨에 따라, 가정 설정 근거로 비모수 검정 결과를 포함하는 사례가 늘고 있다. 부트스트랩(bootstrap) 재표본 기법도 표본 불확실성 정량화의 표준 방법으로 내부 모형 검증에 활용된다.