큰 수의 법칙

큰 수의 법칙(큰 數의 法則, 영어: law of large numbers) 또는 대수의 법칙, 라플라스의 정리는 큰 모집단에서 무작위로 뽑은 표본의 평균이 전체 모집단의 평균과 가까울 가능성이 높다는 통계와 확률 분야의 기본 개념이다.

약한 법칙

큰 수의 약한 법칙(또는 대수의 약법칙)은 확률 변수의 무한열 X₁, X₂, X₃, ...이 모두 같은 기댓값 μ, 분산 σ²을 가지고 서로 상관 관계가 없을 때(임의의 두 확률 변수 사이의 상관 계수가 0), 표본의 평균

${\overline {X}}_{n}=(X_{1}+\cdots +X_{n})/n$

이 μ로 수렴한다는 것이다. 다시 적자면, 어떤 작은 양의 수 ε에 대해서도

$\lim _{n\rightarrow \infty }\operatorname {P} \left(\left|{\overline {X}}_{n}-\mu \right|<\varepsilon \right)=1$

이 성립한다.

일반화

대수의 약법칙은 각 X₁, X₂, X₃, ...이 모두 기댓값 $\mu _{i}$ 에 대하여 independent identically distributed를 만족하고, 분산 $\sigma _{i}^{2}$ 이 다르더라도 분산의 합 $\sum _{i=1}^{\infty }\sigma _{i}^{2}$ 이 무한대로 발산한다면 성립한다. 이 경우의 공식화는 임의의 작은 양수 ε에 대해서 다음과 같다.

• $\lim _{n\to \infty }P(|{\frac {\sum _{i=1}^{n}X_{i}-\sum _{i=1}^{n}\mu _{i}}{\sum _{i=1}^{n}\sigma _{i}^{2}}}|>\epsilon )=0$

성립 조건

위의 일반화된 대수의 약법칙이 성립할 조건을 약화시킬 수 있다. 먼저 $Y_{n}$를 다음과 같이 정의하자.

• $Y_{n}={\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu _{i})$

그러면, $X_{i}$ 의 확률변수열이 위의 일반화된 대수의 약법칙에 따르기 위한 필요충분조건은 다음과 같다.

• $\lim _{n\to \infty }E({\frac {Y_{n}^{2}}{1+Y_{n}^{2}}})=0$

강한 법칙

큰 수의 강한 법칙(또는 대수의 강법칙)은 확률 변수의 무한열 X₁, X₂, X₃, ... 이 주어지고, 각 확률 변수가 E(|X_i|) < ∞  이고 (기댓값 μ), 서로 독립이며 동일한 분포일 때,

$\operatorname {P} \left(\lim _{n\rightarrow \infty }{\overline {X}}_{n}=\mu \right)=1$

이 성립한다. 즉 표본의 평균은 거의 확실하게 μ로 수렴한다.

같이 보기

• 중심 극한 정리

참고 문헌

• 최용갑, 《확률론의 기초》, 경문사, 2006.
• 위키피디아, iid, 2021. 10. 20., https://en.wikipedia.org/wiki/Independent_and_identically_distributed_random_variables,