統計学基礎/確率分布/離散変数

二項分布

• 確率質量関数

1 回の試行で得られる結果が、α、β の2種類あるとする。 ここで1回の試行で α が得られる確率を θ とする。

n 回試行した時に α が k 回出る確率を f(k) とすると、

$f(k)={n \choose k}\theta ^{k}(1-\theta )^{n-k}$

と表すことができる。この分布を二項分布という。ただし、

${n \choose k}={}_{n}C_{k}={\frac {n!}{k!(n-k)!}}$

は n 個から k 個を選ぶ組合せの数（二項係数）である。二項分布という名前は、この二項係数にちなんでいる。
また n, θ (および1-θ)は定数である。このようなパラメータのことを母数という。θを母比率という。n，θが与えられれば，この分布は確定するので、この分布を B(n,θ) と表す。

この$f(k)$は、二項定理により

$\sum _{k=0}^{n}{n \choose k}\theta ^{k}(1-\theta )^{n-k}=(\theta +(1-\theta ))^{n}=1$

を満たすので、確かに確率質量関数となっている。

• 期待値

期待値 E(X)は、

${\begin{aligned}E(X)&=\sum _{k=0}^{n}k{n \choose k}\theta ^{k}(1-\theta )^{n-k}\\&=\sum _{k=1}^{n}k{\frac {n!}{k!(n-k)!}}\theta ^{k}(1-\theta )^{n-k}\\&=\sum _{k=1}^{n}n{\frac {(n-1)!}{(k-1)!(n-k)!}}\theta ^{k}(1-\theta )^{n-k}\\&=n\theta \sum _{k=1}^{n}{n-1 \choose k-1}\theta ^{k-1}(1-\theta )^{n-k}\\&=n\theta (\theta +(1-\theta ))^{n-1}\\&=n\theta \end{aligned}}$

である。

• 分散

分散 V(X)は

${\begin{aligned}V(X)&=\sum _{k=0}^{n}k^{2}{n \choose k}\theta ^{k}(1-\theta )^{n-k}-(n\theta )^{2}\\&=\sum _{k=1}^{n}(k(k-1)+k){n \choose k}\theta ^{k}(1-\theta )^{n-k}-(n\theta )^{2}\\&=\sum _{k=2}^{n}k(k-1){n \choose k}\theta ^{k}(1-\theta )^{n-k}+n\theta -(n\theta )^{2}\\&=\sum _{k=2}^{n}k(k-1){\frac {n!}{k!(n-k)!}}\theta ^{k}(1-\theta )^{n-k}+n\theta -(n\theta )^{2}\\&=\sum _{k=2}^{n}n(n-1){\frac {(n-2)!}{(k-2)!(n-k)!}}\theta ^{k}(1-\theta )^{n-k}+n\theta -(n\theta )^{2}\\&=n(n-1)\theta ^{2}\sum _{k=2}^{n}{n-2 \choose k-2}\theta ^{k-2}(1-\theta )^{n-k}+n\theta -(n\theta )^{2}\\&=n(n-1)\theta ^{2}(\theta +(1-\theta ))^{n-2}+n\theta -(n\theta )^{2}\\&=n\theta (1-\theta )\end{aligned}}$

である。

負の二項分布

• 確率質量関数

$r$を自然数の定数とし、$p$を$0<p<1$を満たす実数の定数とする。0以上の整数$k$に対し、

$f(k)={k+r-1 \choose k}(1-p)^{r}p^{k}$

と定める。ただし、${k+r-1 \choose k}$は二項係数である。この$f(k)$が確率質量関数であることは、以下のように確かめられる。

級数

$\sum _{k=0}^{\infty }x^{k}={\frac {1}{1-x}}$

の両辺を$r-1$階微分すると、

$\sum _{k=0}^{\infty }{\frac {(k+r-1)!}{k!}}x^{k}={\frac {(r-1)!}{(1-x)^{r}}}$

であるから、両辺に$x=p$を代入して${\frac {(1-p)^{r}}{(r-1)!}}$をかけると、

$\sum _{k=0}^{\infty }{k+r-1 \choose k}(1-p)^{r}p^{k}=1$

を得る。

以上により、この$f(k)$が確率質量関数であることが確かめられた。この確率質量関数によって定まる確率分布を、負の二項分布という。

• 期待値

期待値 E(X)は、

${\begin{aligned}E(X)&=\sum _{k=0}^{\infty }k{k+r-1 \choose k}(1-p)^{r}p^{k}\\&=\sum _{k=1}^{\infty }k{k+r-1 \choose k}(1-p)^{r}p^{k}\\&=\sum _{k=1}^{\infty }(k+r-1){k+r-2 \choose k-1}(1-p)^{r}p^{k}\\&=\sum _{k=0}^{\infty }(k+r){k+r-1 \choose k}(1-p)^{r}p^{k+1}\\&=p\left(\sum _{k=0}^{\infty }k{k+r-1 \choose k}(1-p)^{r}p^{k}+r\sum _{k=0}^{\infty }{k+r-1 \choose k}(1-p)^{r}p^{k}\right)\\&=p(E(X)+r)\\\end{aligned}}$

であるから、これを整理すると、

$E(X)={\frac {pr}{1-p}}$

を得る。

• 分散

分散 V(X)は、

${\begin{aligned}V(X)&=\sum _{k=0}^{\infty }k^{2}{k+r-1 \choose k}(1-p)^{r}p^{k}-\left({\frac {pr}{1-p}}\right)^{2}\\&=\sum _{k=0}^{\infty }(k(k-1)+k){k+r-1 \choose k}(1-p)^{r}p^{k}-{\frac {p^{2}r^{2}}{(1-p)^{2}}}\\&=\sum _{k=2}^{\infty }k(k-1){k+r-1 \choose k}(1-p)^{r}p^{k}+\sum _{k=0}^{\infty }k{k+r-1 \choose k}(1-p)^{r}p^{k}-{\frac {p^{2}r^{2}}{(1-p)^{2}}}\\&=\sum _{k=2}^{\infty }(k+r-1)(k+r-2){k+r-3 \choose k-2}(1-p)^{r}p^{k}+{\frac {pr}{1-p}}-{\frac {p^{2}r^{2}}{(1-p)^{2}}}\\&=\sum _{k=0}^{\infty }(k+r+1)(k+r){k+r-1 \choose k}(1-p)^{r}p^{k+2}+{\frac {pr}{1-p}}-{\frac {p^{2}r^{2}}{(1-p)^{2}}}\\&=p^{2}\left(\sum _{k=0}^{\infty }k^{2}{k+r-1 \choose k}(1-p)^{r}p^{k}+(2r+1)\sum _{k=0}^{\infty }k{k+r-1 \choose k}(1-p)^{r}p^{k}+r(r+1)\sum _{k=0}^{\infty }{k+r-1 \choose k}(1-p)^{r}p^{k}\right)+{\frac {pr}{1-p}}-{\frac {p^{2}r^{2}}{(1-p)^{2}}}\\&=p^{2}\left(V(X)+{\frac {p^{2}r^{2}}{(1-p)^{2}}}+{\frac {(2r+1)pr}{1-p}}+r(r+1)\right)+{\frac {pr}{1-p}}-{\frac {p^{2}r^{2}}{(1-p)^{2}}}\\&=p^{2}V(X)-{\frac {(1-p^{2})p^{2}r^{2}}{(1-p)^{2}}}+{\frac {pr(2p^{2}r+p^{2}+1)}{1-p}}+p^{2}r(r+1)\\&=p^{2}V(X)-{\frac {(1+p)p^{2}r^{2}}{1-p}}+{\frac {pr(2p^{2}r+p^{2}+1)}{1-p}}+{\frac {(1-p)p^{2}r(r+1)}{1-p}}\\&=p^{2}V(X)+{\frac {pr(1+p)}{1-p}}\\\end{aligned}}$

であるから、これを整理すると、

$V(X)={\frac {pr(1+p)}{(1-p)(1-p^{2})}}={\frac {pr}{(1-p)^{2}}}$

を得る。

ポアソン分布

• 確率質量関数

$\lambda$を正の定数とする。0以上の整数$k$に対し、

$f(k)={\frac {\lambda ^{k}e^{-\lambda }}{k!}}$

と定める。このとき、

$\sum _{k=0}^{\infty }{\frac {\lambda ^{k}e^{-\lambda }}{k!}}=e^{-\lambda }\sum _{k=0}^{\infty }{\frac {\lambda ^{k}}{k!}}=e^{-\lambda }e^{\lambda }=1$

を満たすので、この$f(k)$は確率質量関数である。この確率質量関数によって定まる確率分布を、ポアソン分布という。

• 期待値

期待値 E(X)は、

${\begin{aligned}E(X)&=\sum _{k=0}^{\infty }k{\frac {\lambda ^{k}e^{-\lambda }}{k!}}\\&=\lambda e^{-\lambda }\sum _{k=1}^{\infty }{\frac {\lambda ^{k-1}}{(k-1)!}}\\&=\lambda e^{-\lambda }\sum _{k=0}^{\infty }{\frac {\lambda ^{k}}{k!}}\\&=\lambda e^{-\lambda }e^{\lambda }\\&=\lambda \end{aligned}}$

である。

• 分散

分散 V(X)は、

${\begin{aligned}V(X)&=\sum _{k=0}^{\infty }k^{2}{\frac {\lambda ^{k}e^{-\lambda }}{k!}}-\lambda ^{2}\\&=\sum _{k=0}^{\infty }(k(k-1)+k){\frac {\lambda ^{k}e^{-\lambda }}{k!}}-\lambda ^{2}\\&=\sum _{k=2}^{\infty }k(k-1){\frac {\lambda ^{k}e^{-\lambda }}{k!}}+\lambda -\lambda ^{2}\\&=\lambda ^{2}e^{-\lambda }\sum _{k=2}^{\infty }{\frac {\lambda ^{k-2}}{(k-2)!}}+\lambda -\lambda ^{2}\\&=\lambda ^{2}e^{-\lambda }\sum _{k=0}^{\infty }{\frac {\lambda ^{k}}{k!}}+\lambda -\lambda ^{2}\\&=\lambda ^{2}e^{-\lambda }e^{\lambda }+\lambda -\lambda ^{2}\\&=\lambda \end{aligned}}$

である。

超幾何分布

• 確率質量関数

$N,K,n$は自然数の定数で、$n\leq K\leq N-n$を満たすとする。$0\leq k\leq n$を満たす自然数の定数$k$に対し、

$f(k)={\frac {{K \choose k}{N-K \choose n-k}}{N \choose n}}$

と定める。ただし、${N \choose n}$などは二項係数である。この$f(k)$が確率質量関数であることは、以下のように確かめられる。

$x$についての恒等式

$(1+x)^{K}(1+x)^{N-K}=(1+x)^{N}$

の両辺を展開したときの$x^{n}$の項の係数を考えると、右辺の係数は二項定理により${N \choose n}$である。一方左辺の係数は、

$\sum _{k=0}^{n}{K \choose k}{N-K \choose n-k}$

である。よって、

$\sum _{k=0}^{n}{K \choose k}{N-K \choose n-k}={N \choose n}$

$\sum _{k=0}^{n}{\frac {{K \choose k}{N-K \choose n-k}}{N \choose n}}=1$

である。

以上により、この$f(k)$が確率質量関数であることが確かめられた。この確率質量関数によって定まる確率分布を、超幾何分布という。

• 期待値

期待値 E(X)は、

${\begin{aligned}E(X)&=\sum _{k=0}^{n}k{\frac {{K \choose k}{N-K \choose n-k}}{N \choose n}}\\&=\sum _{k=1}^{n}k{\frac {{K \choose k}{N-K \choose n-k}}{N \choose n}}\\&=\sum _{k=1}^{n}K{\frac {{K-1 \choose k-1}{N-K \choose n-k}}{N \choose n}}\\&=\sum _{k=0}^{n-1}K{\frac {{K-1 \choose k}{N-K \choose n-k-1}}{N \choose n}}\\&={\frac {nK}{N}}\sum _{k=0}^{n-1}{\frac {{K-1 \choose k}{N-K \choose n-k-1}}{N-1 \choose n-1}}\\&={\frac {nK}{N}}\sum _{k=0}^{n'}{\frac {{K' \choose k}{N'-K' \choose n'-k}}{N' \choose n'}}\\&={\frac {nK}{N}}\end{aligned}}$

である。ただし、6行目では$n'=n-1,\ K'=K-1,\ N'=N-1$とした。

• 分散

分散 V(X)は

${\begin{aligned}V(X)&=\sum _{k=0}^{n}k^{2}{\frac {{K \choose k}{N-K \choose n-k}}{N \choose n}}-\left({\frac {nK}{N}}\right)^{2}\\&=\sum _{k=0}^{n}k(k-1){\frac {{K \choose k}{N-K \choose n-k}}{N \choose n}}+{\frac {nK}{N}}-{\frac {n^{2}K^{2}}{N^{2}}}\\&=\sum _{k=2}^{n}k(k-1){\frac {{K \choose k}{N-K \choose n-k}}{N \choose n}}+{\frac {nK(N-nK)}{N^{2}}}\\&=\sum _{k=2}^{n}K(K-1){\frac {{K-2 \choose k-2}{N-K \choose n-k}}{N \choose n}}+{\frac {nK(N-nK)}{N^{2}}}\\&=\sum _{k=0}^{n-2}K(K-1){\frac {{K-2 \choose k}{N-K \choose n-k-2}}{N \choose n}}+{\frac {nK(N-nK)}{N^{2}}}\\&={\frac {n(n-1)K(K-1)}{N(N-1)}}\sum _{k=0}^{n-2}{\frac {{K-2 \choose k}{N-K \choose n-k-2}}{N-2 \choose n-2}}+{\frac {nK(N-nK)}{N^{2}}}\\&={\frac {n(n-1)K(K-1)}{N(N-1)}}\sum _{k=0}^{n''}{\frac {{K'' \choose k}{N''-K'' \choose n''-k}}{N'' \choose n''}}+{\frac {nK(N-nK)}{N^{2}}}\\&={\frac {n(n-1)K(K-1)}{N(N-1)}}+{\frac {nK(N-nK)}{N^{2}}}\\&={\frac {nK}{N^{2}(N-1)}}(N(n-1)(K-1)+(N-nK)(N-1))\\&={\frac {nK}{N^{2}(N-1)}}(N^{2}-(n+K)N+nK)\\&={\frac {nK(N-K)(N-n)}{N^{2}(N-1)}}\end{aligned}}$

である。ただし、7行目では$n''=n-2,\ K''=K-2,\ N''=N-2$とした。