【チートシート】確率論の基礎事項ざっくりまとめ（平均・分散・共分散・相関係数など）

f:id:yumaloop:20180323002843j:plain

確率論の基礎と、期待値 $E(X)$ 、期待値 $E(X)$ 、共分散 $Cov.(X, Y)$ 、相関係数 $\rho_{XY}$ についてのざっくりとしたまとめ。間違えがあったら指摘してください！

1. 確率論の基礎：定義・定理集

☆確率

・加法定理
　　　 $P(A{\cup}B)=p(A)+P(B)-P(A{\cap}B)$
　　　特に、 ${A{\cap}B}{\small=}{\emptyset}$ 　⇒　 ${P(A{\cup}B)=P(A)+P(B)}$

・乗法定理

　　　 $P(A{\cap}B)=P(A){\cdot}P(B|A)$
　　　 $P(A{\cap}B)=P(B){\cdot}P(A|B)$

・条件付き確率の定義

　　　 $P(A|B)=\large{\frac{P(A{\cap}B)}{P(B)}}$
　　　 $P(B|A)=\large{\frac{P(A{\cap}B)}{P(A)}}$

・全確率の定理

　　　 $P(B)=\sum_{i}^{} P(B{\cap}A_i)=\sum_{i}^{} P(B|A_i){\cdot}P(A_i)$

・ベイズの公式

　　　 $P(A_i|B)=\large{\frac{P(B|A_i){\cdot}P(A_i)}{P(B)}}$

・ベイズの定理

　　　 $P(A_i|B)=\large{\frac{P(B|A_i){\cdot}P(A_i)}{\sum_{i}^{} {P(B|A_i){\cdot}P(A_i)}}}$

☆確率密度

・同時確率密度関数の定義

　　　 $P(X = x, Y = y) = f(x, y)$

・周辺確率密度関数の定義

　　　 $g(x)=\int_{-\infty}^{\infty} f(x, y) dy$
　　　 $h(y)=\int_{-\infty}^{\infty} f(x, y) dx$ ]

・条件付き確率密度関数の定義

　　　 $g(x|y)=\large{\frac{f(x, y)}{h(y)}}$
　　　 $h(y|x)=\large{\frac{f(x, y)}{g(x)}}$

　すなわち、以下の定理が導かれる。

　　　 $f(x, y)=g(x){\cdot}h(y|x)$
　　　 $f(x, y)=h(y){\cdot}g(x|y)$

　よって

　　　 $f(x, y)=g(x){\cdot}h(y)\ \Rightarrow\ {XとYは独立}$
　　　 $g(x|y)=g(x) \ または\ h(y|x)=h(y)\ \Rightarrow\ {XとYは独立}$

・条件付き期待値の定義

　　　 $E(X|y)=\mu_{X|y}=\int_{X}^{} x{\cdot}g(x|y) dx$
　　　 $E(Y|x)=\mu_{Y|x}=\int_{Y}^{} y{\cdot}h(y|x) dy$

・条件付き分散の定義

　　　 $V(X|y)=\int_{X}^{} {(x - \mu_{X|y})^2}{\cdot}g(x|y) dx$
　　　 $V(Y|x)=\int_{Y}^{} {(y - \mu_{Y|x})^2}{\cdot}h(y|x) dy$

2. 期待値： $E(X)$

・意味合い
　確率変数Xの「重み付き平均」（確率分布の重心）.
　or確率変数Xの原点まわりの1次モーメント.

・定義

　　 $E(X)=\int_{-\infty}^{\infty} x{\cdot}f(x) dx$ （連続分布）
　　 $E(X)=\sum_{i=0}^n x{\cdot}f(x)$ （離散分布）

　　※一般性への拡張（PRMLより引用）
　　ある関数 $f(x)$ の確率分布 $p(x)$ の下での平均値を $f(x)$ の期待値と呼び、 $E[f]$ と書く。

　　 $E[f]=\int_{-\infty}^{\infty} {f(x)}{\cdot}p(x) dx$ （連続分布）
　　 $E[f]=\sum_{i=0}^n {f(x)}{\cdot}p(x)$ （離散分布）

・定理

　　※よく使う演算法則
　（ a.） $E(c)=c$
　（ b.） $E(X + c)=E(X) + c$
　（ c.） $E(cX)=cE(X)$
　（ d.） $E(X+Y)=E(X)+E(Y)$ （加法性）

3. 分散： $V(X)$

・意味合い
　確率変数Xの「平均μからの距離の度合い」（確率分布の"ばらつき"）.
　確率変数Xの平均まわりの2次モーメント.

・定義

　　 $V(X)=\int_{-\infty}^{\infty} (x - \mu)^2{\cdot}f(x) dx$ （連続分布）
　　 $V(X)=\sum_{i=0}^n (x - \mu)^2{\cdot}f(x)$ （離散分布）

・定理

　（１） $V(X)=E({(X - E(X))^2})=\int_{-\infty}^{\infty} (x - \mu)^2{\cdot}f(x) dx$

　（２） $V(X)=E(X^2) - {E(X)}^2$

　　※よく使う演算法則
　（ a.） $V(c)=0$
　（ b.） $V(X + c)=V(X)$
　（ c.） $V(cX)=c^2V(X)$
　（ d.） $V(X+Y)=V(X)+V(Y)+2Cov.(X, Y)$

4. 共分散： $Cov.(X, Y)$

・意味合い
　確率変数Xと確率変数Yの間の相関によって発生する「ばらつきの"方向性"」.

・定義

　　 $Cov.(X, Y)=E{(X - \mu_X)(Y - \mu_Y)}$ （ただし、 $\mu_X=E(X), \mu_Y=E(Y)$ とする。）

・定理
　（１） $Cov.(X, Y)=E(XY) - E(X){\cdot}E(Y)$

　（２） $Cov.(X, Y)=\large\frac{1}{n}\small\sum_{i=1}^{n} ({X_i}{\cdot}{X_i}-{\bar{X}}{\cdot}{\bar{Y}})$ （標本共分散に限定）

5. 相関係数： $\rho_{XY}$

・意味合い
　確率変数Xと確率変数Yの間の相関によって発生する「ばらつきの"方向性"と"強さ"」.

・定義

　　 $\rho_{XY}=\large\frac{Cov.(X, Y)}{\sqrt{V(X)}\sqrt{V(Y)}}$

・定理
　（１）一般に、データ列を線形変換しても相関係数の絶対値は変わらない。

　（２）一般に、 $x_i^{*}=a{x_i}+b,~y_i^{*}=c{y_i}+d$ のような線形変換に対して、

　　　　 $\rho_{XY}^{*}=\large{\frac{a}{|a|}\frac{c}{|c|}}\small{\rho_{XY}}$

　（３） ${\rho_{XY}={\pm1}} \Rightarrow {Y = aX + b}$

　（４） ${\rho_{XY}=0} \Leftrightarrow {XとYは無相関}$

　（５） ${XとYが互いに独立} \Rightarrow {XとYは無相関} \Leftrightarrow{\rho_{XY}=0}$

　（６） ${XとYが互いに独立}\Leftrightarrow {f(x, y)=g(x){\cdot}(y)}$
　（※ $f(x, y)$ はXとYの同時確率密度関数、 $g(x), h(y)$ はそれぞれX, Yの周辺確率密度関数）

6. おまけ：「相関」と「独立」に関する諸定理

　（１） ${\rho_{XY}=0}$ 　　　　　 ⇔　「XとYは無相関である.」
　（２）XとYが独立である.　⇒　「XとYは無相関である.」　⇔　 ${\rho_{XY}=0}$

　（３） $f(x, y)=g(x){\cdot}h(y)$ 　　　　　　　　 ⇒　「XとYが独立である.」
　（４） $g(x|y)=g(x) \ または\ h(y|x)=h(y)$ 　⇒　「XとYが独立である.」

　（５）「XとYが独立である.」　⇒　 $E(XY)=E(X)E(Y)$
　（６）「XとYが独立である.」　⇒　 $Cov.(X, Y)=0$
　（７）「XとYが独立である.」　⇒　 $\rho_{XY}=0$
　（８）「XとYが独立である.」　⇒　 $M_{X+Y(t)}=M_{X(t)}M_{Y(t)}$