閃 き

閃き- blog

きらびやかに、美しく、痛烈に.

【チートシート】確率論の基礎事項ざっくりまとめ(平均・分散・共分散・相関係数など)

f:id:yumaloop:20180323002843j:plain

確率論の基礎と、期待値E(X)、期待値E(X)、共分散Cov.(X, Y)相関係数\rho_{XY}についてのざっくりとしたまとめ。間違えがあったら指摘してください!

1. 確率論の基礎:定義・定理集

☆確率

・加法定理
   P(A{\cup}B)=p(A)+P(B)-P(A{\cap}B)
   特に、{A{\cap}B}{\small=}{\emptyset} ⇒ {P(A{\cup}B)=P(A)+P(B)}

・乗法定理

   P(A{\cap}B)=P(A){\cdot}P(B|A)
   P(A{\cap}B)=P(B){\cdot}P(A|B)

・条件付き確率の定義

   P(A|B)=\large{\frac{P(A{\cap}B)}{P(B)}}
   P(B|A)=\large{\frac{P(A{\cap}B)}{P(A)}}

・全確率の定理

   P(B)=\sum_{i}^{} P(B{\cap}A_i)=\sum_{i}^{} P(B|A_i){\cdot}P(A_i)

ベイズの公式

   P(A_i|B)=\large{\frac{P(B|A_i){\cdot}P(A_i)}{P(B)}}

ベイズの定理

   P(A_i|B)=\large{\frac{P(B|A_i){\cdot}P(A_i)}{\sum_{i}^{} {P(B|A_i){\cdot}P(A_i)}}}

☆確率密度

・同時確率密度関数の定義

   P(X = x, Y = y) = f(x, y)

・周辺確率密度関数の定義

   g(x)=\int_{-\infty}^{\infty} f(x, y) dy
   h(y)=\int_{-\infty}^{\infty} f(x, y) dx]

・条件付き確率密度関数の定義

   g(x|y)=\large{\frac{f(x, y)}{h(y)}}
   h(y|x)=\large{\frac{f(x, y)}{g(x)}}

 すなわち、以下の定理が導かれる。

   f(x, y)=g(x){\cdot}h(y|x)
   f(x, y)=h(y){\cdot}g(x|y)

 よって

   f(x, y)=g(x){\cdot}h(y)\ \Rightarrow\ {XとYは独立}
   g(x|y)=g(x) \ または\ h(y|x)=h(y)\ \Rightarrow\ {XとYは独立}

・条件付き期待値の定義

   E(X|y)=\mu_{X|y}=\int_{X}^{} x{\cdot}g(x|y) dx
   E(Y|x)=\mu_{Y|x}=\int_{Y}^{} y{\cdot}h(y|x) dy

・条件付き分散の定義

   V(X|y)=\int_{X}^{} {(x - \mu_{X|y})^2}{\cdot}g(x|y) dx
   V(Y|x)=\int_{Y}^{} {(y - \mu_{Y|x})^2}{\cdot}h(y|x) dy


2. 期待値:E(X)

・意味合い
 確率変数Xの「重み付き平均」(確率分布の重心).
 or確率変数Xの原点まわりの1次モーメント.

・定義

  E(X)=\int_{-\infty}^{\infty} x{\cdot}f(x) dx(連続分布)
  E(X)=\sum_{i=0}^n x{\cdot}f(x)(離散分布)

  ※一般性への拡張(PRMLより引用)
  ある関数f(x)の確率分布p(x)の下での平均値をf(x)の期待値と呼び、E[f]と書く。

  E[f]=\int_{-\infty}^{\infty} {f(x)}{\cdot}p(x) dx(連続分布)
  E[f]=\sum_{i=0}^n {f(x)}{\cdot}p(x)(離散分布)

・定理

  ※よく使う演算法則
 ( a.)E(c)=c
 ( b.)E(X + c)=E(X) + c
 ( c.)E(cX)=cE(X)
 ( d.)E(X+Y)=E(X)+E(Y)(加法性)


3. 分散:V(X)

・意味合い
 確率変数Xの「平均μからの距離の度合い」(確率分布の"ばらつき").
 確率変数Xの平均まわりの2次モーメント.

・定義

  V(X)=\int_{-\infty}^{\infty} (x - \mu)^2{\cdot}f(x) dx(連続分布)
  V(X)=\sum_{i=0}^n (x - \mu)^2{\cdot}f(x) (離散分布)

・定理

 (1)V(X)=E({(X - E(X))^2})=\int_{-\infty}^{\infty} (x - \mu)^2{\cdot}f(x) dx

 (2)V(X)=E(X^2) - {E(X)}^2

  ※よく使う演算法則
 ( a.)V(c)=0
 ( b.)V(X + c)=V(X)
 ( c.)V(cX)=c^2V(X)
 ( d.)V(X+Y)=V(X)+V(Y)+2Cov.(X, Y)


4. 共分散:Cov.(X, Y)

・意味合い
 確率変数Xと確率変数Yの間の相関によって発生する「ばらつきの"方向性"」.

・定義

  Cov.(X, Y)=E{(X - \mu_X)(Y - \mu_Y)} (ただし、\mu_X=E(X),  \mu_Y=E(Y)とする。)

・定理
 (1)Cov.(X, Y)=E(XY) - E(X){\cdot}E(Y)

 (2)Cov.(X, Y)=\large\frac{1}{n}\small\sum_{i=1}^{n} ({X_i}{\cdot}{X_i}-{\bar{X}}{\cdot}{\bar{Y}})(標本共分散に限定)


5. 相関係数\rho_{XY}

・意味合い
 確率変数Xと確率変数Yの間の相関によって発生する「ばらつきの"方向性""強さ"」.

・定義

  \rho_{XY}=\large\frac{Cov.(X, Y)}{\sqrt{V(X)}\sqrt{V(Y)}}

・定理
 (1)一般に、データ列を線形変換しても相関係数の絶対値は変わらない。

 (2)一般に、x_i^{*}=a{x_i}+b,~y_i^{*}=c{y_i}+dのような線形変換に対して、

    \rho_{XY}^{*}=\large{\frac{a}{|a|}\frac{c}{|c|}}\small{\rho_{XY}}

 (3){\rho_{XY}={\pm1}} \Rightarrow {Y = aX + b}

 (4){\rho_{XY}=0} \Leftrightarrow {XとYは無相関}

 (5){XとYが互いに独立} \Rightarrow {XとYは無相関} \Leftrightarrow{\rho_{XY}=0}

 (6){XとYが互いに独立}\Leftrightarrow {f(x, y)=g(x){\cdot}(y)}
  (※f(x, y)はXとYの同時確率密度関数g(x), h(y)はそれぞれX, Yの周辺確率密度関数


6. おまけ:「相関」と「独立」に関する諸定理

 (1){\rho_{XY}=0}      ⇔ 「XとYは無相関である.」
 (2)XとYが独立である. ⇒ 「XとYは無相関である.」 ⇔ {\rho_{XY}=0}

 (3)f(x, y)=g(x){\cdot}h(y)           ⇒ 「XとYが独立である.」
 (4)g(x|y)=g(x) \ または\ h(y|x)=h(y) ⇒ 「XとYが独立である.」

 (5)「XとYが独立である.」 ⇒ E(XY)=E(X)E(Y)
 (6)「XとYが独立である.」 ⇒ Cov.(X, Y)=0
 (7)「XとYが独立である.」 ⇒ \rho_{XY}=0
 (8)「XとYが独立である.」 ⇒ M_{X+Y(t)}=M_{X(t)}M_{Y(t)}


texで書くの疲れた。。