ぺ ん ぎ ん の 閃 き

閃き- blog

きらびやかに、美しく、痛烈に.

【備忘録】正規母集団におけるパラメータ{μ, σ}の最尤推定法+α

f:id:yumaloop:20180324231758p:plain
標準正規関数のプロット

1. 正規母集団におけるパラメータ{μ, σ}の最尤推定

正規分布確率密度関数 p(y~|~\mu, \sigma)

 p(y~|~\mu, \sigma)=\large{\frac{1}{\sqrt{2\pi{\sigma^2}}}}\small{exp\{-\frac{(y - \mu)^2}{2\sigma^2}\}}

#pnorm()関数:確率分布関数
P(1.2<=Y<=1.8) = pnorm(1.8, 0, 1) - pnorm(1.2, 0, 1)#確率変数の値, 平均, 分散
#dnorm()関数:確率密度関数
p(Y=1.8) = dnorm(1.8, 0, 1)#確率変数の値, 平均, 分散

y <- seq(-5, 5, 0.1)
plot(y, dnorm(y, mean = 0, sd = 1), type = "o")
正規分布の尤度関数 L(\mu, \sigma)

「確率 = 確率密度 × Δy」であることから、

 L(\mu, \sigma)=\prod_{i}^{N} ~p(y_i~|~\mu, \sigma){\cdot}\Delta{y}

 ~~~~~~~~~~~=\prod_{i}^{N} \large{\frac{1}{\sqrt{2\pi{\sigma^2}}}}\small{exp\{-\frac{(y - \mu)^2}{2\sigma^2}\}}{\cdot}\Delta{y}・・・①

正規分布の対数尤度関数 \log{L(\mu, \sigma)}

 L(\mu, \sigma)>0より、対数をとると、

 \log{L(\mu, \sigma)}=-\large{\frac{1}{2}}\small{N\log{(2\pi\sigma^2)}}-\large{\frac{1}{2\sigma^2}}\small{\sum_{i}^{N} {(y_i - \mu)^2}}+N\log{(\Delta{y})}・・・②

②式について、区間\Delta{y}は定数であるからパラメータ{μ, σ}の最尤推定値に影響を与えない。

よって、正規母集団については、以下の③式を使ってパラメータ{μ, σ}の最尤推定ができる。

 \log{L(\mu, \sigma)}=-\large{\frac{1}{2}}\small{N\log{(2\pi\sigma^2)}}-\large{\frac{1}{2\sigma^2}}\small{\sum_{i}^{N} {(y_i - \mu)^2}}・・・③

2. 等分散正規分布N(μ, c)におけるパラメータ{μ}の最尤推定法は、最小二乗法による推定と同等である

・等分散性を仮定する

さらに、正規分布の「等分散性」を仮定してみる。

パラメータ{σ}(分散)はiに対して定数であるから、③式の対数尤度関数で推定すべきパラメータは、{μ}(平均)のみとなる。


ここで、③式を「等分散性」の仮定のもとで考えると、

 \log{L(\mu, \sigma)}=-\large{\frac{1}{2}}\small{N\log{(2\pi\sigma^2)}}-\large{\frac{1}{2\sigma^2}}\small{\sum_{i}^{N} {(y_i - \mu)^2}}・・・③

σは定数であることから、-\large{\frac{1}{2}}\small{N\log{(2\pi\sigma^2)}} はパラメータ{μ}の最尤推定に影響を与えない。


よって、以下の④式を使ってパラメータ{μ}の最尤推定をする。

・等分散正規分布の対数尤度関数\log{L(\mu, \sigma)}

 \log{L(\mu, \sigma)}=-\large{\frac{1}{2\sigma^2}}\small{\sum_{i}^{N} {(y_i - \mu)^2}}・・・④

すなわち、2乗誤差の和 \sum_{i}^{N} {(y_i - \mu)^2} を最小にするような \hat{\mu} が、最尤法によるパラメータ \mu の推定値となる。

以上の議論は、誤差項が正規分布に従う確率変数y_iについて、y_i = \mu + \varepsilon_iと仮定した場合の「最小二乗法による\muの推定」と同等なものである。


3. コトバの定義おさらい


・母数θ    :母集団分布を決定する定数.

・母数空間Θ  :母数θがとりうる値の集合.

・最尤原理   :"現実の標本(観測値、データ)は、確率最大のものが実現した"という仮定.
 
・尤度     :母数空間Θに属する母数θのいろいろな値における「もっともらしさ likelihood」.
         同時確率ならば確率の積。

・尤度関数L(θ) :母数空間Θを定義域とする母数θの関数。尤度を表す式.

最尤推定法   :「尤度関数を母数空間Θにおいて最大にする母数」をその推定値や推定量とする方法.


  連続分布の統計モデルの尤度 L(\theta_1, \theta_2, ...) は、データから得られる「確率密度pの積」
    L(\theta_1, \theta_2, ...)=\prod_{i}^{N} ~p(y_i){\cdot}\Delta{y}

  離散分布の統計モデルの尤度 L(\theta_1, \theta_2, ...) は、データから得られる「確率Pの積」
    L(\theta_1, \theta_2, ...)=\prod_{i}^{N} ~P(y_i)