閃き- blog

きらびやかに、美しく、痛烈に．

【備忘録】正規母集団におけるパラメータ{μ, σ}の最尤推定法＋α

統計学

f:id:yumaloop:20180324231758p:plain — 標準正規関数のプロット

1.　正規母集団におけるパラメータ{μ, σ}の最尤推定法

・正規分布の確率密度関数 $p(y~|~\mu, \sigma)$

　 $p(y~|~\mu, \sigma)=\large{\frac{1}{\sqrt{2\pi{\sigma^2}}}}\small{exp\{-\frac{(y - \mu)^2}{2\sigma^2}\}}$

#pnorm()関数：確率分布関数
P(1.2<=Y<=1.8) = pnorm(1.8, 0, 1) - pnorm(1.2, 0, 1)#確率変数の値, 平均, 分散
#dnorm()関数：確率密度関数
p(Y=1.8) = dnorm(1.8, 0, 1)#確率変数の値, 平均, 分散

y <- seq(-5, 5, 0.1)
plot(y, dnorm(y, mean = 0, sd = 1), type = "o")

・正規分布の尤度関数 $L(\mu, \sigma)$

「確率＝確率密度 × Δy」であることから、

　 $L(\mu, \sigma)=\prod_{i}^{N} ~p(y_i~|~\mu, \sigma){\cdot}\Delta{y}$

　 $~~~~~~~~~~~=\prod_{i}^{N} \large{\frac{1}{\sqrt{2\pi{\sigma^2}}}}\small{exp\{-\frac{(y - \mu)^2}{2\sigma^2}\}}{\cdot}\Delta{y}$ ・・・①

・正規分布の対数尤度関数 $\log{L(\mu, \sigma)}$

　 $L(\mu, \sigma)>0$ より、対数をとると、

　 $\log{L(\mu, \sigma)}=-\large{\frac{1}{2}}\small{N\log{(2\pi\sigma^2)}}-\large{\frac{1}{2\sigma^2}}\small{\sum_{i}^{N} {(y_i - \mu)^2}}+N\log{(\Delta{y})}$ ・・・②

②式について、区間幅 $\Delta{y}$ は定数であるからパラメータ{μ, σ}の最尤推定値に影響を与えない。

よって、正規母集団については、以下の③式を使ってパラメータ{μ, σ}の最尤推定ができる。

　 $\log{L(\mu, \sigma)}=-\large{\frac{1}{2}}\small{N\log{(2\pi\sigma^2)}}-\large{\frac{1}{2\sigma^2}}\small{\sum_{i}^{N} {(y_i - \mu)^2}}$ ・・・③

2.　等分散正規分布N(μ, c)におけるパラメータ{μ}の最尤推定法は、最小二乗法による推定と同等である

・等分散性を仮定する

さらに、正規分布の「等分散性」を仮定してみる。

パラメータ{σ}（分散）はiに対して定数であるから、③式の対数尤度関数で推定すべきパラメータは、{μ}（平均）のみとなる。

ここで、③式を「等分散性」の仮定のもとで考えると、

　 $\log{L(\mu, \sigma)}=-\large{\frac{1}{2}}\small{N\log{(2\pi\sigma^2)}}-\large{\frac{1}{2\sigma^2}}\small{\sum_{i}^{N} {(y_i - \mu)^2}}$ ・・・③

σは定数であることから、 $-\large{\frac{1}{2}}\small{N\log{(2\pi\sigma^2)}}$ はパラメータ{μ}の最尤推定に影響を与えない。

よって、以下の④式を使ってパラメータ{μ}の最尤推定をする。

・等分散正規分布の対数尤度関数 $\log{L(\mu, \sigma)}$

　 $\log{L(\mu, \sigma)}=-\large{\frac{1}{2\sigma^2}}\small{\sum_{i}^{N} {(y_i - \mu)^2}}$ ・・・④

すなわち、2乗誤差の和 $\sum_{i}^{N} {(y_i - \mu)^2}$ を最小にするような $\hat{\mu}$ が、最尤法によるパラメータ $\mu$ の推定値となる。

以上の議論は、誤差項が正規分布に従う確率変数 $y_i$ について、 $y_i = \mu + \varepsilon_i$ と仮定した場合の「最小二乗法による $\mu$ の推定」と同等なものである。

3.　コトバの定義おさらい

・母数θ　　　：母集団分布を決定する定数.

・母数空間Θ 　：母数θがとりうる値の集合.

・最尤原理　　："現実の標本（観測値、データ）は、確率最大のものが実現した"という仮定.
　
・尤度　　　　：母数空間Θに属する母数θのいろいろな値における「もっともらしさ likelihood」.
　　　　　　　　同時確率ならば確率の積。

・尤度関数L(θ)　：母数空間Θを定義域とする母数θの関数。尤度を表す式.

・最尤推定法　：「尤度関数を母数空間Θにおいて最大にする母数」をその推定値や推定量とする方法.

　　連続分布の統計モデルの尤度 $L(\theta_1, \theta_2, ...)$ は、データから得られる「確率密度pの積」
　　　　 $L(\theta_1, \theta_2, ...)=\prod_{i}^{N} ~p(y_i){\cdot}\Delta{y}$

　　離散分布の統計モデルの尤度 $L(\theta_1, \theta_2, ...)$ は、データから得られる「確率Pの積」
　　　　 $L(\theta_1, \theta_2, ...)=\prod_{i}^{N} ~P(y_i)$