統計学
EM アルゴリズムは，不完全データに基づく統計モデル一般に適用される，最尤推定量を導出するためのアルゴリズムです． もともと，「不完全データ・完全データ」という概念は欠損データの問題に対処するために立てられましたが，定義を拡張…
このポストでは，時系列データに対する基本的なモデル，ARMA過程についてまとめます．画像はAmazon.comの株価推移です． MA(q)過程: Moving average process AR(p)過程: Autoregressive process ARMA(p,q)過程: Autoregressive moving average process 参考…
JL-補題 構成論的証明 参考文献 ランダム行列理論（Random projection）の基本定理であるJohnson and Lindenstrauss Lemmaについて解説します． JL-補題は「変換前後でサンプル点どうしのユークリッド距離を変えない」ような関数 の存在を主張しており，これ…
このポストでは，機械学習でよく使われる評価指標を，回帰・分類に分けて整理します．また，各評価指標の定義だけではなく，その性質や使用上の注意点などにも言及しました．なお，"網羅性"を過度に追求して，世にある評価指標を片っ端からリストアップする…
定理（DV表現） 連続確率変数 に対して，確率密度関数 が定義されているとき，以下の関係式が成り立ちます．この式を，Donsker-Varadhan representation*1といい，右辺をDV下限と言います． $$ \mathbb{D}_{KL}(q || p) = \underset{T: X \to \mathbb{R} }{\…
カーネル法は，非線形データ解析に対する強力な武器です．ソフトマージンSVM・ガウス過程・クラスタリングなどのアルゴリズムの基本要素として頻出します．このポストでは，カーネル法を使って回帰問題を解く手続きを，Pythonで再現してみました． ※ なお，…
1. 確率モデルとKL情報量 2. パラメトリックモデルを考える 3. バイアスの不偏推定量を求める 3.1 Dを分解する． 3.2 バイアスの推定量（Dの漸近推定量） 3.3 2つの重要な行列 4.AICの導出 このポストでは，赤池情報量規準(AIC, Akaike Information Criterio…
1. パラメータの尤もらしさに関する統計的仮説検定 1.1 ワルド検定（Wald test） 1.2 スコア検定（Score test） 1.3 尤度比検定（Likelihood ratio test） 2. KL-divergenceとFischer情報量の関係 2.1 スコア関数とFischer情報量の定義 2.2 KL-divergence 3.…
1. ガウス過程（GP, Gaussian Process） 1.1 ガウス分布の共役性 1.2 ガウス分布の切断と周辺化 1.3 ガウス過程の定義 2. さまざまな回帰モデルの比較 2.1 回帰問題とは？ 2.2 線形回帰モデル 2.2.1 線形回帰モデルの準備 2.2.2 線形回帰モデルのベイズ的解…
1. 前提 1.1 確率分布の定義 1. 2 指数分布とワイブル分布の関係 2. Pythonによる実装 2.1 指数分布 2.2 ワイブル分布 生存時間解析など、応用範囲の広い指数分布についてまとめます。指数型分布族の仲間としては、ワイブル分布・ガンマ分布の他にも、ポアソ…
1. KL-divergenceとは? 1.1 定義 1.2 基本的な性質 1.3 KL-divergenceは距離なのか？ 2. 諸量との関係 2.1 KL-divergenceと相互情報量 2.2 KL-divergenceと対数尤度比 2.3 KL-divergenceとFisher情報量 3. 参考書籍 !! お知らせ（2020.06.10） * こちらの記…
1. 推定のモチベーション 2. 最尤推定（ML） 2.1 パラメータ の対数尤度 2.2 パラメータの推定（最尤推定量） 3. 事後確率最大化推定（MAP） 3.1 パラメータ の事後確率 3.2 パラメータの推定（MAP推定量） 4. ベイズ推定（Bayse） 4.1 パラメータ の平均対…
1. 確率収束 : convergence in probability 2. p次平均収束 : convergence in mean 3. 分布収束（法則収束）: convergence in distribution (law) 4. 概収束 : almost sure convergence 参考文献 確率変数の収束（Convergence of random variables） につい…
ベイズ推定とは？ 1. 事後分布 2. 予測分布 3. 損失関数 4. 誤差関数 5. 汎化損失・経験損失 ベイズ推定とは？ ベイズ推定の目的と主眼をまとめると、次のようになります。 ベイズ推定の目的 確率変数 の真の分布 を、予測分布 で推定する。 また、推定プロ…
1. 推測統計学の概念・用語 1.1. 推測統計学とそのモチベーション 1.2. 概念・用語の定義 2. 統計的仮説検定 2.1. 母数と標本 2.2. 仮説と検定 2.3. 有意水準 , P値 3. 正規母集団についての仮説検定 3.1. 1標本の正規母集団 3.1.1. 母平均 の検定（母分散 …
1. ガウス分布の定義式 2.ガウス分布の共役性とベイズ推定 3. 線形基底関数モデル 3.1 モデルの一般式 3.2 基底関数 と 線形基底関数 4. ガウスノイズを仮定した回帰問題 4.1 前提 4.2 頻度主義的な回帰 4.3 ベイズジアン風の回帰 1. ガウス分布の定義式 ◯ガ…
multiple-regression 1. 重回帰分析についての所感 1.1. 用語など 1.2. モデル評価：「モデル」の性能を学習結果から評価する 1.3. モデル選択：「モデルの適用」に対する妥当性を検証する 1.4. Pythonでの実装まわり 2. scikit-learnのサンプルデータセット…
日本統計学会と総務省が主催している「統計検定２級」に合格しました。２級までは、CBT(Computer Based Test)*1での受験が可能なので、いつでも好きな日程で受けられます。また２級の難易度に関しては、公式には「大学教養レベル」となっており、準１級およ…
先日、神保町の古本屋で「確率論」（岩波書店）を買いました。 お値段はなんと税込２００円です。確率論は統計学はもちろん、確率微分方程式などの解析分野の基礎でもあるので、辞書的に使うのはアリだと思います。 ↓表紙はこんな感じ ところで、数学という…
A. １標本の場合 A-1. 標本平均 の標本分布 A-2. 標本分散の標本分布 B. ２標本の場合（XとYは独立） B-1. 標本平均の差 の標本分布 B-2. 標本分散の比 の標本分布 参考 文字を以下のように定義します。 母集団標本（サンプル数 : ） 母平均標本平均 母分散…
標準正規関数のプロット 1. 正規母集団におけるパラメータ{μ, σ}の最尤推定法 ・正規分布の確率密度関数 #pnorm()関数：確率分布関数 P(1.2<=Y<=1.8) = pnorm(1.8, 0, 1) - pnorm(1.2, 0, 1)#確率変数の値, 平均, 分散 #dnorm()関数：確率密度関数 p(Y=1.8) …
確率論の基礎と、期待値、期待値、共分散、相関係数についてのざっくりとしたまとめ。間違えがあったら指摘してください！ 1. 確率論の基礎：定義・定理集 ☆確率 ・加法定理 特に、 ⇒ ・乗法定理 ・条件付き確率の定義 ・全確率の定理 ・ベイズの公式 ・ベイ…
glm()関数を使ってモデリングデータセット：http://hosho.ees.hokudai.ac.jp/~kubo/stat/iwanamibook/fig/poisson/data3a.csv0. 統計モデリングの流れ1. データの確認とモデルの選択 要約統計量とグラフから、どの統計モデルを使うべきか決める。 2. 統計モ…
2017年の年末くらいから、統計学を本格的に学んでみようと思っていたので、まず読み始めたのがこの本です。Googleで「統計学 本」で検索すると、絶対にこの本がヒットするくらい有名。 以下書評です。↓(´・ω・`) 1. 書籍情報 細かな情報 ・書名 ： 統計学入…
