JL-補題 構成論的証明 参考文献 ランダム行列理論（Random projection）の基本定理であるJohnson and Lindenstrauss Lemmaについて解説します． JL-補題は「変換前後でサンプル点どうしのユークリッド距離を変えない」ような関数 の存在を主張しており，これ…

定理（DV表現） 連続確率変数 に対して，確率密度関数 が定義されているとき，以下の関係式が成り立ちます．この式を，Donsker-Varadhan representation*1といい，右辺をDV下限と言います． $$ \mathbb{D}_{KL}(q || p) = \underset{T: X \to \mathbb{R} }{\…

1. 確率モデルとKL情報量 2. パラメトリックモデルを考える 3. バイアスの不偏推定量を求める 3.1 Dを分解する． 3.2 バイアスの推定量（Dの漸近推定量） 3.3 2つの重要な行列 4.AICの導出 このポストでは，赤池情報量規準(AIC, Akaike Information Criterio…

1. 背景 2. 準備：凸関数とテイラー展開 2. 1. 凸関数 2. 2. 勾配 - Gradient 2. 3. ヘッセ行列 - Hessian Matrix 2. 4. テイラー展開による2次の近似 3. 局所二次近似 4. 極値判定 参考 このポストでは，ニューラルネットワークモデルにおける「パラメータ…

N×Nの正方行列： について考える。 1. 正則行列 以下の命題は同値である。※ を満たす写像 を、 次行列 に対応する1次変換とする。 行列 は正則行列である。 行列 に対して、 を満たす逆行列 が存在する 行列 に対して、行列式 である。 行列 に対して、 であ…

1. ガウス分布の定義式 2.ガウス分布の共役性とベイズ推定 3. 線形基底関数モデル 3.1 モデルの一般式 3.2 基底関数 と 線形基底関数 4. ガウスノイズを仮定した回帰問題 4.1 前提 4.2 頻度主義的な回帰 4.3 ベイズジアン風の回帰 1. ガウス分布の定義式 ◯ガ…

群論、難しい...。 頭の中でルービックキューブやあみだくじを想像して、なんとか概念を理解したい。 1.写像 1.1 写像に関する諸概念 ◯ 写像 集合に対して、集合の各元をそれぞれ集合の1つの元に対応させる。 この操作を「からへの写像」といい、以下のよう…

1. フーリエ級数 2. 複素フーリエ級数 3. フーリエ変換対

どんな分野であれ、最先端に進むためには数学に関するある程度の知識と教養が必要。 ということで 情報系をやる上で特に役立ちそうな分野をピックアップしてみます。（パーフェクトに主観で語っているので、重大な思い違いがあるかもしれないです。） Comput…