EM アルゴリズムは，不完全データに基づく統計モデル一般に適用される，最尤推定量を導出するためのアルゴリズムです． もともと，「不完全データ・完全データ」という概念は欠損データの問題に対処するために立てられましたが，定義を拡張…

このポストでは，機械学習でよく使われる評価指標を，回帰・分類に分けて整理します．また，各評価指標の定義だけではなく，その性質や使用上の注意点などにも言及しました．なお，"網羅性"を過度に追求して，世にある評価指標を片っ端からリストアップする…

カーネル法は，非線形データ解析に対する強力な武器です．ソフトマージンSVM・ガウス過程・クラスタリングなどのアルゴリズムの基本要素として頻出します．このポストでは，カーネル法を使って回帰問題を解く手続きを，Pythonで再現してみました． ※ なお，…

PAC学習 (Probability Approximately Correct learning) とは、イギリスの理論計算機科学者 Leslie Valiant が1984年に以下の論文で初めて提唱した概念で、計算機科学の分野でそれまで研究されていた一般的な計算アルゴリズムの効率性・複雑性に対して、学習…

1. ガウス過程（GP, Gaussian Process） 1.1 ガウス分布の共役性 1.2 ガウス分布の切断と周辺化 1.3 ガウス過程の定義 2. さまざまな回帰モデルの比較 2.1 回帰問題とは？ 2.2 線形回帰モデル 2.2.1 線形回帰モデルの準備 2.2.2 線形回帰モデルのベイズ的解…

1. KL-divergenceとは? 1.1 定義 1.2 基本的な性質 1.3 KL-divergenceは距離なのか？ 2. 諸量との関係 2.1 KL-divergenceと相互情報量 2.2 KL-divergenceと対数尤度比 2.3 KL-divergenceとFisher情報量 3. 参考書籍 !! お知らせ（2020.06.10） * こちらの記…

MobilenetV2-残差ブロックの構造 0. 前提 1. 動作環境 2. プログラム import_CIFAR-10.py mobilenetv2.py main.py 3. 学習結果 0. 前提MobileNetV2は、2018/04にGoogleのMark Sandlerらによって発表された論文："MobileNetV2: Inverted Residuals and Linear…

VGG1. 動作環境OS: Ubuntu 16.04 Package Version ------------------- ------- python 3.5.0 tensorboard 1.9.0 tensorflow 1.9.0 h5py 2.8.0 Keras 2.2.2 Keras-Applications 1.0.4 Keras-Preprocessing 1.0.2 2. プログラム import os import numpy as np…

1. 背景 2. 準備：凸関数とテイラー展開 2. 1. 凸関数 2. 2. 勾配 - Gradient 2. 3. ヘッセ行列 - Hessian Matrix 2. 4. テイラー展開による2次の近似 3. 局所二次近似 4. 極値判定 参考 このポストでは，ニューラルネットワークモデルにおける「パラメータ…

1. はじめに 1.1 論文リンク 1.2 Githubの公式ページ 2. APIが要求するライブラリをローカル環境にインストールする 3. Githubから必要なファイルをダウンロード 3.1 Configファイル(JSON形式)のダウンロード 3.2 モデルの学習済み特徴量のダウンロード 3.3 …

1.プログラム 2.ログ(コンソール画面) TensorFlowの練習がてら。 分類精度(accuracy)は98.9%The simple implementation in python 3.6.6 with Tensorflow 1.9.0. 1.プログラム # coding: utf-8 import tensorflow as tf from tensorflow.contrib.learn.pytho…