閃 き

閃き- blog

きらびやかに、美しく、痛烈に.

2018-01-01から1年間の記事一覧

最尤推定・MAP推定・ベイズ推定を比較する

1. 推定のモチベーション 2. 最尤推定(ML) 2.1 パラメータ の対数尤度 2.2 パラメータの推定(最尤推定量) 3. 事後確率最大化推定(MAP) 3.1 パラメータ の事後確率 3.2 パラメータの推定(MAP推定量) 4. ベイズ推定(Bayse) 4.1 パラメータ の平均対…

確率変数に関する4つの「収束概念」

1. 確率収束 : convergence in probability 2. p次平均収束 : convergence in mean 3. 分布収束(法則収束): convergence in distribution (law) 4. 概収束 : almost sure convergence 参考文献 確率変数の収束(Convergence of random variables) につい…

ベイズ推定の流れをまとめる(尤もらしさと不確実性)

ベイズ推定とは? 1. 事後分布 2. 予測分布 3. 損失関数 4. 誤差関数 5. 汎化損失・経験損失 ベイズ推定とは? ベイズ推定の目的と主眼をまとめると、次のようになります。 ベイズ推定の目的 確率変数 の真の分布 を、予測分布 で推定する。 また、推定プロ…

統計的仮説検定をていねいに解説する

1. 推測統計学の概念・用語 1.1. 推測統計学とそのモチベーション 1.2. 概念・用語の定義 2. 統計的仮説検定 2.1. 母数と標本 2.2. 仮説と検定 2.3. 有意水準 , P値 3. 正規母集団についての仮説検定 3.1. 1標本の正規母集団 3.1.1. 母平均 の検定(母分散 …

Keras/Tensorflow : CIFAR-10のMobileNetV2-likeなアーキテクチャを作った

MobilenetV2-残差ブロックの構造 0. 前提 1. 動作環境 2. プログラム import_CIFAR-10.py mobilenetv2.py main.py 3. 学習結果 0. 前提MobileNetV2は、2018/04にGoogleのMark Sandlerらによって発表された論文:"MobileNetV2: Inverted Residuals and Linear…

Keras/Tensorflow : CIFAR-10のVGG-likeなアーキテクチャを作った.

VGG1. 動作環境OS: Ubuntu 16.04 Package Version ------------------- ------- python 3.5.0 tensorboard 1.9.0 tensorflow 1.9.0 h5py 2.8.0 Keras 2.2.2 Keras-Applications 1.0.4 Keras-Preprocessing 1.0.2 2. プログラム import os import numpy as np…

Optimal Brain Damage : 局所二次近似と極値判定(凸関数, 勾配, ヘッセ行列)

1. 背景 2. 準備:凸関数とテイラー展開 2. 1. 凸関数 2. 2. 勾配 - Gradient 2. 3. ヘッセ行列 - Hessian Matrix 2. 4. テイラー展開による2次の近似 3. 局所二次近似 4. 極値判定 参考 このポストでは,ニューラルネットワークモデルにおける「パラメータ…

Javaで文字列として使える物理フォント一覧を表示させる方法

java.awt.GraphicsEnvironmentクラスにある getLocalGraphicsEnvironment().getAllFonts();メソッドを使う。GraphicsEnvironment (Java Platform SE 8)・コードサンプル import java.awt.Font; import java.awt.GraphicsEnvironment; public class Main { pu…

Google TF Object Detection API : SSD (Single Shot MultiBox Detector) - MobileNetV1 (with MS COCO)をローカル環境で動かす方法

1. はじめに 1.1 論文リンク 1.2 Githubの公式ページ 2. APIが要求するライブラリをローカル環境にインストールする 3. Githubから必要なファイルをダウンロード 3.1 Configファイル(JSON形式)のダウンロード 3.2 モデルの学習済み特徴量のダウンロード 3.3 …

Tensorflow : MNISTを小規模なCNNで解いてみる

1.プログラム 2.ログ(コンソール画面) TensorFlowの練習がてら。 分類精度(accuracy)は98.9%The simple implementation in python 3.6.6 with Tensorflow 1.9.0. 1.プログラム # coding: utf-8 import tensorflow as tf from tensorflow.contrib.learn.pytho…

コマンドラインで .ipynb → .python

the command for converting to python file>: jupyter nbconvert --to python ファイル名.ipynb

正則行列と正規行列(ムーア・ペンローズ逆行列, エルミート行列, ユニタリー行列)

N×Nの正方行列: について考える。 1. 正則行列 以下の命題は同値である。※ を満たす写像 を、 次行列 に対応する1次変換とする。 行列 は正則行列である。 行列 に対して、 を満たす逆行列 が存在する 行列 に対して、行列式 である。 行列 に対して、 であ…

多変量ガウス分布についてのベイズ推定(周辺分布, 条件付き分布)

1. ガウス分布の定義式 2.ガウス分布の共役性とベイズ推定 3. 線形基底関数モデル 3.1 モデルの一般式 3.2 基底関数 と 線形基底関数 4. ガウスノイズを仮定した回帰問題 4.1 前提 4.2 頻度主義的な回帰 4.3 ベイズジアン風の回帰 1. ガウス分布の定義式 ◯ガ…

群論入門・写像〜群の定義まで

群論、難しい...。 頭の中でルービックキューブやあみだくじを想像して、なんとか概念を理解したい。 1.写像 1.1 写像に関する諸概念 ◯ 写像 集合に対して、集合の各元をそれぞれ集合の1つの元に対応させる。 この操作を「からへの写像」といい、以下のよう…

備忘・numpy.reshapeまとめ

よく忘れるのでメモしておく。 まず、テスト用の配列z(numpy.ndarray)を用意する。 zの形式は、3行4列。 import numpy as np z = np.array([[1, 2, 3, 4], [5, 6, 7, 8], [9, 10, 11, 12]]) ##-- IN --## z.shape ##-- OUT --## (3, 4) 1. 「reshape(1, -1…

scikit-learn : pythonで重回帰分析をやってみた

multiple-regression 1. 重回帰分析についての所感 1.1. 用語など 1.2. モデル評価:「モデル」の性能を学習結果から評価する 1.3. モデル選択:「モデルの適用」に対する妥当性を検証する 1.4. Pythonでの実装まわり 2. scikit-learnのサンプルデータセット…

チートシート:フーリエ変換、ラプラス変換、z変換

1. フーリエ級数 2. 複素フーリエ級数 3. フーリエ変換対

メモ: CSに役立ちそうな数学

どんな分野であれ、最先端に進むためには数学に関するある程度の知識と教養が必要。 ということで 情報系をやる上で特に役立ちそうな分野をピックアップしてみます。(パーフェクトに主観で語っているので、重大な思い違いがあるかもしれないです。) Comput…

統計検定2級に合格した。

日本統計学会と総務省が主催している「統計検定2級」に合格しました。2級までは、CBT(Computer Based Test)*1での受験が可能なので、いつでも好きな日程で受けられます。また2級の難易度に関しては、公式には「大学教養レベル」となっており、準1級およ…

「確率論」(伊藤清, 岩波講座基礎数学)を古本屋にて200円で買った。

先日、神保町の古本屋で「確率論」(岩波書店)を買いました。 お値段はなんと税込200円です。確率論は統計学はもちろん、確率微分方程式などの解析分野の基礎でもあるので、辞書的に使うのはアリだと思います。 ↓表紙はこんな感じ ところで、数学という…

正規標本論と「t分布」「χ2分布」「F分布」のおさらい

A. 1標本の場合 A-1. 標本平均 の標本分布 A-2. 標本分散の標本分布 B. 2標本の場合(XとYは独立) B-1. 標本平均の差 の標本分布 B-2. 標本分散の比 の標本分布 参考 文字を以下のように定義します。 母集団標本(サンプル数 : ) 母平均標本平均 母分散…

【備忘録】正規母集団におけるパラメータ{μ, σ}の最尤推定法+α

標準正規関数のプロット 1. 正規母集団におけるパラメータ{μ, σ}の最尤推定法 ・正規分布の確率密度関数 #pnorm()関数:確率分布関数 P(1.2<=Y<=1.8) = pnorm(1.8, 0, 1) - pnorm(1.2, 0, 1)#確率変数の値, 平均, 分散 #dnorm()関数:確率密度関数 p(Y=1.8) …

【チートシート】確率論の基礎事項ざっくりまとめ(平均・分散・共分散・相関係数など)

確率論の基礎と、期待値、期待値、共分散、相関係数についてのざっくりとしたまとめ。間違えがあったら指摘してください! 1. 確率論の基礎:定義・定理集 ☆確率 ・加法定理 特に、 ⇒ ・乗法定理 ・条件付き確率の定義 ・全確率の定理 ・ベイズの公式 ・ベイ…

RでGLMあれこれ(ポアソン回帰)

glm()関数を使ってモデリングデータセット:http://hosho.ees.hokudai.ac.jp/~kubo/stat/iwanamibook/fig/poisson/data3a.csv0. 統計モデリングの流れ1. データの確認とモデルの選択 要約統計量とグラフから、どの統計モデルを使うべきか決める。 2. 統計モ…

【書評】『統計学入門』(東京大学出版)~統計学入門書の金字塔~

2017年の年末くらいから、統計学を本格的に学んでみようと思っていたので、まず読み始めたのがこの本です。Googleで「統計学 本」で検索すると、絶対にこの本がヒットするくらい有名。 以下書評です。↓(´・ω・`) 1. 書籍情報 細かな情報 ・書名 : 統計学入…

Blogはじめました。

Blogはじめてみた。 よろしくお願いします。