Negative/Positive Thinking

最尤推定(ポアソン分布の場合)

確率

ポアソン分布とは

http://ja.wikipedia.org/wiki/%E3%83%9D%E3%82%A2%E3%82%BD%E3%83%B3%E5%88%86%E5%B8%83
単位時間に平均で $\mu$ 回発生する事象が、k回発生する確率
- パラメータ $\mu$ によって確率Pが決まる

最尤推定

あるポアソン分布から生成されたデータD={0,0,1,3,0,2,...}が与えられる
このとき元のポアソン分布のパラメータがなんであったか知りたい

データの各要素が独立に同一の確率分布(ここでは、あるパラメータのポアソン分布)に従う、とする
- 要するに、データDの各要素には「この要素がでたから次はこの要素がでやすい」ような依存関係がない
このとき、データの生成確率(尤度)P(D)は以下のようになる
- $P(D)=\prod{p(x^{(i)})}=\prod{p(x^{(i)};\mu)}$
この尤度が最大になるパラメータを見つけるのが最尤推定
- 対数を取った対数尤度を求めても同じ

対数尤度は上に凸なので、について偏微分して0となるところを見つければいい
- $\frac{\partial log P(D)}{\partial \mu}=\sum(\frac{x^{(i)}}{\mu}-1)=0$
- $\mu = \frac{\sum{x^{(i)}}}{\sum{1}}$
一般には、制約付最適化問題を(ラグランジュ法などを用いて)解く

データの例

たとえば、0が36個、1が36個、2が18個、3が6個、4が2個の合計98個のデータが与えられたとする
$\mu = \frac{0*36+1*36+2*18+3*6+4*2}{98} = 1$ なので、このデータは $\mu=1$ のポアソン分布が一番もっともらしい分布となる