条件付き確率場とは？ 対数線形モデルを系列ラベリング問題へ適用したもの 対数線形モデルメモ http://d.hatena.ne.jp/jetbead/20110923/1316794767 一般には、系列だけでなくグラフの頂点のラベルにも適用できる 系列の場合は、「linear-chain CRF」と呼ば…

はじめに Passive-AggressiveアルゴリズムとLIBSVMでどの程度の性能差がでるのか試してみた。 使用したデータ LIBSVMのページにあるUCIデータセットのa9aを用いた http://www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/ 学習データ : a9a.txt テストデー…

はじめに Perceptronについて調べてたりするとよく間違えた出てくるPAアルゴリズムについて調べたのでメモ。 Passive-Aggressive(PA) Algorithm Passive-Aggressive 心理学とかだと「やれといわれる(受動的)けど実際はやらない(攻撃的)」みたいな意味らしい …

はじめに PAアルゴリズムは回帰問題にも適用することができる、と書いてあったのでとりあえず試してみた。 パラメータの設定などがわかっていないので、要調査。 使用したデータ LIBSVMのページにあるUCIデータセットのeunite2001を用いた http://www.csie.n…

対数線形モデルとは？ log-linear model 最大エントロピーモデルとも呼ばれる P(y|d)を直接モデル化する(y:ラベル、d:事例) P(d), P(d|y), P(d,y)などは求めることができない 素性関数 ラベルと事例の組(y, d)を素性として扱う そうでない場合としては、事例…

多値分類とは 2値分類(Aか否か)はクラス数が2の場合の分類 多値分類とはクラス数が3以上の場合の分類 多値分類の方法 one-versus-rest法 nクラスの場合は、n個の分離平面を求め、各クラスがそのクラスに属するかどうか もし、1事例が1クラスにしか属すること…

はじめに SGDによるパーセプトロンの学習がどんな感じに収束していくかを見たかったので確認用にflashで作ってみた。 いじっている限りではちゃんと収束してくれた。 プロット結果 ぱーせぷとろんのがくしゅう - wonderfl build flash online

バイアス項とは 識別関数での切片bのこと。 wは分離平面の方向ベクトルで、としてベクトルにバイアスをいれ、bをw_0として扱うことで、として扱ったりする。 バイアス項は、固定されたオフセット量を許容するためのもの。 イメージ的には、バイアス項を含ま…

はじめに 1か月ぐらい前にやったセリフ分類で、 libsvmを使って線形カーネルとRBFカーネルの精度に差がでてた(そもそも成功はしてないけど)。 結論からいうと、パラメータをいじることで改善するけど、そこら辺の言及されているものを教えてもらったのでメモ…

はじめに 「言語処理のための機械学習入門」の第４章のナイーブベイズを勉強のため実装してみた。 多変数ベルヌーイモデルについて、最尤推定のものと、最大事後確率推定のものをc++で動かしてみた。 ナイーブベイズ分類器とは？ 古典的な分類器 事例dがどの…

線形識別モデル 識別＝入力ベクトルがどのクラスに属するか 線形識別＝どのクラスに属するかを表す境界が「超平面」によって決まる 各入力ベクトルから直接クラスを推定する識別関数を作成 この識別関数に入力ベクトルをいれることで、どのクラスに属するか…

PRML第9章にK-meansアルゴリズムがあって、Old Faithful間欠泉データを2つのクラスタに分解した図が載ってたので、自分でも書いてやってみた。 準備 ■Old Faithful間欠泉データ http://research.microsoft.com/en-us/um/people/cmbishop/prml/index.htm 上の…

はじめに 最近、自然言語処理とかちゃんと勉強始めたので、まずはやってみようということで文書分類をやってみた。 本当だったらもっと一般的な題材(ニュースカテゴリ分類やスパムフィルタとか)からやるべきだろうけど、前々から気になってた「映画のキャラ…