言語モデル構築Toolメモ

はじめに

世の中には言語モデルを構築するToolkitはたくさんあるということで、簡単に探してみた。

言語モデルツールキット

SRILM - The SRI Language Modeling Toolkit

• http://www.speech.sri.com/projects/srilm/

Palmkit - a statistical language modeling toolkit

• http://palmkit.sourceforge.net/

Kylm - 京都言語モデルツールキット

• http://www.phontron.com/kylm/index-ja.html

CMU SLM Toolkit

• http://www.speech.cs.cmu.edu/SLM_info.html

KenLM - Faster and Smaller Language Model Queries

• http://kheafield.com/code/kenlm/

IRSTLM - The IRST Language Modeling Toolkit

• http://hlt.fbk.eu/en/irstlm

RANDLM

• http://randlm.sourceforge.net/

berkeleylm - An N-gram Language Model Library from UC Berkeley

• http://code.google.com/p/berkeleylm/

mitlm - MIT Language Modeling Toolkit

• http://code.google.com/p/mitlm/

MSRLM - MicrosoftResearch Scalable Language-Model-Building Tool

• http://research.microsoft.com/en-us/downloads/78e26f9c-fc9a-44bb-80a7-69324c62df8c/default.aspx

その他

気になるもの。

latticelm

• http://www.phontron.com/latticelm/index-ja.html
• ノンパラメトリックベイズ法に基づくPitman-Yor言語モデルを用いた単語分割と言語モデルの教師なし学習ツール

lwlm

• http://chasen.org/~daiti-m/dist/lwlm/
• Latent Words Language Modelのフル実装
  • HPYLMが！！

rflm - The Random Forest Language Model Toolkit

• http://old-site.clsp.jhu.edu/~yisu/rflm.html

Sequence Memoizer

• http://www.sequencememoizer.com/
• 離散列データのノンパラメトリックベイズモデル

参考ページ

• http://www.phontron.com/nlptools.php?lang=ja