2011-09-12から1日間の記事一覧

言語モデルの評価尺度

エントロピー、パープレキシティ 言語Lにおいて、単語列の生起確率がのとき、1単語あたりのエントロピーは、 になる。 ある単語について、平均して個の単語が次につながりうることを表す。 このはパープレキシティと呼ばれる。なので、パープレキシティを見…

XORshift乱数

XORshiftとは XORshiftは、random number generator(乱数生成器, RNG)の一つ。周期が十分長く、演算も簡単なので生成速度も速いのが特徴。 コード wikipediaや論文に載っているのは、周期が2^128-1のもの。 C/C++では、「^」はビットXOR、「>>」はビットシフ…