Suffix Arrayメモ
はじめに
Suffix Arrayあたりをちょっと調べてみたのでとりあえずメモ。
調べてみたら結構研究されていて全部まとめるのが面倒あとできちんと理解しておきたい。
Suffix Array(接尾辞配列)とは
- 文字列に対して、その文字列の接尾辞集合を辞書順ソートしたもの
- ここでの接尾辞集合は「abcd」という文字列の場合、以下の4つの接尾辞になる
abcd bcd cd d
- これは各インデクスから最後までの部分文字列なので、元の文字列があればインデクスから部分文字列を得ることができる
- 与えられた文字列からある文字列が含まれるかどうかを検索したい場合、Suffix Arrayは辞書順に並んでいるので、2分探索することで高速に検索することができる
構築方法
普通のQuicksort
- 普通に文字列をソートする方法
- QuicksortにO(n log n)、文字列比較にO(n)かかる
Mamber-Myers
- Suffix Arrayを提案した人たち
- radix sortを使う
Larsson-Sadakane
- 上記のMamber-Myersの方法を発展させた方法
- Multikey quicksortを使う
二段階ソート法
三分割法
Seward Copy Algorithm
Ito-Tanaka Algorithm
Manzini & Ferragina(Deep Shallow Sorting)
Ko & Aluru
Karkkainen & Sanders
Burkhardt & Karkkainen(Difference-Cover algorithm)
Induced sorting(SAIS)
- Linear Suffix Array Construction by Almost Pure Induced-Sorting
- Two Efficient Algorithms for Linear Suffix Array Construction
- 2009年の論文でこれまでのSA構築アルゴリズムと比較して最強ぽい
関連
高さ配列
- SuffixArrayにおいて、i番目の接尾辞とその次の接尾辞との共通接頭辞の長さを要素に持つ配列
- (Ngramカウントのときの話で出てきた)
- 接尾辞木(SuffixTree)を計算することでO(n)で構築できる
Compressed Suffix Array
- http://researchmap.jp/sada/csalib/
- http://ci.nii.ac.jp/naid/110002812462
- SuffixArrayを圧縮し、サイズを小さくした状態でも検索可能にしたもの
- Burrows Wheeler's Transformとか
FM Index
LZ-index
Repair Suffix Array
参考ページ
- http://ja.wikipedia.org/wiki/接尾辞配列
- http://d.hatena.ne.jp/echizen_tm/20101028/1288267336
- http://homepage3.nifty.com/DO/suffix_array.htm
- https://sites.google.com/site/yagihiro/Home/suffixarray
- http://www.hgc.jp/~tshibuya/classes/seq2009_5suffixarrays.pdf
- http://blog.beam2d.net/2011/08/suffix-array-sa-is.html
- https://sites.google.com/site/yuta256/sais
- http://www.kurims.kyoto-u.ac.jp/~kyodo/kokyuroku/contents/pdf/1093-15.pdf