Feature-Weighted Linear Stackingメモ
はじめに
Sill et al., Feature-Weighted Linear Stacking, 2009
http://arxiv.org/abs/0911.0460
最近、コンペ上位者の手法としてよく見かける手法「Stacking」の一つについてメモ。
Stacking
Feature-Weighted Linear Stacking(FWLS)
概要的には、各学習結果をまとめあげる部分を線形和として表す際に、メタ素性をさらに考慮することで、細かい調整を行えるようにした感じ。
- L個の機械学習モデル g_i
- 入力xに対して、g_i(x)は予測結果を表す
- M個のメタ素性関数 f_i
- 入力xに対して、f_i(x)はメタ素性に関する何らかの実数を表す
Standard linear regression stacking
Feature-weighted linear stacking
FWLS optimization problem
- 最適化したい問題(v_{ij}の学習)は、
- min_v Σ_入力x Σ_{i,j} (v_{ij} f_j(x) g_i(x) - 正解y(x))^2
- ただし、入力xはスタッキングのパラメータを求めるために各学習器の学習で使っていない入力集合を使ったほうがよい
- K-fold cross validationとか、各学習に使う入力集合には気をつける
メタ素性の例
参考
- http://arxiv.org/abs/0911.0460
- http://ibisforest.org/index.php?%E3%83%A1%E3%82%BF%E5%AD%A6%E7%BF%92
- http://shindannin.hatenadiary.com/entry/2015/03/13/101945
- http://www.chioka.in/stacking-blending-and-stacked-generalization/
- http://en.wikipedia.org/wiki/Ensemble_learning#Stacking
- http://en.wikipedia.org/wiki/Meta_learning_(computer_science)
- 杉山ら, 統計的学習の基礎 データマイニング・推論・予測, 共立出版
- Murphy, Machine Learning A Probablistic Perspective
- Aggarwal, Data Classification Algorithms and Applications
- (下2つの本ではこの論文はReferenceされている)