https://toukei-lab.com/ensemble
・バギング
学習機を並列
バリアンスを小さくする
ブートストラップサンプリング(重複を許したリサンプリング)
例: ランダムフォレスト
・ブースティング
学習機を直列
バイアスを小さくする
例: XGBoost、AdaBoost、勾配ブースティング、LightGBM
・スタッキング
複数の分類機の重み付き出力を次の層の入力とする
バイアスとバリアンスを小さくする
ハード投票
→ 各分類機で最も確率の高いクラスについて多数決
ソフト投票
→ 各分類機のクラスごとの確率を平均して、最も確率の高いクラス
