https://qiita.com/FJyusk56/items/0649f4362587261bd57a
・XGBoostのハイパーパラメータ
nrounds
ブースティングを行う回数(決定木の本数)
eta
学習率
gamma
決定木の葉の追加による損失減少の下限。葉の数に対するペナルティー
max_depth
決定木の深さの最大値
min_child_weight
決定木の葉の重みの下限
subsample
各決定木においてランダムに抽出される標本(データ)の割合
colsample_bytree
各決定木においてランダムに抽出される列の割合
lambda [デフォルト = 1]
決定木の葉の重みに関するL2正則化項
alpha [デフォルト = 0]
決定木の葉の重みに関するL1正則化項
・グリッドサーチ
指定された全組み合わせを探索
・ランダムサーチ
事前定義分布からランダムに値をサンプリング
パラメータ毎に独立して探索
・ベイズ最適化
事前分布としてガウス過程を用いて関数の形を学習し、獲得関数で評価
・獲得関数
PI(Probability of Improvement) 報酬改善確率の最大化
EI(Exptected Improvement) 報酬改善値の期待値の最大化
UCB(Upper Confidence Bound) 信頼区間上限の最大化
LCB(Lower Confidence Bound) 信頼区間下限の最小化
