【メモ】ハイパーパラメータの探索について
これは、G検定のための個人的なメモである.
内容はとても薄い.
相変わらず「ベイズ」もよくわからないし...
グリッドサーチ
与えられたハイパーパラメータの候補の値の全パターンのモデル構築を行う手法.
例
- 設定A: 1, 3, 5
- 設定B: True, False
| 設定\設定B | True | False |
|---|---|---|
| 1 | 1, True | 1, False |
| 3 | 3, True | 3, False |
| 5 | 5, True | 5, False |
グリッドサーチではこれらの値の全ての組み合わせを使ってモデル構築を行い結果を検証する.
上記の例だと, この6つの組み合わせでモデルを構築してみる.
これは設定値が2つしかない(2次元)だからいいけど...
これが, 3次元, 4次元, 5次元になっていったらパラメータ数やばい...
メリット/デメリット
- メリット
- 調整する値の「あたり」が付いている場合にとても良い
- 調整する値の数が少ない場合にとても良い
- デメリット
- 計算コストが非常に高い
ランダムサーチ
候補の値をランダムに組み合わせたモデル訓練を行いハイパーパラメータを検証する手法.
例
グリッドサーチと同じ例を想定すると,
グリッドサーチでは全6パターンを全て試すものだったが,
ランダムサーチでは各パラメータをランダムで実施する.
今回の例では6パターンなので効果の実感は薄いが, これが組み合わせ爆発が起きているときは有用である.
しかし, ランダムで組み合わせを決めるので運要素が出てくる.
メリット/デメリット
- メリット
- 調整するパラメータが多い場合にも実行可能
- デメリット
- 運次第
ベイズ最適化
不確かさを利用して次に探索を行うべき値を探していく最適化アルゴリズムの一種. 目的関数(Acquisition Function) を推定する 代理モデル(Surrogate Model) には ガウス過程(Gaussian Process) が使われる.
「前回の結果を基に次に調べる値を決めていく」手法.
ベイズ最適化は以下の戦略を使って順次的に実行する.
- 探索(Exploration)
- もっと良い結果があると考えてあえて異なる部分を調べること
- 活用(Exploitation)
- 以前にやってみて良い結果が出たので継続してその近辺を調べてみること