ちびのはてな

「ちび(猫)」と「キノコ」から生まれた「ちびキノコ」。ドラゴンボール最強!純粋なサイヤ人のように生きたいと思っているモノ作りを楽しむ人です。IT技術で少しでも多くの人が笑顔になってくれたらいいなと。

【メモ】前処理

これは、G検定のための個人的なメモである。
内容はとても薄い。

正規化とか標準化とか平滑化とか、○○化がわからないからメモをする。 公式テキスト P.152 付近の話


前処理

手法 説明 メモ
正規化 各特徴量(入力データ)を 0〜1 の範囲に収まるように加工を施すこと -1〜1 に収まるようにする場合もある
標準化 各特徴量(入力データ)の平均を 0, 分散を 1 にするように加工を施すこと 各特徴量(入力データ)を標準正規分布に従うように加工を施すこと
無相関化 各特徴量(入力データ)間の相関を無くすこと 白色化の前処理
白色化 無相関化 + 標準化 標準化の強い版
正則化 不良設定問題を解いたり過学習を防いだりするために情報を追加する手法である パラメータのノルムの大きさに罰則をかけたりする
平滑化 データにおける重要パターンを、ノイズなど重要性の低いものを除去しながら見つけ出す方法 平滑化の目的は値の変化をなだらかにしてデータの傾向をわかりやすくすること

事前学習

いわゆる「事前学習済みのモデル」と「勾配消失問題に対する事前学習」の2種類の意味がある??

  • 事前学習済みモデル
    • ImageNet で学習させたモデルとか?
  • 勾配消失問題に対する事前学習
    • 重みの初期値を計算する処理
      • シグモイド関数においては Xavier の初期値が良いとされ、
      • ReLU 関数においては He の初期値が良いとされているあれ?

この2つは別物?一緒のもの??