ちびのはてな

「ちび(猫)」と「キノコ」から生まれた「ちびキノコ」。ドラゴンボール最強!純粋なサイヤ人のように生きたいと思っているモノ作りを楽しむ人です。IT技術で少しでも多くの人が笑顔になってくれたらいいなと。

【メモ】○○関数について

これは、G検定のための個人的なメモである.
内容はとても薄い.

損失関数、誤差関数、コスト関数、目的関数 の違いがわからない件

参考記事*1
参考記事*2


損失関数 == 誤差関数

参考記事によると、 損失関数誤差関数 はほぼ同義である。
もしくは 損失関数 ⊃ 誤差関数 っぽい。 ( 誤差関数損失関数 の部分集合)

損失関数(≒誤差関数) は、以前にも記事にしている。

chibi929.hatenablog.com

この自分の記事や前述の記事によると、

  • 平均二乗誤差関数: 回帰問題の誤差関数
  • 2値交差エントロピー誤差関数(2クラス交差エントロピー誤差関数): 2クラス分類問題の誤差関数
  • 多クラス交差エントロピー誤差関数: 多クラス分類問題の誤差関数
  • コネクショニスト時系列分類法: シーケンス学習問題の誤差関数
  • ヒンジ損失関数: SVM の誤差関数
  • Huber 関数: ?
  • 指数損失関数: ?

などが挙げられるそうだ。

コスト関数 = 損失関数 + 正則化

こちらも参考記事によると 損失関数モデルの複雑さのペナルティ(正則化) の合計とのこと.

目的関数

そして、一番大きな枠組みである 目的関数
損失関数(誤差関数) , コスト関数 これらを引っくるめて 目的関数 と呼ぶらしい.

まとめ

  • 損失関数 ≒ 誤差関数
  • コスト関数 = 損失関数 + 正則化
  • 目的関数 ⊃ 損失関数, 誤差関数, コスト関数