ちびのはてな

「ちび(猫)」と「キノコ」から生まれた「ちびキノコ」。ドラゴンボール最強!純粋なサイヤ人のように生きたいと思っているモノ作りを楽しむ人です。IT技術で少しでも多くの人が笑顔になってくれたらいいなと。

【メモ】DistBelief

これは、G検定のための個人的なメモである。
内容はとても薄い。

DistBelief という用語が初めて登場したので調べたことをメモ。


高速化の手法

分散並列処理: DistBelief (2012, Google)

DistBelief 以前は、 MapReduce(2004, Google) が使われていて、深層学習には不向きだった。

DistBelief は、大規模ニューラルネットワークの研究。DistBelief を完了して TensorFlow となった。

ハードウェア

GPU が強くなった。
しかし「半導体の集積率は18か月で2倍になる」というムーアの法則にも限界が見えてきた

InfiniBand

強いネットワークケーブル?

バッチ正規化

勾配降下法のミニバッチ学習では、バッチごとにデータ分布の違いがある 内部共変量シフト(Internal Covariate Shift) が発生する。

内部共変量シフト

Deep Networkでは、深くなった隠れ層において各層と Activation ごとに入力分布が変わってしまうことが問題となる。この現象を 内部共変量シフトInternal Covariate Shift と呼ぶ。 白色化 の手法をとると、ニューラルネットワークの収束速度が速くなることが知られている。

まとめ

DistBelief を調べていたら、学習の高速化の話に繋がった。