Batch normalizationの逆伝播の算出式を計算グラフを辿って求める
Batch Normalizationの計算式 ニューラルネットワークの学習において、各層での出力値の分布（アクティベーション分布）が適当な広がりを持つように調 ...
ソフトプラス関数とソフトサイン関数の逆伝播関数を計算グラフで求める
「ゼロから作るDeep Learning」に出てくる計算グラフの理解を補強する ニューラルネットワークの学習とは、損失関数が小さくなるように重みパラメータを更新 ...
活性化関数でよく使われるシグモイド関数の歴史や定義について調べてみた。
シグモイド関数を知らずしてニューラルネットワークは語れませんが、ふわっとした理解しかなかったので、調べて記事にしてみました。 シグモイド関数の定義や歴史、なぜニ ...
【勾配消失と勾配爆発はなぜ起こるのか？】その原因と対策をExcelで調べてみた
Excelだとわかる勾配消失と勾配爆発の原因 Excelでニューラルネットワークの実装を行うと、Pythonにあるようなライブラリーがないためとても手間がかかる ...