【勾配消失しない重みの初期値】Excelでモンテカルロシミュレーションしてみた
勾配消失や勾配爆発を避けるには重み初期値の設定が重要 ニューラルネットワークでは、前の層からの信号に重みを掛けた線形和に活性化関数を掛けて次の層への出力とします ...
【学習率を調整する】AdaGradとRMSPropをExcelに実装して比較してみた。
深層学習における最適化アルゴリズムの定番である勾配降下法についてExcelに実装してきましたが、AdaGradが抜けていました。 >> 【例題をEx ...
【勾配消失と勾配爆発はなぜ起こるのか？】その原因と対策をExcelで追跡する
Excelだと見える勾配消失と勾配爆発の原因 Excelでニューラルネットワークの実装を行うと、Pythonにあるようなライブラリーがないためとても手間がかかる ...
最終兵器AdamのアルゴリズムをExcelに実装して具体例を解いてみた。
勾配降下法の最良アルゴリズムAdam AI君の頭の良さは、式の中のパラメータの調整具合にかかっています。 そして良いパラメータかどうかを判断するために、損失関数 ...
RMSProp法のアルゴリズムをExcelに実装して具体例を解いてみた。
最小二乗法のパラメータを最適化するためのアルゴリズムとして、最急降下法、確率的勾配降下法、モーメンタム法と見てきました。 >> 【例題をExcelで ...
モーメンタム法のアルゴリズムをExcelに実装して具体例を解いてみた。
前回は最小二乗法を解くために、確率的勾配降下法のアルゴリズムをExcelで試してみました。 >> 【Excelでアルゴリズムを実装】確率的勾配降下法 ...
確率的勾配降下法のアルゴリズムをExcelに実装して具体例を解いてみた。
前回は最小二乗法を解くために、最急降下法のアルゴリズムをExcelで試してみました。 >> 【例題をExcelでわかりやすく】最急降下法で単回帰の最 ...
最急降下法のアルゴリズムをExcelに実装して具体例を解いてみた。
前回の記事 【Excelでわかりやすく】勾配降下法で最小値が見つかる理由を視覚的に理解する で勾配降下法（最急降下法）で最小値が見つかる様子を視覚的に示しました ...
勾配降下法で最小値が見つかる理由を数式と視覚でわかりやすく解説
多変数の最小二乗法は簡単には解けない 説明変数が一つしかない最小二乗法では、Excelでいろいろな解法がありました。 >> 【6つもあった！】Exc ...