勾配降下法

2024年5月18日

勾配消失や勾配爆発を避けるには重み初期値の設定が重要 ニューラルネットワークでは、前の層からの信号に重みを掛けた線形和に活性化関数を掛けて次の層への出力とします ...

2024年5月18日

深層学習における最適化アルゴリズムの定番である勾配降下法についてExcelに実装してきましたが、AdaGradが抜けていました。 >> 【例題をEx ...

2025年3月9日

Excelだとわかる勾配消失と勾配爆発の原因 Excelでニューラルネットワークの実装を行うと、Pythonにあるようなライブラリーがないためとても手間がかかる ...

2024年5月19日

勾配降下法の最良アルゴリズムAdam AI君の頭の良さは、式の中のパラメータの調整具合にかかっています。 そして良いパラメータかどうかを判断するために、損失関数 ...

2024年5月19日

最小二乗法のパラメータを最適化するためのアルゴリズムとして、最急降下法、確率的勾配降下法、モーメンタム法と見てきました。 >> 【例題をExcelで ...

2024年5月19日

前回は最小二乗法を解くために、確率的勾配降下法のアルゴリズムをExcelで試してみました。 >> 【Excelでアルゴリズムを実装】確率的勾配降下法 ...

2024年5月19日

前回は最小二乗法を解くために、最急降下法のアルゴリズムをExcelで試してみました。 >> 【例題をExcelでわかりやすく】最急降下法で単回帰の最 ...

2024年5月19日

前回の記事 【Excelでわかりやすく】勾配降下法で最小値が見つかる理由を視覚的に理解する で勾配降下法（最急降下法）で最小値が見つかる様子を視覚的に示しました ...

2024年5月19日

多変数の最小二乗法は簡単には解けない 説明変数が一つしかない最小二乗法では、Excelでいろいろな解法がありました。 >> 【6つもあった！】Exc ...