【微分を数値的解法で解く】Excelで複雑な関数の微分を簡単に計算する方法
高校で微分を習った時、 「こんなもん勉強して、将来何の役に立つんだ！」 と思った人は少なくないと思います。 世の中の物理現象は微分積分を使わないと説明できないの ...
Batch normalizationの逆伝播の算出式を計算グラフを辿って求める
Batch Normalizationの計算式 ニューラルネットワークの学習において、各層での出力値の分布（アクティベーション分布）が適当な広がりを持つように調 ...
誤差逆伝播法を行列演算でExcelに実装してXavierの初期値の有効性を実験してみた
Excelによるニューラルネットワークを行列演算で効率化する 行列演算は大量のデータの線形和を一遍に計算するのに便利です。 過去の記事で９画素の〇✕画像を見分け ...
ソフトプラス関数とソフトサイン関数を計算グラフで微分してみる。
「ゼロから作るDeep Learning」に出てくる計算グラフの理解を補強する ニューラルネットワークの学習とは、損失関数が小さくなるように重みパラメータを更新 ...
【２通りの方法】最小二乗法を行列演算で解く方法をわかりやすく解説
高次の回帰式を求めるには行列演算を使うのが便利 下記のデータが得られた時に、xからyを予測する回帰式を求めたいとします。 【6つもあった！】Exc ...
サポートベクターマシンをExcelに実装して２クラス分類問題を解いてみた。
サポートベクトルマシンで２クラス分類するような直線をExcelで計算する 倉庫の中の従業員が熱射病になり易い条件を調べるために、次のようなデータを採りました。 ...
ラグランジュの未定乗数法は２つの関数の勾配の向きが同じになる点を求めること
機械学習の中でも有名なサポートベクターマシンについて理解するためには、ラグランジュの未定乗数法を理解する必要があります。 ところが、このラグランジュの未定乗数法 ...
活性化関数でよく使われるシグモイド関数の歴史や定義について調べてみた。
シグモイド関数を知らずしてニューラルネットワークは語れませんが、ふわっとした理解しかなかったので、調べて記事にしてみました。 シグモイド関数の定義や歴史、なぜニ ...
【勾配消失と勾配爆発はなぜ起こるのか？】その原因と対策をExcelで追跡する
Excelだと見える勾配消失と勾配爆発の原因 Excelでニューラルネットワークの実装を行うと、Pythonにあるようなライブラリーがないためとても手間がかかる ...
ニューラルネットワークをExcelに実装して画像処理させてみた。
９画素のマークシートに書かれた〇✕をニューラルネットワークで読み取る 入学試験や運転免許証の試験などで、誰でも一度はお世話になったマークシート。 大量の答案を機 ...