ニューラルネットワーク、逆誤差伝播法、勾配降下法、強化学習、サポートベクターマシン、遺伝的アルゴリズム、ベイズ推定などの原理を理解し易いようにExcelで実装してみました。Pythonではライブラリを使えば簡単に実装できてしまいますが、簡単が故にブラックボックスになってしまいます。そこをExcelで解明します。
Batch normalizationの逆伝播の算出式を計算グラフを辿って求める
Batch Normalizationの計算式 ニューラルネットワークの学習において、各層での出力値の分布（アクティベーション分布）が適当な広がりを持つように調 ...
誤差逆伝播法を行列演算でExcelに実装してXavierの初期値の有効性を実験してみた
Excelによるニューラルネットワークを行列演算で効率化する 行列演算は大量のデータの線形和を一遍に計算するのに便利です。 過去の記事で９画素の〇✕画像を見分け ...
【勾配消失しない重みの初期値】Excelでモンテカルロシミュレーションしてみた
勾配消失や勾配爆発を避けるには重み初期値の設定が重要 ニューラルネットワークでは、前の層からの信号に重みを掛けた線形和に活性化関数を掛けて次の層への出力とします ...
【学習率を調整する】AdaGradとRMSPropをExcelに実装して比較してみた。
深層学習における最適化アルゴリズムの定番である勾配降下法についてExcelに実装してきましたが、AdaGradが抜けていました。 >> 【例題をEx ...
【強化学習】モンテカルロ法をExcelに実装して迷路問題を解いてみた。
モンテカルロ法とQ学習との違い 強化学習は、最終目的を達成するために、今とるべき最適な行動を学習する機械学習の一手法です。 テトリスで一列ずつ崩すのではなく、溜 ...
【強化学習】Q学習のアルゴリズムをExcelに実装して迷路問題を解いてみた。
Q学習はAlphaGoで有名な強化学習の基本 強化学習は機械学習の一分野で、管理人がサプライチェーンマネジメントに最も有用と考えている手法です。 なぜなら、それ ...
【カーネルトリック】非線形のサポートベクターマシンをExcelに実装してみた。
カーネルトリックで非線形のサポートベクターマシンが解ける！ 宅配便会社Aでは、ある配送センターから1時間以内で配送できる範囲を調べるために、15か所の配送先でテ ...
サポートベクターマシンにラグランジュの未定乗数法を適用して制約条件付き最小化問題を解く
サポートベクターマシンは合理的な区分けを自動でしてくれる サポートベクターマシン（Support Vector Machines：SVM）は、得られたデータをそ ...
ラグランジュの未定乗数法は２つの関数の勾配の向きが同じになる点を求めること
機械学習の中でも有名なサポートベクターマシンについて理解するためには、ラグランジュの未定乗数法を理解する必要があります。 ところが、このラグランジュの未定乗数法 ...
活性化関数でよく使われるシグモイド関数の歴史や定義について調べてみた。
シグモイド関数を知らずしてニューラルネットワークは語れませんが、ふわっとした理解しかなかったので、調べて記事にしてみました。 シグモイド関数の定義や歴史、なぜニ ...