Self-backpropagationを導入したSNNとトレーニングの種類 2021年12月31日 今年の10月に以下の論文が発表された。論文：https://www.science.org/doi/10.1126/sciadv.abh0146Zhang T, Cheng X, Jia S, Poo MM, Zeng Y, Xu B. Self-backpropagation of synaptic modifications elevates the efficiency of spiking and artificial neural networks. Sc ... もっと読む
FORCEによるSNNの学習 2021年12月29日 FORCE(first-order reduced and controlled error)は2009年に発表された学習アルゴリズムである。論文：Sussillo D, Abbott LF. Generating coherent patterns of activity from chaotic neural networks. Neuron. 2009 Aug 27;63(4):544-57. doi: 10.1016/j.neuron.2009.07. ... もっと読む
エネルギーベースのニューラルネットワーク 2021年12月21日 エネルギーベースで学習するニューラルネットワークにはホップフィールドネットワークがある。深層学習にあるような階層型のニューラルネットワークとは違って、ホップフィールドネットワークは相互結合型である。ユニットの出力を更新していくとエネルギーは極小値へと安定 ... もっと読む
最近のSNNの教師あり学習アルゴリズム 2021年12月16日 SNNで教師あり学習をする方法はまだ１つに確定していないようだ。（教師なし学習ではSTDPが使用される。）これはスパイクデータが非連続的で勾配を計算することが出来ず、誤差逆伝播法が難しいからだ。古いものとしてはSpikePropがあり、これがSNNにおける教師あり学習の先駆 ... もっと読む
'_xsrf' argument missing from POSTエラーの単純な対処法 2021年12月16日 jupyter notebookを使って深層学習をしていると、数時間ipynbファイルを開いたまま放置していることがよくある。そうするとたまに、'_xsrf' argument missing from POSTというエラーが出ていて、学習も止まっているような感じになって焦った。しかも保存しようとしてもなぜが ... もっと読む
自由エネルギー原理について 2021年12月09日 前に書いた自由エネルギーの原理について、もう少し調べたのでメモする。 この原理は脳は自由エネルギーを最小化させるというものだが、1995年のヘルムホルツマシンというモデルがその原理で学習を行うものであった。同時期に研究されていた予測符号化(predictive cording) ... もっと読む
Transformerの画像への活用 2021年12月06日 去年あたりから画像にもTransformerが活用されるようになってきた。Vision Transformer (ViT)と言われるもので、画像をいくつかのパッチに分割してTransformerで処理する。画像は平坦化され、あくまでもNLPと同じようにシークエンスとして処理されるようだ。またCNNと違って ... もっと読む
