Pseudo-labelingと半教師あり学習 2020年09月29日 第二回全国医療AIコンペに参加して、一位の方がPseudo-labelingを使っていたので少し調べてみた。Pseudo-labelingは半教師あり学習の１つで、ラベルありのデータによる学習器からラベルなしのデータを予測して仮のラベルとして使用することによって、ラベルありのデータを増 ... もっと読む
CapsNet 2020年09月22日 CapsNet (Capsule Network)は2017年に発表されたモデルで、論文の「Dynamic Routing Between Capsules」は注目を集めた。画像認識で使われるCNNの欠点を克服したモデルで、スカラーではなくベクトルで特徴量を計算する。ただし活性化関数がSquash関数という関数を使っており ... もっと読む
Attentionの種類と実装と応用 2020年09月22日 Attentionには以下にあるように様々な種類があってわかりづらい。https://qiita.com/norihitoishida/items/2fead107792b504eaccf#attention要は何らかの処理でAttention weightsを計算してそれを並列した入力に掛け合わせる機構は全てAttentionだと考えればよいのではないか ... もっと読む
RNNの特徴と多変量入力やstatefulの実装 2020年09月21日 最近はRNNがあまり使われていないような気がする。自然言語処理の分野でもAttention(Transfomer)が主流になってしまったようだ。RNNには並列処理ができないため、計算速度的にも遅くなるというデメリットがある。RNNの特徴は以下１.可変長な入力に対応している。逆に言えば固 ... もっと読む
自己組織化マップとSNN 2020年09月19日 自己組織化マップ(Self Organizing Map：SOM)は、1980年代に開発された教師なし学習が出来るニューラルネットワークである。カラム構造が形成されるため大脳皮質のモデルとしても使われており、産総研の一杉先生はベイジアンネットを組み合わせたBESOM (BidirEctional SOM)を ... もっと読む
複素ニューラルネットワークや量子ニューラルネットワーク 2020年09月13日 ニューラルネットワークを複素数に拡張したものとして、複素ニューラルネットワークがあるらしい。振幅と位相によってデータを表現するもので、2000年あたりには発表されていた。学習のアルゴリズムは誤差逆伝播法だけではないようだ。参考１：https://www.hellocybernetics. ... もっと読む
リザバーコンピューティング 2020年09月13日 リザバーコンピューティングはRNNの一種で、発想としては2000年初期からあったようだ。参考：https://qiita.com/pokotsun/items/dd8eb48fadeee052110b中間層までを結合を固定して出力層の重みのみを学習するため、学習のコストが小さくできる。またハードウェア実装において ... もっと読む
