・イライザ(ELIZA)
Joseph Weizenbaum
人工無能
・東ロボくん
東大合格を目指す人工知能
2011年～2016年
常識、文脈理解は不得意
・SHRDLU
Terry Winograd 1970年頃
「積み木の世界」プランニング技術
・STRIPS(Stanford Research Institute Problem Solver)
プランニング技術
前提条件、行動、結果の組み合わせで行動計画を記述
1971年
リチャード・ファイクスとニルス・ニルソン
・αβ法
Mini-Max法で探索打ち切りによる計算効率化したもの
・マイシン(MYCIN)
血液中のバクテリア診断支援のエキスパートシステム
・DENDRAL
質量分析の結果から未知の有機化合物の特定支援のエキスパートシステム
・オントロジー
人間の持つ情報をコンピュータが分かるように整理記述すること、またそのフレームワーク
・ライトウェイトオントロジー
実用性優先
LOD(Linked Open Data)
データマイニング
ウェブマイニング
ワトソン
・ヘビーウェイトオントロジー
正確性優先
Cycプロジェクト
・LOD(Linked Open Data)
コンピュータ処理に適したデータを公開共有するための技術
・Cycプロジェクト
すべての一般常識をコンピュータに正確に取り込むプロジェクト
・ILSVRC(ImageNet Large Scale Visual Recognition Challenge)
画像認識精度の競技会
ImageNet
学習データ1000万枚
テストデータ15万枚
・ローブナーコンテスト
チューリングテストの競技会
・AlexNet
ILSVRC 2012で優勝
トロント大学のジェフリー・ヒントン教授のSuperVisionチームが開発
パラメータ数6000万
・GoogLeNet
ILSVRC 2014で優勝
Inceptionモジュール(3つの畳み込みフィルタとmaxプーリングを結合)
Googleが開発
・VGG16(Visual Geometry Group)
ILSVRC 2014で準優勝
13個の畳み込み層＋3個の全結合層
「畳み込み×2〜3 → プーリング」を繰り返し、最後にSoftmaxで1000クラス分類
・ResNet(Residual Network)
ILSVRC 2015で優勝
スキップ結合
ボトルネック構造
・DenseNet(Densely Connected Convolutional Networks)
2016年に発表
ResNetをさらに発展させたもの
Denseブロック
・SENet(Squeeze-and-Excitation Networks)
ILSVRC 2017で優勝
畳み込み層が出力する特徴マップに対して、重みづけを行うAttention機構
誤答率2.25%
・MobileNet
2017年にグーグルが発表モバイル端末で使用可能
Depthwise Separable Convolution
・WideResNet
2017年に発表
ResNetの層数を減らし、畳み込みのチャネル数(フィルタ数)を増やすことで、高速高精度化
・EfficientNet
2019年にグーグルが発表
さまざまなCNNの構造を再検討
・インタビューシステム
エキスパートシステムの知識ベースを構築するための知識を引き出す研究
・制限付きボルツマンマシン(RBM)
同一層間のユニットは接続しない
二層(入力層、隠れ層)のニューラルネットワーク
・深層信念ネットワーク
制限付きボルツマンマシンを複数組み合わせたネットワーク
ディープラーニングの前身
・ビッグデータ
Volume
Velocity
Veriety
・オートエンコーダ
次元削減の手法
エンコーダで元のデータを圧縮し、デコーダで元のサイズに戻す
・Denseブロック
第i層の出力をxiとすると、Dense Blockの第i層の出力は以下の式で表される。
xi = Hi([x0, x1, …, xi-1])
ここでHiは
①Bacth normalization
②ReLU
③3x3 Convolution
の合成関数
