タイトル通り、人工知能の哲学についての入門として書かれた本である。
まず、第一次・第二次人工知能ブームまでの、人工知能の概要とそれに対する哲学的批判をまとめたのち、第三次人工知能ブームつまり現在に至るディープラーニングを主軸とした人工知能の仕組みなどをまとめた上で、哲学的課題を整理している。
「人工知能の哲学」だが「人工知能」のウェイトの方が大きいかな、というようにも感じた。
「哲学」の方についていうと、おおむね論点整理であるという感じ。「○○は～～なのだろうか」という今後の研究課題は並べられているが、それに対して、ではどう答えるか、というところまではあまり踏み込んでいなかった様子。
それをこの本の長所ととるか短所ととるは求めるもの次第
個人的に物足りなさはあったものの、見取り図の整理としてはよかった。
もう少し突っ込んだ議論が読みたいと思ったのは、やはり大規模言語モデルと意味理解の関係の話。ここらへんは自分でもまだ混乱しているところがある。
それから、構文論的構造とニューラルネットワークの関係とかか。
逆に、見取り図として自分の理解も整理できたなあと思ってよかったのは、第12章の認知科学の整理のところ
また、なるほど、そういう議論があるのかと思ったのは、コード化不可能性の議論
コード化不可能性だけでなく、科学とか認知システムの理解とかとも通じるけれど、複雑なものと人間の理解可能性の関係の話とか。ここらへんも、もっとさらに突っ込んだ議論ができるところであるだろうけれど、とりあえず、論点整理としてよかったかな
強化学習と生物進化との類似性の指摘なども面白かった。
人工知能の哲学についていうと、今年３月に次田瞬『意味がわかるＡＩ入門 ――自然言語処理をめぐる哲学の挑戦』 - logical cypher scape2を読んだ。実を言えば、この『意味がわかるAI入門』の次にこの『人工知能の哲学入門』を読もうと思っていたのだが、なんかその時はモチベーションが続かなかった。
同じ著者の別の本として鈴木貴之『ぼくらが原子の集まりなら、なぜ痛みや悲しみを感じるのだろう』 - logical cypher scape2があって、こちらはすごくいい本だった記憶があり、この著者への信頼感がある。
はじめに
Ⅰ 古典的人工知能
第1章 古典的人工知能：基本的発想
1.1 基本的発想①：ボトムアップの過程
1.2 基本的発想②：トップダウンの過程
1.3 物理的記号システムとしての人工知能
第2章 古典的人工知能：歴史
2.1 第1次人工知能ブーム期：成果と限界
2.2 第2次人工知能ブーム期：成果と限界
2.3 拡張性の問題と無限定性の問題
第3章 古典的人工知能：哲学的批判
3.1 チューリングテストと意味理解の問題
3.2 フレーム問題と状況理解の問題
3.3 古典的人工知能：可能性と限界
Ⅱ 古典的人工知能から現在の人工知能へ
第4章 機械学習
4.1 機械学習の基本的発想
4.2 機械学習の意義と注意すべき点
第5章 ニューラルネットワーク
5.1 ニューラルネットワークの基本的な仕組み
5.2 代表的なニューラルネットワーク研究
5.3 ニューラルネットワークと人間の脳・古典的人工知能を比較する
第6章 深層学習
6.1 深層学習の基本原理
6.2 深層学習の特徴
6.3 深層学習をめぐる謎と課題
Ⅲ 現在の人工知能：現状と課題
第7章 画像認識
7.1 さまざまな画像認識手法
7.2 深層ニューラルネットワークによる画像認識と人間の視覚情報処理
第8章 自然言語処理
8.1 さまざまな自然言語処理の手法
8.2 大規模言語モデルをどう評価するか
第9章 ゲームAI
9.1 現在のゲームAI
9.2 ゲームAIの意義
Ⅳ 現在の人工知能：哲学的考察
第10章 現在の人工知能①：可能性と課題
10.1 困難は克服されたのか
10.2 汎用人工知能の可能性
10.3 主体としての人工知能と道具としての人工知能
第11章 現在の人工知能②：倫理的問題
11.1 バイアスの問題
11.2 透明性の問題
11.3 制御可能性の問題
第12章 人工知能と認知科学
12.1 認知の基本原理
12.2 認知は理解可能な現象か
おわりに
参考文献
あとがき
Ⅰ 古典的人工知能
第1章 古典的人工知能：基本的発想
古典的人工知能は、知的過程をアルゴリズムとして表現するのが基本方針。
さらに、ヒューリスティックを利用する。
アルゴリズムとして表現できなかったり、できたとしても計算量が多すぎると、実現できない
ヒューリスティックが発見できないと詰む、というのも問題
物理的記号システム仮説＝思考は記号の構文論的な操作であるという考え
弱い物理的記号システム仮説＝記号の構文論的な操作以外の思考もありうる
強い物理的記号システム仮説＝思考とは、記号の構文論的な操作のみである
強いAI＝記号操作を行うコンピュータは、たんに思考をシミュレートしているのではなく、文字通りに思考している
弱いAI＝人工知能は人間の思考のシミュレーションにすぎないという立場
古典的人工知能（good old fashioned AI: GOFAI）＝物理的記号システム仮説にもとづく人工知能
第2章 古典的人工知能：歴史
第一次と第二次の人工知能ブームの歴史がまとめられている。ここではその具体的なところは省略する。
この時期には、初期の小規模な問題においては目覚ましい成功を遂げるが、一般化しようとすると停滞することが繰り返されたとドレイファスが指摘
→拡張性（scalability）の問題
たんに単純な問題よりも複雑な問題の方が難しいとい→うことではない
問題が複雑になることで、単純な問題に利用できていた手法が端的に適用できなくなってしまうことが問題
そのような問題が生じる原因の一つは、現実世界が無限定性（open-endedness）という特徴を持つから
第3章 古典的人工知能：哲学的批判
コード化不可能性（uncodifiability）
→美、善、合理性といった性質はコード化不可能
フレーム問題とは、重要性のあり方がコード化不可能であるように思われることが問題なのではないか、と。
ところで、コード化不可能性の議論は、個別主義と結びつきやすい
美とは、個別の作品や文脈ごとのものなのだ、と
しかし、あくまでもいえるのは、美や重要性といった性質が「単純な規則の集合によっては」コード化できないということであって、端的にコード化不可能だとか、個別主義が正しいとかまでは必ずしもいえないのではないか、という注釈がついていて、この議論は10章に持ち越される。
ドレイファス
フレーム問題と常識
Ⅱ 古典的人工知能から現在の人工知能へ
第4章 機械学習
コンピュータに学習させるという発想
初期の研究にもある（1959年、アーサー・サミュエルによるチェッカープログラム）
過適合の問題
単純なモデル＝訓練データの説明能力は低いが、未知の入力に対して安定性が高い
複雑なモデル＝訓練データの説明能力は高いが、未知の入力に対して不安定
訓練データの説明能力が低い＝バイアスがある
不安定＝出力の分散が大きい
機械学習は、バイアスと分散がトレードオフ
機械学習においてはすべての事例に対して正確な出力を生成することは目指されていない
機械学習の注意点
（１）人間によるさまざまな選択や決定が不可欠であるという点
（２）モデルに用いる特徴量そのものは人間が発見しなければならないという点
（３）機械学習のために人間が選択したモデル候補に真の関数が含まれている保証はないという点
（４）あらゆる知的課題に機械学習が不可欠というわけではないという点
第5章 ニューラルネットワーク
- ベクトル変換装置（入力ベクトルに行列と関数を適用して出力ベクトルに変換）
- 機械学習システムの一種
タスクによって、用いられるネットワークが異なる
- 画像認識→畳み込みネットワーク
- 自然言語処理→再帰的ニューラルネットワーク
ニューラルネットワークのよさ
（１）汎化能力を有すること
（２）曖昧な入力に対する耐性を有すること
（３）一部が変化したり、失われたりしたとしても、ネットワークのパフォーマンスは急激に低下せず、徐々に低下すること（古典的人工知能は一部が変化・消失したら普通動かなくなる）
（４）分散表現または分散表象（distributed representation）をもつこと
（５）明示的な規則を学習することなしに課題を実行できること
人間の脳と人工ニューラルネットワークの違い
（１）ネットワーク構造の違い（例えば、層の数。あるいは、下流から上流への結合が脳にはあり、人工ニューラルネットにはないこと）
（２）脳は、神経細胞間の電気的な興奮伝達だけで情報処理しているわけではないこと
学習のあり方における、脳と人工ニューラルネットワークの違い
（１）脳には、個々のシナプスの重みを外部から直接調整するメカニズムは存在しない
（２）人工ニューラルネットワークには多くの訓練データ必要／人間の脳は比較的少数の事例で可能
（３）人工ニューラルネットワークは、多くの場合、教師あり学習／人間の学習は、正解が明示的に与えられないことも多い。
思考の体系性（systematicity）と生産性（productivity）と呼ばれる特徴から、ニューラルネットワークは真の思考をもたないとする主張もある。
この主張においては、以下の前提があるが、いずれも自明ではない。
「思考の体系性と生産性には、構文論的構造をもつ記号システムであることが必要である。 」
「ニューラルネットワークは、構文論的構造をもつ記号システムではない。」
ところで、この二つの前提について、自明ではないと書かれていて、簡単な説明はあって確かに、とは思ったのだが、もう少し詳しくあっても、とも思った。
詳しく書きすぎると、本書の想定している入門範囲を逸脱してしまうのかもだけど。
後者についていうと、計算主義とコネクショニズムは、抽象化のレベルが異なり、より抽象的なものとして計算主義があり、コネクショニズムはその実装、という考え方もできる、というようなことが書かれていた。
計算主義とコネクショニズムの関係については、第12章でより詳しく触れられている。
ちなみに、ハーナド（Harnad, 1990）は、記号接地問題の解決には古典的人工知能と真相ニューラルネットワークの統合が必要と主張
第6章 深層学習
- 深層学習の特徴
（１）特徴量の設計が不要
深層学習は、新たな特徴量を構成する作業と、構成された特徴量を用いて回帰などの比較的単純な作業という２つの作業を行う
（２）モデルの複雑さ
学習に多くの訓練データが必要→ネットの発達とコンピュータの性能向上で大量のデータが扱えるようになった
上流部のパラメータが変化しにくいという問題（＝勾配消失）もある→勾配消失問題を回避する手法ができた
（３）応用範囲の広さ
入出力をベクトルで表現することができれば、何でも深層学習可能
- 深層学習の謎
（１）性能の高さ
数学的には2層ニューラルネットワークと深層ニューラルネットワークの表現力には違いがないと考えられるにもかかわらず、後者の方が性能が高い
（２）なぜ過適合に陥らないのか
訓練データは非常に正確に説明できるが、新しいデータを正確に予測する能力は低いモデルだということになるはずなのに、実際には汎化能力が高い
（３）なぜある課題にはある特定の構造をもつネットワークがよいパフォーマンスを示すのか
（しかし、画像認識に本来自然言語処理に用いられるトランスフォーマを用いたり、自然言語処理課題に本来画像認識に用いられていた畳み込みネットワークを用いたりすることも、効果的であることが知られている）
- 注意点
（１）大量の訓練データが必要
（２）どの課題にどのような構造のネットワークが適しているかの一般原理が存在しない
（３）古典的人工知能を用いる方が効果的な場合もある
（４）人間に解釈不可能な表現がある＝不透明性
（５）敵対的事例の存在（わずかな変化に敏感に反応することがある）
Ⅲ 現在の人工知能：現状と課題
ここでは、課題別（具体的には画像認識、自然言語処理、ゲーム）にその仕組みなどが解説されている。
第7章 画像認識
画像認識に用いられる典型的な手法２つ
（１）畳み込みニューラルネットワーク
局所的な特徴を検出するフィルタでよって特徴マップという隠れ層を得る
下流の隠れ層でより大域的な特徴を検出する
（２）自己符号化器による事前学習
自己符号化器＝データに含まれる情報を強制的に圧縮し、重要な特徴を抽出
- 脳との違い
畳み込みニューラルネットワークは生物の視覚システムのあり方を参考にしたモデルだが、違いもある
（１）学習に必要なデータ数
（２）何を出力するか（人工知能ならカテゴリーなどだが、脳において出力は自明ではない）
（３）敵対的事例の有無
（４）構造の違い（人工知能はフィードフォワード、脳はフィードバックがある）
→脳の画像処理は時間の中で行われる
→脳の認知のモデルは、予測符号化の方が有望かもしれない
第8章 自然言語処理
言語モデル＝ある言語においてさまざまな語が互いにどのような関係にあるかを表現する数理モデル
例）bag-of-wordsモデル、n-グラム語モデル
→ニューラルネットワークを用いた言語モデルを作る
→そのために、語をベクトルであらわす
埋め込みベクトル
意味の類似した語は類似したベクトルになること、
ベクトル同士の演算が成り立つこと（王−男性＝女王−女性のような）
→埋め込みベクトルは、語の意味っぽい。
問題
（１）入力ユニット数を超える長さの文章を扱えない。
（２）語順などの情報を表現できない
→再帰的ニューラルネットワーク（recurrent neural network: RNN）
隠れ層の再帰的な結合があることで、時系列的な入力を扱うことができる。
入力の長さにかかわらずパラメータ数が一定。学習が比較的容易
最適ニューラルネットワークの問題
→１語入力するたびに１語翻訳。しかし、本来翻訳は、原文全体を踏まえて決定される必要がある
→系列変換モデル
系列変換モデルの問題
文末に近い情報ほど大きな割合を占める
入力される文が長くなるほど、一語あたりの情報量は少なくなってしまう。
→アテンション機構
アテンション機構の一般化＝自己アテンション
自己アテンション機構
→同じ語に対して、前後に存在する語の違いに応じて、異なる埋め込みベクトル
トランスフォーマー
自己アテンションを用いる
トランスフォーマは再帰的ネットワークではないため、時間的情報を扱うことはできない。
しかし、再帰的ネットワークに比べて処理が高速・学習も高速
転移学習
ある課題について学習すると別の課題も素早く学習できるようになること
畳み込みネットワークにも大規模言語モデルにもみられる
- 記号接地と意味理解について
大規模言語モデルは、記号接地を欠いているのに十分な言語使用ができているのは、一見不思議
→我々が、リンゴを見たり食べたりして知ることは大体文章化されているので、文書データだけで学習できてしまう。
大規模言語モデルがもたらす哲学的な問い
（１）十全な言語使用に意味理解は不可欠か
「言語使用には意味理解が不可欠であるという」前提や「意味理解には記号接地が不可欠であるという」前提を疑う
（２）言語理解において、言語と世界の関係と、言語同士の関係は相互に独立か
（３）人間と大規模言語モデルは異なる仕方で言語を使用しているのか
このあたりについては、もう少し深掘りしてもらいたかった気持ちが大きい
記号接地問題はもはや問題ではない、とする議論が一方でなされているのはなんとなく知っているが、その手の論文のさわりだけ読んでもいまいちピンと来なかったことがある
ただまあ「言語使用」「意味理解」「記号接地」「言語と世界の関係」「言語同士の関係」あたりをそれぞれバラして考えていく、というあたりまではなんとなくわかってきた。
個人的には「言語の意味」と「志向性」とかも一緒に分解整理しとかないといけなさそうだな、と思っているが、モヤモヤと未整理のままである。
うーん、あと、記号接地と言語ゲームかな。鬼界彰夫風にいうなら、言語ゲームを成り立たせているのは「実践の一致」であり、そうした実践の一種として「記号接地」を捉えるとかはありそう。
あと、記号接地していなくても言葉の意味は理解できるのだと考えるとしても、内部で持っている表象には志向性がないということであり、それって結局一体なんなの、表象なの？ と思ったりもする。
ところで、ここから完全にただの連想ゲームだけど、クオリア構造学も、クオリアとクオリアとの類似関係でクオリアを特徴付けようとしているから、クオリアが世界の性質についての表象になっているかどうかは捉え切れていないのかもしれない？
ただ、類似関係が世界と同型であれば、いいのか。同型性があれば志向性があるといっていいのか。鈴木貴之『ぼくらが原子の集まりなら、なぜ痛みや悲しみを感じるのだろう』 - logical cypher scape2は同型性であることに表象になると言っているっぽいな。
だとすると、語と語の間の関係が、世界における事物と事物の関係と同型であればいいのか。前期ウィトゲンシュタインの論理空間と写像みたいな話になってない？？
- 大規模言語モデルの学習
大規模言語モデルは、直接学習していない事柄についてどの程度の知識を得ることができるのか
人間の学習と大規模言語モデルの学習は、大きな相違点と共通点の両方がある。このことは何を意味するのか。
言語の習得とは、語同士の共起確率を学習していくことなのか
その共起確率の中に、文法構造なども暗黙的に表現されているかもしれない？
いずれにせよ、言語の意味をベクトルとして捉える考え方を、これまで言語哲学者は考えてこなかったはずなので、真剣に検討すべき、としている（ポール・チャーチランドが80年代から論じていたが、体系化された意味の理論には至っていない）。
単語をさらに細かく分割したサブワード単位について
次田瞬『意味がわかるＡＩ入門 ――自然言語処理をめぐる哲学の挑戦』 - logical cypher scape2ではどちらかといえば問題点として挙げていたような気がするが、本書では中立的
- 直観的な理解が困難であるということ
それはそもそも深刻な問題か？
数理的な記述なら可能か？
単純化したモデルの構成なら可能か？
第9章 ゲームAI
モンテカルロ木探索
→バックギャモンなどでは人間をはるかに上回る
→しかし、囲碁ではアマチュア2段程度
強化学習
膨大な分岐のなかで効果的な探索をするための方法を探るのに利用する
強化学習とは、報酬を手がかりに「行動の方策」や「状態の価値」を学習すること
- 方策ネットワーク（policy network）
ある局面におけるよい手を探す
- 価値ネットワーク（value network）
ある局面の勝率を評価する
よい手＝方策、勝率＝価値
信用割当問題
探索と活用（exploration and exploitation）のバランスをどうとっていくか。
（高い勝率の手をどんどん活用していくか、それ以外の手も探索していくか）
強化学習における重要な制約
（１）膨大な数の試行が必要
（２）一回の失敗が致命的となる場合には、強化学習の利用は困難
（３）学習すべき関数の入出力をどのように設定すれば、このような多様な状況に対する学習が可能になるかは明らかではない
これらの条件を満たす課題もたくさんあるが、満たさない課題もたくさんある
ゲームというのはこの条件を満たすぴったりの課題だった。
AlphaGoの学習に膨大な計算が必要
→人間の脳とは違うのではないかという疑問が生じるが、本書では、進化の過程で生じてきた試行錯誤の数と比較すれば必ずしも過大ではないのでないか、ということを指摘している。
Ⅳ 現在の人工知能：哲学的考察
第10章 現在の人工知能①：可能性と課題
- 古典的な人工知能の問題
拡張性を欠くこと
原因は組み合わせ爆発
- 大規模言語モデルと言語使用
大規模言語モデルは、語と語の確率的関係だけで適切な言語使用ができているように見える。
これに対する２つの異なる解釈がありうる
（１）言語使用に必要なのは、語と語の確率的関係の理解だけであり、意味理解は必要ない
（２）意味理解とは、語と語の間の関係の理解であり、語と世界の間の関係の理解ではない
→（２）が正しければ、意味についての内在主義が正しいということかもしれない
文書化されたデータが（ほとんど）存在しない事柄
→大規模言語モデルは適切な言語処理ができないのではないか
→もしそうならば、大規模言語モデルができるのは、言語使用の全てではなく一部（その一部は非常に大きいかもしれないが）
- コード化不可能性問題
イヌ画像とネコ画像の識別に必要な特徴量
→人間にはわからない（なので古典的人工知能にもできない）
→深層ニューラルネット、自分で必要な特徴量を学習可能
→複雑な数理モデルにより、様々な特徴量の間の複雑な相互作用を表現可能に
人間には、非美的性質と美的性質との間の規則性を見つけられないかもしれないが、
人間には見つけられないくらい複雑なだけで、そういう規則は存在するのかもしれない
「美は人間にはコード化不可能」から「美が端的にコード化不可能」は帰結しない。
（それ以外に、新たな事例に出会ったとき、美の規則はいかに更新されるのか、という問題もある）
とはいえ、美や善といった高度に一般的な性質は現時点では扱えない
いわんやフレーム問題は？
- 汎用人工知能
生物はみな自律的なので、汎用人工知能も自律性が必要では？
生物をモデルにしたアプローチ（ブルックスの包摂的アーキテクチャとか）
問題
（１）高度化できるか不明
（２）達成に長い時間が必要
（３）そこそこうまくできるエージェントしかできない（人にとって有用性がないかも）
（４）人間の思い通りに動いてくれるとは限らない
汎用人工知能へのほかのアプローチ
様々な課題特化型人工知能の統合
どのように統合していけばいいか、まだわからない
認知的車輪（デネット）
生物進化の産物は、必ずしも最善のアーキテクチャではない可能性がある
知能を実現するアーキテクチャには、生物とは異なるアーキテクチャもありうる
（生物進化は車輪を生み出さなかったが、人間は効率的な移動手段として車輪を作った）
- 道具としてのAI
artificial intelligenceとintelligence amplifierの区別
エンゲルバート→われわれにとって有用なのは後者
飛行機械を開発する際に、カモメとどれくらい似ているかで性能評価（「カモメテスト」）するのは的外れ→チューリングテストもそれと同じ（ヘイズとフォード）
科学の道具としての人工知能
そもそも、ある現象の自然法則自体がきわめて複雑な数理モデルでしか表現できないのであれば、深層ニューラルネットワークによる予測は可能でも、その現象の直感的理解は不可能なのかもしれない（大塚（2023））
第11章 現在の人工知能②：倫理的問題
AIのもたらす倫理的問題は色々考えられるが、本書では主にバイアスの問題と透明性の問題を扱っている。
- バイアスの問題
学習データから人種などのバイアスも学習してしまう問題
AIは事実を学習できるが、どうあるべきかは学習できない、とも。
バイアスへの対応方法として、オーバーサンプリングがある（マイノリティ集団を高頻度で利用することでバイアスを打ち消す）
ある属性で評価するのは不適切なので、その属性に関する情報をデータから取り除いたとしても、深層ニューラルネットワークは、他のさまざまな変数から その属性を特徴量を構成してしまう可能性がある。
人工知能システムの働きにバイアスが生じているかどうかを人工知能システムそのものに判定させることは可能か。
偽陽性率を等しくすることと正解率を等しくすること（どちらもバイアスのない判定を下すこと）→両者を同時に実現することは原理的に不可能
以下のような問いが課題となってくる
偽陽性率を等しくすることと正解率を等しくすることのどちらを優先すべきか
そもそもバイアスのない評価とはどのようなことなのか
いずれにせよ、人間の関与や決定が不可欠
- 透明性の問題
深層ニューラルネットワーク＝透明性が低い＝どうしてそうなったのかの説明が困難
説明可能な人工知能（explainable AI: XAI）という開発も進められている。
モデルそのものを用いる説明方法と近似モデルによる説明方法がある。
説明手法の透明性と正確性のあいだのトレードオフ関係
前者は、正確性は高いが、直感的に理解なおうな説明が必ず出てくるとは限らない。
後者は直観的な理解可能性が高いが、実際の情報処理過程を正確には反映していない。
（１）ある人工知能システムが透明かどうかは、複雑さの問題か（それ以外の要因か（高次の特徴量に対して人間に理解可能な解釈を与えられるか））
（２）透明性は本当に重要か
（３）人間の意思決定は透明か
透明性は、AIだけの問題ではなく人間においてもあるのではないか、という指摘が最後に出てきたが、本書には書かれていないが、バイアスの方についてもやはり人間にも生じることだと思った。
それこそ、事実そうなっているからという理由で差別的な判断をしてしまう、というのはAIに限らず人間もやっているだろう。
- ゴリラ問題とミダス王問題
ゴリラ問題というのは、AIがシンギュラリティ超えて人類滅ぼしてくるという問題。
人類の存在でゴリラが絶滅の危機に、というところからこの名があるらしいが、そのネーミングどうよ、と思わずにはいられない。
ミダス王問題というのは、例えば「これの生産数を最大にせよ」と言ったら結果的に人類滅ぼしちゃった的な奴。
触れるものが何でも金になってしまったミダス王伝説からのネーミングで、こちらはわかりやすい、と思う。
本書ではミダス王問題だけ論ずるとしていて、この問題は、価値連携問題と言い換えられている。
価値連携問題＝人間が実際に有する選好と、人工知能システムが与えられた目標に従って行うこととをどうやって一致させるかという問題
第12章 人工知能と認知科学
この章では、認知科学研究にでてくる○○主義などの関係を整理してくれていて、なにげに一番勉強になった章かもしれない。
認知の原理
認知の原理を示すものとして、まず大きく分けて「表象主義」と「反表象主義」があり、前者はさらに計算主義とコネクショニズムにわかれ、深層学習はコネクショニズムのバリエーションの一つだ、と。
なお、本質的なのは計算主義であって、コネクショニズムはそれの実装レベルだ、という見解もある
学習の原理
学習の種類学習アルゴリズム
- ベイズ更新など
このへんは、計算主義ともコネクショニズムとも両立可能
抽象度が異なるというか
脳の学習は強化学習なのか問題
試行錯誤が強化学習だが、脳は必ずしもいつも試行錯誤のみで学習するわけではない
これに対して、進化の過程がまさに強化学習的な試行錯誤の繰り返しなので、とも考えられるが、ある認知メカニズムがどのように生じたか、と、その認知メカニズムがどのように学習するかは別問題である。
とはいえ、生物の学習を集団レベルと個体レベルの二段階で考えること自体は有用
大規模言語モデルにおける事前学習と課題ごとのファインチューニングという二段階の学習に、重要な類似性を見出すことができるかもしれない（藤川直也からの示唆とのこと）
その他の理論
- 予測符号化
- 自由エネルギー原理
このあたりも、計算主義ともコネクショニズムとも両立可能
これらの理論は、計算主義やコネクショニズムよりも抽象度の高いレベルに認知の本質を見いだしており、これらの理論の立場に立つと、計算主義やコネクショニズムは実装レベルの話、ということになるかもしれない。
身体・環境の役割
- 拡張された認知など
反表象主義
認知を非線形力学などを用いて記述されるべきものと考える
また、拡張された認知という考えも
例えば筆算など、脳の外での計算過程と組み合わせて認知を考える
これはコネクショニズムにとっても興味深い考え方だという。
なぜなら、脳内のコネクショニズム的過程と、脳外の計算主義的過程とを組み合わせることができるから。
- 人間の認知システムの原理は、一つではないかも
（１）生物の進化は場当たり的なので、認知メカニズムが単一の原理によって捉えられないかもしれない。
（２）二重過程理論
フォーダー
入出力システムと中央システムからなると考えるが、中央システムがどのような原理によるものかは明らかではないと主張。
中央システムの知識がもつ等方性、という性質による。
フォーダーがそんなこといっているの知らんかった。
認知の原理が複数あると考えると、
例えば、視覚システムの働きは畳み込みニューラルネットワークとして、聴覚システムの働きはアテンション機構をもつ深層ニューラルネットワークとして理解できるかも
（普通、コネクショニズムとモジュール説は相性が悪いとされている。ただ、本書の注釈においては、脳全体がend-to-end学習していてモジュール分割されているという考えは誤りだという可能性もあるが、内部構造が出現する可能性もあるとして整理している）
- 人間は人間の認知システムを理解できるか
計算主義は、素朴心理学的な説明を前提にした理論なので、そもそも誤っている可能性はある。
また、本書が「人間は人間の認知システムを理解できない」というのは、自己言及に起因するのではなくシステムの複雑さに起因する。
人間の認知システムは複雑なシステムなので、説明の正確さと説明の理解可能性のあいだにトレードオフ関係があるかもしれない。
それで、人間には人間の認知システムは理解できないかもしれない。
