情報幾何学

• 曲った空間を考える
  • 局所的には線形空間と捉えられる

• 双対接続を用いた微分幾何学(???)

• 内積で、行列を挟んだものを「計量」と呼ぶ
  • 共役勾配法の共役方向を作るときに出てきたやつ

• 別の基底ベクトルを導出
  • さっき作った行列Gの逆行列になっている
  • そういうベクトルを随伴行列という

• 計量
  • 基底ベクトル同士での内積

• 元の空間と双対の空間での内積を持ってくる

• sigmaがあるとして考える => Einsteinの規約

• 確率分布を有限次元多様体とみなす
  • 変数変換しても分布自体は分からない

• 座標系で距離が変わってしまう

• 局面を平面で近似する
  • 接平面
  • 基底ベクトルさえあれば、それの線形和で書ける

• 線形空間で近似できるが、隣接しているところとの対応関係を決めてあげたい
  • この対応関係を決めるのが、Affine「接続」
• ある確率分布を別のところに飛ばすオペレータ、でいいらしい
  • 接続を使って、ちょっとづつ動かしていく
    • に沿って => このに依存している

• 微分を定義したい <= ちょっとづつ動かすということを考えたいので
  • 違うところにあるので、Affine接続を使って同じ線形空間に持ってきてあげたい

• 方向を決めて、その方向への微分 => 共変微分
  • 共変微分と接続は同じようなものを表わしていた

• 計量接続
  • 平行移動に対して内積が不変

• 平坦 => 普通のユークリッドより広い概念
  • さっきのに依存しない、ということ

• 曲った空間での距離 => 測地線

• 接続をpairで考えることで、一意に決めないで内積を保存できるようにしたい
  • 双対接続

• D(q||p)は入れ変えると違ったものになるが、入れ変えたものは双対なほうでのdivergenceになっている

• 曲っている空間での射影とか直交性を考えることができる
  • 拡張Pythagorasの定理

• 統計モデルでの計量はFisher情報行列しかない
  • 確率モデルは球面上に存在していると考えるのが自然

• 指数分布族に変換すると、正規分布とかは平坦と考えられる

• e接続とm接続
  • 足してlogを取るか、logを取って足すか

• 指数分布族での-divergenceはKullback-Leibler Divergenceになっている