３月

• • 3/1 notebook 用意
  • 3/1 train data の format を決める
  • 3/1 生成する
  • 3/1 あっていることを確かめる
  • 3/2 visualize
  • 3/2 loss 定義
  • 3/2 train predict
  • 3/2 精度見る
  • 3/3 次の一手考える
    • 3/3test data / train data の分け方がイマイチだな
    • 3/3別のマシンをセットアップして高速化をはかる
    • 早くなったが収束しなかった
    • 3/3iteration スピード大事
    • 3/4 これの accuracy 大事 https://github.com/fchollet/keras/issues/597
    • 3/4 Keras の cageborization sample みる
• 50% を超えないのは不自然ではないかも
• 3/5nikkei curve fitting をもういちどやってみて考えよう
• 3/5 3. nikkei curve fitting
• U3/5 Util がたまってきたので整理
  • 3/5 script name
  • 3/5 best fit
  • 3/5 save loss
  • 200 個のデータからある程度の価格は予想できるが、up/down はだめっぽ。モデルとしてだめなんだと思う。
• 3/5 資料集め ここに10個
  • http://tensorflow.classcat.com/2016/11/04/tensorflow-stock-price-prediction-using-rnn-lstm-gru/ 特記なし
  • https://arxiv.org/pdf/1603.07893.pdf 種々の LSTM あとで読むかも？
  • https://link.springer.com/article/10.1007/s10586-017-0803-x social network を考慮に入れるっ
  • http://ieeexplore.ieee.org/abstract/document/7550882/?reload=true 違う種類の入力を両方使う
  • https://web.wpi.edu/Pubs/E-project/Available/E-project-042816-130221/unrestricted/MQP_-_Final_Draft.pdf これ面白い。77

% accuracy だと？

• • http://masamunet.com/2016/11/09/web%E5%B1%8B%E3%81%AE%E8%87%AA%E5%88%86%E3%81%8C%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%E6%A0%AA%E4%BE%A1%E4%BA%88%E6%83%B3%E3%83%97%E3%83%AD%E3%82%B0%E3%83%A9%E3%83%A0%E3%82%92%E9%96%8B%E7%99%BA/ 好感
  • https://www.slideshare.net/ssuser4b29b7/ss-66793390 シミュレーションしているのが面白い
  • http://doz13189.hatenablog.com/entry/2016/11/30/225830 ??
  • http://recruit.gmo.jp/engineer/jisedai/blog/deep-learning/
• 3/6 次の一手を考える
  • アイデアを出すのは時間がかかる
  • もっと手を動かしたほうが見えるかも
  • LSTM merge をためしてみよう
  • そのあとに merge で Embedding text
• 3/7LSTM merge
  • うごいた
• LSTM with embedding text
  • embedding とはなにか？
    • http://suriyadeepan.github.io/2016-06-28-easy-seq2seq/\
    • 3/7 これ読んでる。すごく良い
    • 3/7 https://github.com/higepon/Machine-Learning/blob/master/keras/nikkei/6.%20Word%20Embeddings.ipynb
  • 使用コード例を見つける できれば日本語で
  • 簡単な応用例を考えよう
• 3/8題材考え中
• 3/9題材考え中あかーん
• 3/10 アイデアが浮かぶまでいろいろな技術要素を試すのが良かろう。seq2seq で chatbot かな。自分と会話するのが楽か。
• http://qiita.com/ktsujino/items/03d7ab0bbbe60b5ed00e
• https://github.com/ktsujino/Neural_Conversation_Models
• 3/11 読んでる http://qiita.com/halhorn/items/dc10596942ef4be54af5
• notebook を作って明確なステップを書いていこう
• 3/12 ためしに２のサンプルで学習させたが Y をどうやって文に戻すか分からない件
• 以下を読んでいく
  • 3/13 http://qiita.com/ktsujino/items/03d7ab0bbbe60b5ed00e
  • 3/14 https://arxiv.org/abs/1409.3215
    • 補助: http://hytae.hatenablog.com/entry/2015/07/31/Sequence_to_Sequence_Learning_with_Neural_Networks
  • 3/13 http://cs224d.stanford.edu/papers/ancm.pdf これはモデルの詳細はあまりない。seq2seq の詳細が知りたい
  • 3/13 http://qiita.com/halhorn/items/614f8fe1ec7663e04bea
  • http://qiita.com/KojiOhki/items/45df6a18b08dfb63d4f9
• チェックポイント
  • 大まかなうごきは把握できたか
  • input の形式は理解できたか
  • output の形式は理解できたか
  • attention メカニズムを要約する
  • beam decoding を要約する
• 3/14 これ動かしてみよう
  • 3/14 https://github.com/nicolas-ivanov/debug_seq2seq
  • 3/14 動いた
• debug_seq2seq を notebook で分解して実行していくr
  • 3/15 モデル作成
  • 3/16 train データまだ途中
  • 3/17 3/18 小さいデータで動いて何かが出力されるようになった
• 3/19
  • 収束しないのはなぜ
  • セットアップを見直す？
  • seq2seq の誤差を見直す
  • Seq2Seq parameters
    • 3/19 4 layers 1000 cells at each layer
    • 1000 dimensional word embeddings
    • Input vocabulary 160000
    • Output vocabulary 80000
    • use SGD
    • 128 sequences per batch
    • 例のボットは 50万行データ
  • 3/19 学習のさせ方がおかしい？他のやつと比較
• http://suriyadeepan.github.io/2016-12-31-practical-seq2seq/ を https://github.com/Marsan-Ma/chat_corpus で試す
  • 3/19 まず動かしてみる
  • ブログ読んでみる。おおよその流れ
  • 入力データ。embeddings。beam とか？
  • 03-Twitter-chatbot.ipynb の tensorflow をkeras に置き換えるのはどう？
    • 3/20 コードをほぼ書き換えず keras で training and prediction にトライ中
    • batch input の形が直感的ではないと思ったら tf.nn.seq2seq.embedding_rnn_seq2seq に合わせてあるのか。うーん。
• https://github.com/wjbianjason/dialog_research/blob/e12c02bee1e67f0432a559016574ed48109e8f7e/keras_dialog/model_factory.py
• https://github.com/aigamedev/nuclai16/blob/ef014bd398c481323022a693c2173f165bdf87d3/lstm/reply.py
• https://github.com/wangjin0818/CGED_2016/blob/13c8d711a863a56fc06dacf469df88266757d7f3/training_split.py
• 3/20 word embeddings と encoder input の関係が分からず詰まっている。
• 3/21 調べる前に仮説を立てる
• 3/21 https://arxiv.org/pdf/1409.0473.pdf
  • encoder は sentence, sequence of vectors を入力とすると書いてある。つまり "hello world" だったら [wordVecForHello, wordVecForWorld] が入力だと思う。出力は固定長の vector C （これが文意を学習した結果の何か）
  • https://arxiv.org/pdf/1406.1078.pdf が原典らしいので読む
• 3/21 ここにまとめてるけど。まだ途中。http://d.hatena.ne.jp/higepon/20170321/1490097594
• 3/22 息子病気のためおやすみ
• 3/23疑問が解けた
  • beam search は必須ではない
  • input は sequence of vector (embeddings)
• 3/23 notebook にもどる
• 3/24 03-Twitter-chatbot で input の次元が合わないことを調べる
• 3/26 ようやく掴んだ入力はバッチリ。