Hadoopソースコードリーディング 第22回 Tickets, Fri, Mar 3, 2017 at 6:45 PM | Eventbrite
関係者の皆様おつかれさまでした。ありがとうございました。
スライドはこちら
Hadoopアップグレードの話をしました。
アップグレード作業は3回目で2回目の話は約1年前のHadoopソースコードリーディング 第20回でしました。
なおこのクラスタと今回のクラスタは別物です。
Hadoopソースコードリーディング 第20回で発表してきました - wyukawa’s blog
2回目の時はバッチの数が2,3個と少なく新旧クラスタの並行稼働もやりやすかったのでアップグレードは容易でしたが、今回はバッチの数が100を超えるので割と大変でした。
他の発表はストリーミング処理の話(http://niconare.nicovideo.jp/watch/kn2358)、Stromの話、Yahoo JapanでのHadoopアップグレード事例、HadoopをJava9に対応させる話でした。
いろんなネタが出て良かったのではないでしょうか。Yahooの事例は大規模で大変そうでしたが、Ambariマスターがいて頑張っているようです。HadoopをJava8とJava9両方に対応させるのにLuceneのやり方を参考にしたそうです。
そのスライドはこちら
