https://yohei-a.hatenablog.jp/entry/20191211/1576058968

f:id:yohei-a:20191211191011j:plain
Apache Arrow東京ミートアップ2019 - connpass に参加してきた。
カラムナの会のメンバーとしては要チェックな Apache Arrow。圧縮有無は Parquet との大きな違い。圧縮するとIO量は減るけどCPUでのオーバヘッドが増えるので、IOレイテンシとのトレードオフ。どちらが速いかはIOレイテンシと帯域幅に依存する。って何年か前に海外さんがArrowを選択した理由として聞いたなw いずれにしても汎用性が高いのでストレージに保存できるインメモリデータマートとして活用範囲が広がりそう。

イントロダクション

by 須藤功平/@ktou/株式会社クリアコード

Apache Arrowの最新情報

by 須藤功平/@ktou/株式会社クリアコード/Apache Arrow PMCメンバー/Red Data Toolsメンバー

Apache Arrow 2019 from Kouhei Sutou

Apache Arrow Datasets C++

by 村田賢太/@mrkn/株式会社Speee/Apache Arrowコミッター/Red Data Toolsメンバー

RとApache Arrow

by 湯谷啓明/@yutannihilation

PostgreSQLとApache Arrowの利用事例：PG-Strom

by 海外浩平/@kkaigai/ヘテロDB株式会社

20191211_Apache_Arrow_Meetup_Tokyo from Kohei KaiGai

Apache SparkとApache Arrowの連携

by Takeshi Yamamuro/@maropu/NTT/Apache Sparkコミッター

Apache Spark + Arrow from Takeshi Yamamuro

TensorFlowとApache Arrowの連携

by 石崎一明/@kiszk/日本アイ・ビー・エム株式会社/Apache Sparkコミッター

TensorFlowとBigQuery Storage APIとApache Arrowの連携評価事例

by 漆山和樹/@KUrushi_ml/SENSY株式会社/Researcher(ML Engineer or Data Scientist)

docs.google.com

懇親会

写真は懇親会に入る前の講師紹介

f:id:yohei-a:20191212082857j:plain