シニアジョブのデータ基盤を構築するべく、アプリケーションのDBデータをBigQueryに入れて活用しようとしてます。
データを移すワークフロー管理にAirflowを使おうとまずはローカルであれこれしています。
とりあえず下記のレポジトリを参考にしつつ、バージョンアップしたりしてDAGを開発しています。
github.com
下記のを使って
airflow.apache.org
とりあえず動いたけど、GCSのファイルをみると日本語が?になってた。
ぐぐると下記のページが出てきたので、Admin -> ConnectionsでMySQLのを開き
MySQL Connection — Airflow Documentation
Extraに下記を入れたら治った
{"charset": "utf8"}
プログラム言語とかHTMLはUTF-8がだいぶ前から標準になったのにDBはいつ変わるんだろう
- 作者:西田 圭介
- 発売日: 2017/09/22
- メディア: 単行本（ソフトカバー）
