EmbulkでSQL ServerのデータをS3にアップロードしてみた

プラグインのインストール

最初に必要なプラグインをインストールします。

• 実行コマンド

embulk gem install embulk-output-s3

• 実行結果

PS C:\Users\Administrator> embulk gem install embulk-output-s3
2020-03-26 16:57:48.685 +0900: Embulk v0.9.23

Gem plugin path is: C:\Users\Administrator\.embulk\lib\gems

Fetching: embulk-output-s3-1.5.0.gem (100%)
Successfully installed embulk-output-s3-1.5.0
1 gem installed

正常にインストールできたか確認を行います。

• 実行コマンド

embulk gem list

• 実行結果

PS C:\Users\Administrator> embulk gem list
2020-03-26 17:49:17.921 +0900: Embulk v0.9.23

Gem plugin path is: C:\Users\Administrator\.embulk\lib\gems


*** LOCAL GEMS ***

bundler (1.16.0)
did_you_mean (default: 1.0.1)
embulk (0.9.23 java)
embulk-input-sqlserver (0.10.1)
embulk-output-s3 (1.5.0)
embulk-output-sqlserver (0.8.7)
jar-dependencies (default: 0.3.10)
jruby-openssl (0.9.21 java)
jruby-readline (1.2.0 java)
json (1.8.3 java)
liquid (4.0.0)
minitest (default: 5.4.1)
msgpack (1.1.0 java)
net-telnet (default: 0.1.1)
power_assert (default: 0.2.3)
psych (2.2.4 java)
rake (default: 10.4.2)
rdoc (default: 4.2.0)
test-unit (default: 3.1.1)

SQL Server上のアップロードデータを確認します。

yamlファイル作成

次にconfigファイルを生成するためのyamlファイルを作成します。
これはSQL ServerのものとGitHubのサンプルを参考にしました。(キーはダミーです)

in:
  type: sqlserver
  driver_path: C:\drivers\sqljdbc_7.2\jpn\mssql-jdbc-7.2.2.jre8.jar
  host: EC2AMAZ-JGN0VFT
  user: dbuser
  password: "******"
  database: TESTDB
  schema: dbo
  table: Employee
  incremental: true
  incremental_columns:
    - No
    - RegDate
out:
  type: s3
  path_prefix: test/TESTDB_dbo_Employee
  file_ext: .csv
  bucket: test-tmp-20200326
  endpoint: s3-ap-northeast-1.amazonaws.com
  access_key_id: ABCXYZ123ABCXYZ123
  secret_access_key: AbCxYz123aBcXyZ123
  formatter:
    type: csv

ここの設定の中でS3のアップロード先のパス(path_prefix)を設定していますが、最後のスラッシュ以降はアップロードしたときの名前になるので注意が必要です。

あとパスで指定したフォルダ構成は、S3上に存在しなければアップロード時に自動で作成してくれるようです。

Embulk guessコマンド実行

まず以下のguessコマンドを実行して、configファイルを生成します。

• 実行コマンド

embulk guess .\try1\sqlserver_incremental_to_s3.yml -o .\config_inc_to_s3.yml

• 実行結果

PS C:\Users\Administrator> embulk guess .\try1\sqlserver_incremental_to_s3.yml -o .\config_inc_to_s3.yml
2020-03-26 18:07:06.894 +0900: Embulk v0.9.23
2020-03-26 18:07:09.262 +0900 [WARN] (main): DEPRECATION: JRuby org.jruby.embed.ScriptingContainer is directly injected.
2020-03-26 18:07:16.610 +0900 [INFO] (main): Gem's home and path are set by default: "C:\Users\Administrator\.embulk\lib
\gems"
2020-03-26 18:07:18.753 +0900 [INFO] (main): Started Embulk v0.9.23
2020-03-26 18:07:19.005 +0900 [INFO] (0001:guess): Loaded plugin embulk-input-sqlserver (0.10.1)
in:
  type: sqlserver
  driver_path: C:\drivers\sqljdbc_7.2\jpn\mssql-jdbc-7.2.2.jre8.jar
  host: EC2AMAZ-JGN0VFT
  user: dbuser
  password: ******
  database: TESTDB
  schema: dbo
  table: Employee
  incremental: true
  incremental_columns: ['No', RegDate]
out:
  type: s3
  path_prefix: test/TESTDB_dbo_Employee
  file_ext: .csv
  bucket: test-tmp-20200326
  endpoint: s3-ap-northeast-1.amazonaws.com
  access_key_id: AbCxYz123aBcXyZ123
  secret_access_key: AbCxYz123aBcXyZ123
  formatter: {type: csv}

Created '.\config_inc_to_s3.yml' file.

以下のconfigファイルが作成されます。

in:
  type: sqlserver
  driver_path: C:\drivers\sqljdbc_7.2\jpn\mssql-jdbc-7.2.2.jre8.jar
  host: EC2AMAZ-JGN0VFT
  user: dbuser
  password: ******
  database: TESTDB
  schema: dbo
  table: Employee
  incremental: true
  incremental_columns: ['No', RegDate]
out:
  type: s3
  path_prefix: test/TESTDB_dbo_Employee
  file_ext: .csv
  bucket: test-tmp-20200326
  endpoint: s3-ap-northeast-1.amazonaws.com
  access_key_id: AbCxYz123aBcXyZ123
  secret_access_key: AbCxYz123aBcXyZ123
  formatter: {type: csv}

Embulk runコマンド実行

configファイルができたら、それを指定してrunコマンドを実行します。
yamlファイル、configファイルに間違いがなければ処理は正常に終了するはずです。

• 実行コマンド

embulk run .\config_inc_to_s3.yml -c .\embulk_sql_inc_s3.diff.yaml

• 実行結果

PS C:\Users\Administrator> embulk run .\config_inc_to_s3.yml -c .\embulk_sql_inc_s3.diff.yaml
2020-03-26 18:17:54.694 +0900: Embulk v0.9.23
2020-03-26 18:17:58.722 +0900 [WARN] (main): DEPRECATION: JRuby org.jruby.embed.ScriptingContainer is directly injected.
2020-03-26 18:18:18.144 +0900 [INFO] (main): Gem's home and path are set by default: "C:\Users\Administrator\.embulk\lib
\gems"
2020-03-26 18:18:25.243 +0900 [INFO] (main): Started Embulk v0.9.23
2020-03-26 18:18:26.321 +0900 [INFO] (0001:transaction): Loaded plugin embulk-input-sqlserver (0.10.1)
2020-03-26 18:18:26.694 +0900 [INFO] (0001:transaction): Loaded plugin embulk-output-s3 (1.5.0)
2020-03-26 18:18:27.206 +0900 [INFO] (0001:transaction): Connecting to jdbc:sqlserver://EC2AMAZ-JGN0VFT:1433 options {us
er=dbuser, password=***, applicationName=embulk-input-sqlserver, databaseName=TESTDB, loginTimeout=300, socketTimeout=18
00000}
2020-03-26 18:18:29.165 +0900 [INFO] (0001:transaction): Using JDBC Driver 7.2.2.0
2020-03-26 18:18:29.822 +0900 [INFO] (0001:transaction): Using local thread executor with max_threads=2 / tasks=1
2020-03-26 18:18:30.093 +0900 [INFO] (0001:transaction): {done:  0 / 1, running: 0}
2020-03-26 18:18:31.694 +0900 [INFO] (0014:task-0000): Writing S3 file 'test/TESTDB_dbo_Employee.000.00.csv'
2020-03-26 18:18:31.823 +0900 [INFO] (0014:task-0000): Connecting to jdbc:sqlserver://EC2AMAZ-JGN0VFT:1433 options {user
=dbuser, password=***, applicationName=embulk-input-sqlserver, databaseName=TESTDB, loginTimeout=300, socketTimeout=1800
000}
2020-03-26 18:18:32.284 +0900 [INFO] (0014:task-0000): SQL: SELECT * FROM "dbo"."Employee" ORDER BY "No", "RegDate"
2020-03-26 18:18:32.322 +0900 [INFO] (0014:task-0000): > 0.02 seconds
2020-03-26 18:18:33.784 +0900 [INFO] (0001:transaction): {done:  1 / 1, running: 0}
2020-03-26 18:18:33.925 +0900 [INFO] (main): Committed.
2020-03-26 18:18:33.956 +0900 [INFO] (main): Next config diff: {"in":{"last_record":[100,"2020-03-26 17:43:51.3266667"]}
,"out":{}}

アップロード確認

S3を確認すると指定した名前でフォルダとファイルが作成されていることがわかります。

ついでにファイルの中身も見てみます。

SQL Serverから取得したデータが1ファイルに設定されていることがわかりました。