aws cliでS3からファイルをダウンロードする時、沢山あるファイルをzipにまとめるとダウンロードが30倍速くなった

約15000ファイルの画像データセットを、普通にダウンロードした場合とzipに固めたものをダウンロードした場合でどの程度速度差があるのか計測してみた。

EC2インスタンスはg4dn.2xlarge。

普通にダウンロードした場合：300秒
zipに固めてからダウンロードした場合：10秒

zipを解凍するのにかかった時間は10秒ぐらい。

速さを気にする場合はzipに固めておいてもいいかも。