以下の内容はhttps://anton0825.hatenablog.com/entry/2022/04/19/144621より取得しました。


boto3でS3からファイルをダウンロード・アップロードするのを高速化する

boto3のS3.Client.download_fileメソッドを使って大量のファイルをダウンロードすると、aws cliでダウンロードするよりかなり遅い。

boto3.amazonaws.com

理由はdownload_fileは同期処理なのに対してaws cliはマルチスレッド(ちゃんと調べてないのでマルチプロセスかも)で並列実行しているため。アップロードも同様。

以下を参考に、transfer_managerを使って並列実行するよう実装するとアップロード・ダウンロードが7倍程度早くなった。

stackoverflow.com




以上の内容はhttps://anton0825.hatenablog.com/entry/2022/04/19/144621より取得しました。
このページはhttp://font.textar.tv/のウェブフォントを使用してます

不具合報告/要望等はこちらへお願いします。
モバイルやる夫Viewer Ver0.14