以下の内容はhttps://anton0825.hatenablog.com/entry/2017/04/07/000000より取得しました。


EFS,EBS,S3のパフォーマンスとData Locality

AIの学習に時間がかなりかかるので高速化したい。 データセットが大きいので、通信速度を上げる方法を調べた。速度を上げるためには Data Localityを意識することが大事。以下の記事は参考になりました。

missinglink.ai

調査結果

【S3】 リージョンをまたいだ場合と同じリージョンのバケットからダウンロードした場合の比較

東京リージョン-バージニア北部リージョン:80MB/s
バージニア北部リージョン-バージニア北部リージョン:210MB/s

結論:バケットとEC2インスタンスは同じリージョンに起きましょう

【EFS,EBS】 EFS:約150MB/s EBS io1:約350MB/s

結論:EBSの方が早いけど、EFSは複数インスタンスにマウントできて便利・・これはお好みで選択すればいいかな。

参考:

rikei-danshi.work

qiita.com




以上の内容はhttps://anton0825.hatenablog.com/entry/2017/04/07/000000より取得しました。
このページはhttp://font.textar.tv/のウェブフォントを使用してます

不具合報告/要望等はこちらへお願いします。
モバイルやる夫Viewer Ver0.14