harumaki.net

インフラ屋の覚書や、ラーメン食べある記とか。

[AWS] EC2からS3へのファイル転送時間をコマンド別に軽くレポート

   


本日までに試した、EC2→S3へのファイル転送時間をコマンド別にそれぞれ簡単に比較・テストしてみたので、以下にまとめ。
それぞれ5回試してみたうちの、速度がもっとも速かったものを以下に記載。今後の参考&備忘録として。

1.環境

EC2

EC2東京リージョン(ap-northeast-1a)

S3

  • S3東京(ap-northeast-1a)
  • S3シンガポール(ap-southeast-1)

試したコマンド、ツール

  • s3fs
  • s3cmd
  • s3put

2.試した結果

赤字が最も速かった結果。

転送コマンド 転送ファイルサイズ S3東京 S3シンガポール
s3fs 120MB 0m8.558s 1m46.888s
750MB 1m22.266s 11m5.685s
5GB 11m33.270s 81m11.516s
s3cmd 120MB 0m13.516s 1m6.934s
750MB 1m9.503s 7m50.373s
5GB 7m43.655s 66m55.265s
s3put 120MB 0m6.009s 0m34.833s
750MB 0m40.263s 3m5.815s
5GB 5m18.793s 25m14.619s

 

→実行結果ではs3putが一番、スクリプトの書きやすさ、保守のしやすさはs3fsという結果に。
ただしs3putは転送速度で東京の場合はs3fsの半分以下、シンガポールは1/3以下で完了するのでかなり短縮されていた。

3.そのほか、わかったこと

  • 同じコマンドでも速度にバラつきが出る、しかも差が大きい(例えば1回目は10秒、2回目は17秒とか)帯域が保証されているわけではないので、仕方ない話。
  • ただしコマンド同士でのばらつきは、平均しても差が縮まるほどは無い→これもタイミング次第で逆転する可能性はありそう。

4.他にも試してみたいこと、調べること

  • コマンドごとに、どこでボトルネックが起きているか?
  • それぞれAZを変えてみたら速度が変化するか?
  • 今回試したコマンドやツール以外のものはどうか?
  • そのほか、気づいたら随時いろいろと。

アウトバウンドは、同一リージョンならともかく、別リージョンへの転送だと飛ばすたびにコストがチャリンチャリンしちゃうので、きちんと予算を立ててテストしないと厳しいかも。

Amazon Web Services クラウドデザインパターン設計ガイド 改訂版
玉川憲 片山暁雄 鈴木宏康 野上 忍 瀬戸島 敏宏 坂西 隆之
日経BP社
売り上げランキング: 75,785
Amazon Web Services クラウドデザインパターン実装ガイド 改訂版
大澤 文孝
日経BP社
売り上げランキング: 126,429

 

 - AWS, GNU/Linux, infra, 運用 ,