harumaki.net

インフラ屋の覚書や、ラーメン食べある記とか。

AWS GNU/Linux infra 運用

[AWS] EC2からS3へのファイル転送時間をコマンド別に軽くレポート

投稿日:2013年6月21日

本日までに試した、EC2→S3へのファイル転送時間をコマンド別にそれぞれ簡単に比較・テストしてみたので、以下にまとめ。
それぞれ5回試してみたうちの、速度がもっとも速かったものを以下に記載。今後の参考&備忘録として。

1.環境

EC2

EC2東京リージョン(ap-northeast-1a)

S3

  • S3東京(ap-northeast-1a)
  • S3シンガポール(ap-southeast-1)

試したコマンド、ツール

  • s3fs
  • s3cmd
  • s3put

2.試した結果

赤字が最も速かった結果。

転送コマンド 転送ファイルサイズ S3東京 S3シンガポール
s3fs 120MB 0m8.558s 1m46.888s
750MB 1m22.266s 11m5.685s
5GB 11m33.270s 81m11.516s
s3cmd 120MB 0m13.516s 1m6.934s
750MB 1m9.503s 7m50.373s
5GB 7m43.655s 66m55.265s
s3put 120MB 0m6.009s 0m34.833s
750MB 0m40.263s 3m5.815s
5GB 5m18.793s 25m14.619s

 

→実行結果ではs3putが一番、スクリプトの書きやすさ、保守のしやすさはs3fsという結果に。
ただしs3putは転送速度で東京の場合はs3fsの半分以下、シンガポールは1/3以下で完了するのでかなり短縮されていた。

3.そのほか、わかったこと

  • 同じコマンドでも速度にバラつきが出る、しかも差が大きい(例えば1回目は10秒、2回目は17秒とか)帯域が保証されているわけではないので、仕方ない話。
  • ただしコマンド同士でのばらつきは、平均しても差が縮まるほどは無い→これもタイミング次第で逆転する可能性はありそう。

4.他にも試してみたいこと、調べること

  • コマンドごとに、どこでボトルネックが起きているか?
  • それぞれAZを変えてみたら速度が変化するか?
  • 今回試したコマンドやツール以外のものはどうか?
  • そのほか、気づいたら随時いろいろと。

アウトバウンドは、同一リージョンならともかく、別リージョンへの転送だと飛ばすたびにコストがチャリンチャリンしちゃうので、きちんと予算を立ててテストしないと厳しいかも。

Amazon Web Services クラウドデザインパターン設計ガイド 改訂版
玉川憲 片山暁雄 鈴木宏康 野上 忍 瀬戸島 敏宏 坂西 隆之
日経BP社
売り上げランキング: 75,785
Amazon Web Services クラウドデザインパターン実装ガイド 改訂版
大澤 文孝
日経BP社
売り上げランキング: 126,429

 

-AWS, GNU/Linux, infra, 運用
-,

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

CAPTCHA


関連記事

no image

trafshow

trafshow ダウンロード/インストール 動作テスト 参考[コマンドラインオプション] trafshow † トラフィック・モニターtrafshowのインストールと動作具合をテスト。 …

no image

script/曜日の判定(if文とdateオプション)

曜日を判定する勉強用スクリプト。 dateコマンドのオプション%uで曜日を数値で出力し、あらかじめ決めた曜日に合致するか否かで メッセージを切り替える。 デフォルト曜日は日曜日、それ以外はその日の曜日 …

no image

courier-mta+phpcourier

courier-mta+phpcourier 参照サイト 構築環境 パッケージのビルドとインストール 環境設定[初期設定] 設定DBの更新 デーモン設定 Maildir設定 phpcourierのイン …

[AWS]ただのメモ:rightscaleのCentOSでなぜかyum updateが動かない、と思ったら

EC2にてrightscaleのCentOSにセキュリティパッチをあてるため”yum update”をしておこうとしたら、”No Packages marked f …

no image

ssh ホストベース認証(メモ)

概要 クライアント側(接続元)設定 サーバ側(接続先)設定 確認・デバッグ 概要 パスワード/パスフレーズなしでSSHログインできるよう、ホストベース認証を設定する方法。 ↑ クライアント側 …