harumaki.net

インフラ屋の覚書や、ラーメン食べある記とか。

AWS GNU/Linux infra 運用

[AWS] EC2からS3へのファイル転送時間をコマンド別に軽くレポート

投稿日:2013年6月21日

Last Updated on 2021年7月4日 by かんりにん

 
本日までに試した、EC2→S3へのファイル転送時間をコマンド別にそれぞれ簡単に比較・テストしてみたので、以下にまとめ。
それぞれ5回試してみたうちの、速度がもっとも速かったものを以下に記載。今後の参考&備忘録として。

1.環境

EC2

EC2東京リージョン(ap-northeast-1a)

S3

  • S3東京(ap-northeast-1a)
  • S3シンガポール(ap-southeast-1)

試したコマンド、ツール

  • s3fs
  • s3cmd
  • s3put

2.試した結果

赤字が最も速かった結果。

転送コマンド 転送ファイルサイズ S3東京 S3シンガポール
s3fs 120MB 0m8.558s 1m46.888s
750MB 1m22.266s 11m5.685s
5GB 11m33.270s 81m11.516s
s3cmd 120MB 0m13.516s 1m6.934s
750MB 1m9.503s 7m50.373s
5GB 7m43.655s 66m55.265s
s3put 120MB 0m6.009s 0m34.833s
750MB 0m40.263s 3m5.815s
5GB 5m18.793s 25m14.619s

 

→実行結果ではs3putが一番、スクリプトの書きやすさ、保守のしやすさはs3fsという結果に。
ただしs3putは転送速度で東京の場合はs3fsの半分以下、シンガポールは1/3以下で完了するのでかなり短縮されていた。

3.そのほか、わかったこと

  • 同じコマンドでも速度にバラつきが出る、しかも差が大きい(例えば1回目は10秒、2回目は17秒とか)帯域が保証されているわけではないので、仕方ない話。
  • ただしコマンド同士でのばらつきは、平均しても差が縮まるほどは無い→これもタイミング次第で逆転する可能性はありそう。

4.他にも試してみたいこと、調べること

  • コマンドごとに、どこでボトルネックが起きているか?
  • それぞれAZを変えてみたら速度が変化するか?
  • 今回試したコマンドやツール以外のものはどうか?
  • そのほか、気づいたら随時いろいろと。

アウトバウンドは、同一リージョンならともかく、別リージョンへの転送だと飛ばすたびにコストがチャリンチャリンしちゃうので、きちんと予算を立ててテストしないと厳しいかも。
 

 

-AWS, GNU/Linux, infra, 運用
-,

執筆者:


comment

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

CAPTCHA


関連記事

no image

ただのメモ:yumdownloaderでパッケージだけダウンロード

RedHat,CentOS yumリポジトリからパッケージをダウンロードだけしたいが 該当のパッケージがすでにインストール済みの場合、”yum install –downloa …

no image

ssh ホストベース認証(メモ)

[pukiwiki] *概要 パスワード/パスフレーズなしでSSHログインできるよう、ホストベース認証を設定する方法。 **クライアント側(接続元)設定 ホストベースでの外部ホストへの接続を許可するた …

no image

LinkStation rootアカウントのリセットとtelnetログイン

職場のLinkStationが不調になったとの連絡があり、フォルダにアクセスできなくなったり、起動してしばらくするとエクスプローラーからの応答が無くなったり、管理画面へのアクセスもタイムアウトする始末 …

nagios​/plugin​/Recurring schedule

  [pukiwiki] *nagios ダウンタイムの定期スケジューリング nagios標準のダウンタイム機能は一回限りのスケジュール設定のみが可能で、 “毎晩03時~05時は非通知&# …

no image

OpenSSHのMatchディレクティブを利用したアクセスコントロール

OpenSSH4.4以上で利用できるようになったMatch(条件分岐)ディレクティブを使った、アクセスコントロールを検証。 参考:お世話になっております! OpenSSH-5.9p1 日本語マニュアル …