ハマログ

株式会社イーツー・インフォの社員ブログ

AWS S3のバケットのファイルを一括ダウンロード

S3のファイルが一括ダウンロードできない

S3のファイルを一時的にローカルPCに保存しておきたいと思いコンソールからやってみようとしたらできない。
1個1個のファイルはダウンロードできるけどフォルダ毎全部まとめてができない。
調べてみるとCLIからできるようだったのでメモ

やり方

クライアントはWindows11で実行。
1. AWS CLIをインストール(詳細略)
2. cpコマンドを実行

■形式

aws s3 cp s3://path.to.bucket local.pc.folder --recursive

基本はこれ。
ワイルドカードなどを使って絞り込み、除外なども可能。

やってみた

こんな感じでワンライナーで全ファイル落とせて便利

> aws s3 cp s3://stg-**** c:\dev --recursive
download: s3://stg-****/cdn-stg-**************/***************.gz to ..\..\dev\cdn-stg-****************.gz
download: s3://stg-****/cdn-stg-**************/***************.gz to ..\..\dev\cdn-stg-****************.gz
download: s3://stg-****/cdn-stg-**************/***************.gz to ..\..\dev\cdn-stg-****************.gz
……
…
AWS

  at   2023年8月23日


関連記事

EC2インスタンスの自動起動をAmazon EventBridgeで実現する

はじめに EventBridgeを利用してEC2インスタンスの自動停止を設定して…

AWS CDKで作った定期的なタスク起動がたまに失敗するのでStep Functionsを導入したお話

昔々あるところに、毎日起動しているはずのAmazon ECSのタスクが起動しなか…

Amazon EventBridgeでAuroraを自動停止する

Auroraクラスターは手動で停止できるのですが、AWSの仕様により7日後に自動…


← 前の投稿

次の投稿 →