Question Télécharger un seau S3 complet?


J'ai remarqué qu'il ne semble pas y avoir d'option pour télécharger un compartiment S3 entier depuis AWS Management Console.

Existe-t-il un moyen facile de saisir tout dans un de mes seaux? Je pensais rendre le dossier racine public, en utilisant wget pour tout attraper, puis le rendre à nouveau privé mais je ne sais pas s'il y a un moyen plus facile.


428
2017-12-28 17:49


origine


Réponses:


AWS CLI

Documentation pour AWS CLI

AWS a récemment publié ses outils de ligne de commande. Cela fonctionne un peu comme boto et peut être installé en utilisant sudo easy_install awscli ou sudo pip install awscli

Une fois installé, vous pouvez alors simplement exécuter:

Commander:

aws s3 sync s3://mybucket .

Sortie:

download: s3://mybucket/test.txt to test.txt
download: s3://mybucket/test2.txt to test2.txt

Cela va télécharger tous vos fichiers (synchronisation unidirectionnelle). Ce sera ne pas supprimer tous les fichiers existants dans votre répertoire actuel (sauf si vous spécifiez --delete), et il ne changera ni ne supprimera aucun fichier sur S3.

Vous pouvez également faire un compartiment S3 vers le compartiment S3 ou local vers la synchronisation du compartiment S3.

Consultez la documentation et d'autres exemples:

http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html


816
2017-09-12 10:57



Vous pouvez utiliser s3cmd pour télécharger votre seau.

s3cmd --configure
s3cmd sync s3://bucketnamehere/folder /destination/folder

Mettre à jour

Il y a un autre outil que vous pouvez utiliser appelé Rclone. Voici un exemple de code dans la documentation Rclone.

rclone sync /home/local/directory remote:bucket

148
2018-03-10 15:57



J'ai utilisé quelques méthodes différentes pour copier des données Amazon S3 sur une machine locale, y compris s3cmd, et de loin le plus simple est Cyberduck. Tout ce que vous avez à faire est de saisir vos identifiants Amazon et d’utiliser l’interface simple pour télécharger / télécharger / synchroniser tous vos buckets / dossiers / fichiers.

Screenshot


68
2017-10-04 21:14



Pour télécharger en utilisant AWS S3 CLI:

aws s3 cp s3://WholeBucket LocalFolder --recursive
aws s3 cp s3://Bucket/Folder LocalFolder --recursive

Pour télécharger en utilisant le code, utilisez AWS SDK .

Pour télécharger à l'aide de l'interface graphique, utilisez Cyberduck .

J'espère que cela aide.. :)


20
2018-04-10 11:23



Vous avez essentiellement beaucoup d'options pour le faire, mais le meilleur utilise AWS CLI

Voici une procédure pas à pas

  • Étape 1

Téléchargez et installez AWS CLI dans votre machine

Installer l'AWS CLI à l'aide du programme d'installation MSI (Windows)

Installez l'AWS CLI à l'aide du programme d'installation fourni (Linux, OS X ou Unix)

  • Étape 2

Configurer AWS CLI

enter image description here

Assurez-vous que vous entrez valide clef d'accès et clef secrète que vous avez reçu lorsque vous avez créé le compte

  • Étape 3

Sync s3 bucket avec la commande suivante

aws s3 sync s3://yourbucket /local/path

Remplacer la commande ci-dessus par les données suivantes

yourbucket >> votre seau s3 que vous voulez télécharger

/ local / chemin >> chemin dans votre système local où vous voulez télécharger tous les fichiers

J'espère que cela t'aides!


19
2017-12-12 13:26



Le navigateur S3 est le moyen le plus simple que j'ai trouvé. C'est un excellent logiciel ... Et c'est gratuit pour un usage non commercial. Windows seulement.

http://s3browser.com/


17
2017-12-19 07:38



Si vous utilisez Visual Studio, téléchargez http://aws.amazon.com/visualstudio/

Une fois installé, accédez à Visual Studio - AWS Explorer - S3 - Votre compartiment - Double-cliquez

Dans la fenêtre, vous serez en mesure de sélectionner tous les fichiers. Clic droit et télécharger des fichiers.


15
2018-02-04 00:23



Une autre option qui pourrait aider certains utilisateurs d'osx, est transmettre. C'est un programme ftp qui vous permet également de vous connecter à vos fichiers s3. Et il a une option pour monter n'importe quel stockage ftp ou s3 en tant que dossier in finder. Mais c'est seulement pour un temps limité.


9
2017-10-17 07:50