Boto3 для загрузки всех файлов из корзины S3

Amazon S3 не имеет папок / каталогов. Это плоская структура файла.

для поддержания внешнего вида каталогов,имена путей сохраняются как часть ключа объекта (имя файла). Например:

• images/foo.jpg

в этом случае, они весь ключ images/foo.jpg, а не просто foo.jpg.

Я подозреваю, что ваша проблема в том, что boto возвращает файл с названием my_folder/.8Df54234 и попытка сохранить его в локальной файловой системе. Однако ваша локальная файловая система интерпретирует my_folder/ часть как имя каталога, и этот каталог не существует в вашей локальной файловой системе.

можно усечь имя файла, чтобы только сохранить .8Df54234 часть, или вам придется создать необходимые директории перед записью файлов. Обратите внимание, что это могут быть многоуровневые вложенные каталоги.

более простой способ было бы использовать интерфейс командной строки AWS (CLI), который сделает всю эту работу за вас, например:

aws s3 cp --recursive s3://my_bucket_name local_folder

там же что будет копировать только новые и измененные файлы.

import os
import boto3

#intiate s3 resource
s3 = boto3.resource('s3')

# select bucket
my_bucket = s3.Bucket('my_bucket_name')

# download file into current directory
for object in my_bucket.objects.all():
    # Need to split object.key into path and file name, else it will give error file not found.
    path, filename = os.path.split(obj.key)
    my_bucket.download_file(object.key, filename))

в настоящее время я выполняю задачу, используя следующее

#!/usr/bin/python
import boto3
s3=boto3.client('s3')
list=s3.list_objects(Bucket='bucket')['Contents']
for s3_key in list:
    s3_object = s3_key['Key']
    if not s3_object.endswith("/"):
        s3.download_file('bucket', s3_object, s3_object)
    else:
        import os
        if not os.path.exists(s3_object):
            os.makedirs(s3_object)

хотя, это делает работу, я не уверен, что это хорошо, чтобы сделать так. Я оставляю его здесь, чтобы помочь другим пользователям и дальнейшим ответам, с лучшим способом достижения этого

лучше поздно, чем никогда:) предыдущий ответ с paginator действительно хорош. Однако это рекурсивно, и вы можете в конечном итоге попасть в пределы рекурсии Python. Вот альтернативный подход, с парой дополнительных проверок.

import os
import errno
import boto3


def assert_dir_exists(path):
    """
    Checks if directory tree in path exists. If not it created them.
    :param path: the path to check if it exists
    """
    try:
        os.makedirs(path)
    except OSError as e:
        if e.errno != errno.EEXIST:
            raise


def download_dir(client, bucket, path, target):
    """
    Downloads recursively the given S3 path to the target directory.
    :param client: S3 client to use.
    :param bucket: the name of the bucket to download from
    :param path: The S3 directory to download.
    :param target: the local directory to download the files to.
    """

    # Handle missing / at end of prefix
    if not path.endswith('/'):
        path += '/'

    paginator = client.get_paginator('list_objects_v2')
    for result in paginator.paginate(Bucket=bucket, Prefix=path):
        # Download each file individually
        for key in result['Contents']:
            # Calculate relative path
            rel_path = key['Key'][len(path):]
            # Skip paths ending in /
            if not key['Key'].endswith('/'):
                local_file_path = os.path.join(target, rel_path)
                # Make sure directories exist
                local_file_dir = os.path.dirname(local_file_path)
                assert_dir_exists(local_file_dir)
                client.download_file(bucket, key['Key'], local_file_path)


client = boto3.client('s3')

download_dir(client, 'bucket-name', 'path/to/data', 'downloads')

это очень плохая идея, чтобы получить все файлы за один раз, вы должны скорее получить его в пакетах.

одна реализация, которую я использую для извлечения определенной папки (каталога) из S3,

def get_directory(directory_path, download_path, exclude_file_names):
    # prepare session
    session = Session(aws_access_key_id, aws_secret_access_key, region_name)

    # get instances for resource and bucket
    resource = session.resource('s3')
    bucket = resource.Bucket(bucket_name)

    for s3_key in self.client.list_objects(Bucket=self.bucket_name, Prefix=directory_path)['Contents']:
        s3_object = s3_key['Key']
        if s3_object not in exclude_file_names:
            bucket.download_file(file_path, download_path + str(s3_object.split('/')[-1])

и все же, если вы хотите получить все ведро, используйте его через CIL как @Джон Rotenstein упомянул ниже

aws s3 cp --recursive s3://bucket_name download_path

у меня есть обходной путь для этого, который запускает AWS CLI в том же процессе.

установить awscli как python lib:

pip install awscli

затем определите эту функцию:

from awscli.clidriver import create_clidriver

def aws_cli(*cmd):
    old_env = dict(os.environ)
    try:

        # Environment
        env = os.environ.copy()
        env['LC_CTYPE'] = u'en_US.UTF'
        os.environ.update(env)

        # Run awscli in the same process
        exit_code = create_clidriver().main(*cmd)

        # Deal with problems
        if exit_code > 0:
            raise RuntimeError('AWS CLI exited with code {}'.format(exit_code))
    finally:
        os.environ.clear()
        os.environ.update(old_env)

выполнить:

aws_cli('s3', 'sync', '/path/to/source', 's3://bucket/destination', '--delete')

for objs in my_bucket.objects.all():
    print(objs.key)
    path='/tmp/'+os.sep.join(objs.key.split(os.sep)[:-1])
    try:
        if not os.path.exists(path):
            os.makedirs(path)
        my_bucket.download_file(objs.key, '/tmp/'+objs.key)
    except FileExistsError as fe:                          
        print(objs.key+' exists')

этот код будет загружать контент в