Amazon EBS, моментальные снимки в виде инкрементных резервных копий

Я работаю над автоматизированным механизмом для ежедневного резервного копирования наших томов EBS.

Я хорошо знаю шаги для создания нового снимка. По-видимому, все довольно просто, у вас есть Том EBS, который вы можете сделать снимок, и вы можете восстановить снимок в любое время. Штраф.

но меня беспокоит размер снимков, я знаю, что эти снимки хранятся со сжатием в S3, и мы будем заряжаться в зависимости от размера создание снимков. Если у нас есть большие объемы данных, мы будем иметь значительное увеличение суммы счета за каждую резервную копию, которую мы делаем.

однако, согласно страницам Amazon, эти снимки являются инкрементными. Это решит мою проблему, так как ежедневная резервная копия будет загружать только данные, которые изменились с момента последнего снимка. Но это приводит меня к следующему вопросу: если резервная копия является инкрементной, и мы загружаем только измененные данные, где хранятся исходные данные? (т. первый снимок, который, очевидно, не мог быть сделан постепенно...)

к сожалению, я не смог найти эту информацию во всех документах Amazon.

есть ли у кого-нибудь опыт работы со снимками и его выставлением счетов?

Я был бы признателен за любую помощь, спасибо!

22
amazon-ebs amazon-ec2 amazon-web-services backup snapshot

1 ответов

Я не думаю, что вы найдете подробную документацию о том, как реализуются снимки; это не то, с чем я столкнулся. У них есть документация "Затраты На Проектирование".

обратите внимание, что эти снимки являются не "инкрементный" в том, как мы, возможно, пришли к пониманию этого термина в операционной системе DOS. В DOS бит "архив" был установлен при изменении файла, а "инкрементная" резервная копия копировала только те файлы, у которых был установлен бит" архив". Процесс резервного копирования очистит атрибут архива, поэтому будущее редактирование файла приведет к его резервному копированию "постепенно" еще раз.

с моментальными снимками каждый блок Тома помечается, если он изменен. Это не делается по файлу. После первого снимка резервное копирование выполняется только для блоков, помеченных как измененные как "инкрементные" резервные копии в DOS. Но на этом сходства заканчиваются, потому что с каждым блоком что он не должен копировать он не просто пропускает его, он пишет указатель на то, где находится последняя (неизмененная) копия данных.

при первом снимке Тома данные разбиваются на блоки. От Амазонки:"данные Тома разбиваются на куски перед передачей в Amazon S3. В то время как размер кусков может измениться в будущем оптимизация, число [...] можно оценить, разделив размер данных, которые изменились с момента последнего снимка, на 4 МБ."

следующий снимок, который вы делаете, состоит из данных только для тех блоков, которые изменились,и указатели к блокам, которые не изменились. Эти указатели указывают на блоки данных в предыдущем снимке.

следующий снимок (n) производится путем записи данных каждого блока, измененного с момента предыдущего снимка (n-1), вместе с указателями на блоки, которые не изменились с момента предыдущего снимка (n-1). Эти указатели указывают на соответствующие блоки в предыдущем снимке, которые могут содержать данные, или другой указатель на его предыдущего снимка. В конце концов, каждый указатель заканчивается на блоке реальных данных (который не изменился с момента создания этого снимка).

теперь предположим, что вы решили удалить снимок (x). Снимок (x) имеет снимки, сделанные до него (x-1), и после него (x+1). Amazon заменяет указатели в snapshot (x+1) указателями и данными из snapshot (x) (удаляемого). В результате любые фактические данные в snapshot (x) копируются в snapshot (x+1), Если у него нет собственной копии более свежих данных для этого блока.

вот как работают снимки, где хранятся данные и почему размер снимков можно управлять. Из этого вы можете понять, как удаление моментального снимка уничтожит только вашу способность вернуть том таким, каким он был в тот момент, когда этот снимок был создан, не разрушая возможность использовать другие снимки. В отличие от простых, традиционных "инкрементных" резервных копий, не использующих указатели, снимки, которые не удаляются, обновляются по мере необходимости для сохранения их полезности при удалении одного из зависимых снимков. Вот почему имеет смысл, что Amazon взимает больше за интеллектуальное хранилище моментальных снимков, чем за простые копии томов EBS. Наконец, понятно, что это трудно предсказать, сколько хранения моментальных снимков будет стоить, так как это так динамично.

37