Какую базу данных использует Google?

С BigTable

распределенная система хранения структурированных данных

Bigtable-распределенное хранилище система (построенная Google) для управления структурированными данными это очень предназначен для масштабирования большой размер: петабайты данных через тысячи обычных серверов.

многие проекты в Google store данных в Bigtable, включая веб-индексацию, Google Планета Земля и Google финансы. Эти приложения очень различные требования к Bigtable, оба в условия размера данных (от url до web страницы для спутниковых снимков) и требования к задержке (из бэкэнда основная обработка данных в реальном времени сервировочный.)

несмотря на эти разнообразные требования, Bigtable имеет успешно обеспечено гибкое, высокопроизводительное решение для всех этих Google товары.

некоторые функции

• быстрый и весьма широкомасштабный СУБД
• разреженный, распределенной многомерной сортированную карту, обмен характеристики построчным и столбец-ориентированных баз данных.
• предназначен для масштабирования в диапазоне петабайт
• он работает через сотни или тысячи машин
• легко добавить больше машин в систему и автоматически начать использовать эти ресурсы без какой-либо реконфигурации
• каждая таблица имеет несколько измерений (одно из которых это поле для времени, позволяющее управление версиями)
• таблицы оптимизированы для GFS (файловой системы Google) путем разделения на несколько планшетов - сегментов таблицы, как разделить вдоль строки, выбранной таким образом, что планшет будет ~200 мегабайт в размере.

архитектура

BigTable не является реляционной базой данных. Он не поддерживает соединения и не поддерживает богатые SQL-подобные запросы. Каждая таблица представляет собой многомерную разреженную карту. Таблицы состоят из строки и столбцы, и каждая ячейка имеет отметку времени. Может быть несколько версий ячейки с различными временными метками. Метка времени позволяет выполнять такие операции, как" выбор "n" версий этой веб-страницы " или " удаление ячеек, которые старше определенной даты/времени."

чтобы управлять огромными таблицами, Bigtable разбивает таблицы на границах строк и сохраняет их в виде планшетов. Планшет около 200 МБ, и каждая машина сохраняет около 100 планшетов. Эта установка позволяет планшетам от одиночного таблица должна быть распределена между многими серверами. Оно также учитывает мелкозернистую балансировку нагрузки. Если одна таблица получает много запросов, она может пролить другие планшеты или переместить занятую таблицу на другую машину, которая не так занята. Кроме того, если машина выходит из строя, планшет может быть распространен по многим другим серверам, так что влияние производительности на любой машине минимально.

таблицы хранятся как неизменяемые SSTables и хвост журналов (один журнал на машину). Когда машина бежит из системы память, он сжимает некоторые таблетки, используя собственные методы сжатия Google (BMDiff и Zippy). Незначительные уплотнения включают только несколько таблеток, в то время как основные уплотнения включают всю систему таблиц и восстанавливают пространство на жестком диске.

местоположения таблеток Bigtable хранятся в ячейках. Поиск любого конкретного планшета обрабатывается трехуровневой системой. Клиенты получают точку в таблице META0, из которой есть только одна. Таблица META0 отслеживает многие таблетки META1 которые содержат местоположения таблеток, которые ищут. И META0, и META1 активно используют предварительную выборку и кэширование для минимизации узких мест в системе.

реализация

BigTable построен на Файловая Система Google (ГФС), который используется в качестве резервного хранилища для файлов журналов и данных. GFS обеспечивает надежное хранилище для SSTables, проприетарного формата файлов Google, используемого для сохранения табличных данных.

другое служба, которая BigTable интенсивно использует is Чабби, высок-доступное, надежное распределенное обслуживание замка. Chubby позволяет клиентам взять блокировку, возможно, связывая ее с некоторыми метаданными, которые он может обновить, отправив сообщения keep alive обратно Chubby. Блокировки хранятся в иерархической структуре именования, подобной файловой системе.

есть три основных типы серверов интерес к системе Bigtable:

1. мастер-сервера: назначение таблетки на планшетных серверах, отслеживает, где таблетки расположены и перераспределяет задачи по мере необходимости.
2. планшетные серверы: обрабатывать запросы на чтение / запись для планшетов и сплит - планшетов, когда они превышают пределы размера (обычно 100MB-200MB). Если сервер планшета терпит неудачу, то 100 серверов планшета каждый приемистость 1 новый планшет и система берет.
3. серверы блокировки: экземпляры службы распределенной блокировки Chubby. Множество действий в BigTable требуют приобретения блокировок включая открытие планшетов для записи, обеспечение того, чтобы не было более одного активного мастера за раз, и проверку контроля доступа.

пример из исследовательской работы Google:

фрагмент таблицы примеров, которая хранит веб-страницы. Имя строки-a отменено URL-адресом. Столбец содержание семья содержит содержание страницы, и семейство столбцов привязки содержит текст якоря ссылки страница. На домашнюю страницу CNN ссылается и The Sports Illustrated, и the MY-look home pages, так что строка содержит столбцы с именем anchor:cnnsi.com и anchor:my.look.ca. Каждая Якорная ячейка имеет одной из версий; столбца содержание имеет три версии, в метки t3, t5 и t6.

API

типичные операции для BigTable-это создание и удаление таблиц и семейств столбцов, запись данных и удаление столбцов из строки. BigTable предоставляет эти функции разработчикам приложений в API. Транзакции поддерживаются на уровне строк, но не на нескольких ключах строк.

здесь ссылка на PDF исследовательской работы.

и здесь вы можете найти видео, показывающее Джеффа Дина Google в лекции в Университете Вашингтона, обсуждаем Bigtable система хранения контента, используемая в бэкэнде Google.