Что означает "инкрементная нагрузка"?
Я регулярно вижу выражение 'постепенная загрузка' при чтении статьи
что на самом деле (технически) означает? Что это означает ?
пояснения с использованием вариантов использования приветствуются.
2 ответов
обычно это означает только загрузку на склад записей, которые изменились (вставки, обновления и т. д.) с момента последней загрузки; в отличие от полной загрузки всех данных (всех записей, включая те, которые не изменились с момента последней загрузки) на склад.
преимущество в том, что оно уменьшает количество данных, передаваемых из системы в систему, так как полная загрузка может занять часы / дни в зависимости от объема данных.
главная недостаток вокруг ремонтопригодности. При полной загрузке, если есть ошибка, вы можете повторно запустить всю загрузку без необходимости делать что-либо еще на пути очистки / подготовки. При инкрементной загрузке файлы обычно должны загружаться по порядку. Поэтому, если у вас есть проблема с одной партией, другие выстраиваются в очередь за ней, пока вы ее не исправите. Кроме того, вы можете найти ошибку в пакете несколько дней назад, и необходимо повторно загрузить этот пакет после исправления, а затем каждый последующий пакет в чтобы обеспечить согласованность данных в хранилище.
инкрементная загрузка используется при перемещении данных из одного репозитория (базы данных) в другой.
Не-добавочная нагрузка будет, когда все данные из источника толкнул его.
Incremental будет только передавать новые и измененные данные.
конкретный пример:
компания может иметь две платформы, одна который обрабатывает заказы, и отдельный система учета. Счет отдел ввод новых сведений о клиенте в бухгалтерскую систему, но должен обеспечьте что эти клиенты появляются в система обработки заказов.
для этого он запускает ночное пакетное задание который отправляет данные из бухгалтерии системы в порядке.
если они удаляли всех клиентов детали в системе заказа и заправка со всеми клиентами система бухгалтерского учета они выполняйте не инкрементную нагрузку.
Если они отправляется только через новую клиенты и клиенты, которые были изменены они будут выполнять добавочная загрузка.