Spark структурированная потоковая интеграция с Kinesis
Я пытаюсь выяснить, является ли интеграция Kinesis со структурированной потоковой передачей Spark стабильной. Сервис AWS большой блог данные вряд ли блог про Kinesis и Spark Structured Streaming. Хотел бы знать, если кто-нибудь из вас пробовал Spark Structured Streaming С Kinesis? Если да, то вы нашли его стабильным?
1 ответов
сейчас нет пакета для использования kinesis в качестве источника структурированной потоковой передачи. Databricks это, но он не выпущен с Spark. Есть интеграция с третьей стороной, но, как говорит разработчик ," это всего лишь прототип для проверки осуществимости интеграции kinesis"
в качестве обходного пути и в зависимости от ваших требований вы можете создать "старую добрую" интеграцию spark streaming/kinesis и просто вывести данные в папку. Тогда использовать это источник для структурированных потоковых процессов.