Почему использование кэша в потоковых наборах данных не удается с помощью " AnalysisException: запросы с потоковыми источниками должны выполняться с помощью writeStream.start()"?

ваш (очень интересный) случай сводится к следующей строке (которую вы можете выполнить в spark-shell):

scala> :type spark
org.apache.spark.sql.SparkSession

scala> spark.readStream.text("files").cache
org.apache.spark.sql.AnalysisException: Queries with streaming sources must be executed with writeStream.start();;
FileSource[files]
  at org.apache.spark.sql.catalyst.analysis.UnsupportedOperationChecker$.org$apache$spark$sql$catalyst$analysis$UnsupportedOperationChecker$$throwError(UnsupportedOperationChecker.scala:297)
  at org.apache.spark.sql.catalyst.analysis.UnsupportedOperationChecker$$anonfun$checkForBatch.apply(UnsupportedOperationChecker.scala:36)
  at org.apache.spark.sql.catalyst.analysis.UnsupportedOperationChecker$$anonfun$checkForBatch.apply(UnsupportedOperationChecker.scala:34)
  at org.apache.spark.sql.catalyst.trees.TreeNode.foreachUp(TreeNode.scala:127)
  at org.apache.spark.sql.catalyst.analysis.UnsupportedOperationChecker$.checkForBatch(UnsupportedOperationChecker.scala:34)
  at org.apache.spark.sql.execution.QueryExecution.assertSupported(QueryExecution.scala:63)
  at org.apache.spark.sql.execution.QueryExecution.withCachedData$lzycompute(QueryExecution.scala:74)
  at org.apache.spark.sql.execution.QueryExecution.withCachedData(QueryExecution.scala:72)
  at org.apache.spark.sql.execution.QueryExecution.optimizedPlan$lzycompute(QueryExecution.scala:78)
  at org.apache.spark.sql.execution.QueryExecution.optimizedPlan(QueryExecution.scala:78)
  at org.apache.spark.sql.execution.QueryExecution.sparkPlan$lzycompute(QueryExecution.scala:84)
  at org.apache.spark.sql.execution.QueryExecution.sparkPlan(QueryExecution.scala:80)
  at org.apache.spark.sql.execution.QueryExecution.executedPlan$lzycompute(QueryExecution.scala:89)
  at org.apache.spark.sql.execution.QueryExecution.executedPlan(QueryExecution.scala:89)
  at org.apache.spark.sql.execution.CacheManager$$anonfun$cacheQuery.apply(CacheManager.scala:104)
  at org.apache.spark.sql.execution.CacheManager.writeLock(CacheManager.scala:68)
  at org.apache.spark.sql.execution.CacheManager.cacheQuery(CacheManager.scala:92)
  at org.apache.spark.sql.Dataset.persist(Dataset.scala:2603)
  at org.apache.spark.sql.Dataset.cache(Dataset.scala:2613)
  ... 48 elided

причина этого оказалась довольно простой в объяснении (нет каламбура для Искры SQL explain предназначен).

spark.readStream.text("files") создает так называемый потоковая передача данных.

scala> val files = spark.readStream.text("files")
files: org.apache.spark.sql.DataFrame = [value: string]

scala> files.isStreaming
res2: Boolean = true

потоковые наборы данных являются основой Spark SQL в Структурированная Потоковая Передача.

как вы, возможно, читали в Structured Трансляции -Пример:

а затем начать потоковое вычисление с помощью start().

цитирование scaladoc из Datastreamwriter's старт:

start (): StreamingQuery запускает выполнение потокового запроса, который будет постоянно выводить результаты на заданный путь по мере поступления новых данных.

Итак, вы должны использовать start (или foreach) чтобы начать выполнение потокового запроса. Ты уже знал это.

но...есть Неподдерживаемые Операции в структурированной потоковой передачи:

кроме того, есть некоторые методы набора данных, которые не будут работать с потоковыми наборами данных. Это действия, которые немедленно запускают запросы и возвращают результаты, что не имеет смысла в потоковом наборе данных.

если вы попробуете любую из этих операций, вы увидите AnalysisException как "операция XYZ не поддерживается потоковыми фреймами данных/наборами данных".

знакомое, не так ли?

cache и не в списке неподдерживаемых операций, но это потому, что он просто был упущен (я сообщил Искра-20927 исправить).

cache должен был быть в списке, как это тут выполнить запрос до получения запроса зарегистрировано в Искра CacheManager в SQL.

давайте углубимся в глубины Spark SQL...задержать дыхание...

cache is persist пока persist запрашивает текущий CacheManager для кэширования запроса:

sparkSession.sharedState.cacheManager.cacheQuery(this)

при кэшировании запроса CacheManager тут выполнить:

sparkSession.sessionState.executePlan(planToCache).executedPlan

что мы знаю не допускается, так как это start (или foreach), чтобы сделать так.

проблема решена!