Вставка сообщений PubSub в BigQuery через поток данных Google Cloud

Я хотел бы вставить данные сообщений PubSub, поступающие из темы в таблицу BigQuery, используя Google Cloud Dataflow. Все работает отлично, но в таблице BigQuery я вижу нечитаемые строки, такие как"� � �". Это мой трубопровод:

p.apply(PubsubIO.Read.named("ReadFromPubsub").topic("projects/project-name/topics/topic-name"))
.apply(ParDo.named("Transformation").of(new StringToRowConverter()))
.apply(BigQueryIO.Write.named("Write into BigQuery").to("project-name:dataset-name.table")
     .withSchema(schema)
     .withCreateDisposition(BigQueryIO.Write.CreateDisposition.CREATE_IF_NEEDED))

и моя простая функция StringToRowConverter:

class StringToRowConverter extends DoFn<String, TableRow> {
private static final long serialVersionUID = 0;

@Override
public void processElement(ProcessContext c) {
    for (String word : c.element().split(",")) {
      if (!word.isEmpty()) {
          System.out.println(word);
        c.output(new TableRow().set("data", word));
      }
    }
}
}

и это сообщение, которое я отправил через почтовый запрос:

POST https://pubsub.googleapis.com/v1/projects/project-name/topics/topic-name:publish
{
 "messages": [
  {
   "attributes":{
"key": "tablet, smartphone, desktop",
"value": "eng"
   },
   "data": "34gf5ert"
  }
 ]
}

что я упустил? Спасибо!

6
google-bigquery google-cloud-dataflow google-cloud-pubsub

2 ответов

согласно https://cloud.google.com/pubsub/reference/rest/v1/PubsubMessage , Полезная нагрузка JSON сообщения pubsub закодирована в base64. PubsubIO в поток, по умолчанию, использует строку в utf8 верстальщик. Пример строки вы предоставили "34gf5ert", когда в base64 декодируется, а затем интерпретируется как строка UTF-8, дает именно "���".

7

вот как я распаковываю свои сообщения pubsub:

@Override
public void processElement(ProcessContext c) {

    String json = c.element();

    HashMap<String,String> items = new Gson().fromJson(json, new TypeToken<HashMap<String, String>>(){}.getType());
    String unpacked = items.get("JsonKey");

надеюсь, что это полезно для вас.

2