AVRO マッピング

AVRO マッピングを使用して、インジェスト ソース ファイルが AVRO 形式の場合に、テーブル内の列に受信データをマップします。

マッピング リストの各要素は、特定の列のマッピングを定義します。 これらの要素は、、datatype、および propertiesの 3 つのプロパティcolumnから構築されます。 詳細については、 データ マッピングの概要に関するページを参照してください。

各 AVRO マッピング要素には、次のいずれかの省略可能なプロパティが含まれている必要があります。

プロパティ	Type	説明
フィールド	string	AVRO レコード内のフィールドの名前。
パス	string	値がで $ 始まる場合は、テーブル内の列の内容となる AVRO ドキュメント内のフィールドへのパスとして解釈されます。 AVRO レコード全体を示すパスは です $。 値がで始 $ まらない場合は、定数値として解釈されます。 特殊文字を含むパスは、['Property Name'] としてエスケープする必要があります。 詳しくは、「JSONPath 構文」を参照してください。
ConstValue	string	AVRO ファイル内の値ではなく、列に使用される定数値。
変換	string	マッピング変換を使用してコンテンツに適用する必要がある 変換。

注意

フィールドとパスは相互に排他的です。

次の代替手段は同等です。

[
  {"Column": "event_name", "Properties": {"Path": "$.EventName"}}
]

[
  {"Column": "event_name", "Properties": {"Field": "EventName"}}
]

重要

キューに入ったインジェストの場合:

• マッピングで参照されているテーブルがデータベースに存在しない場合は、すべての列に対して有効なデータ型が指定されているため、自動的に作成されます。
• マッピングで参照されている列がテーブルに存在しない場合、列に対して有効なデータ型が指定されている場合、その列に対してデータが初めて取り込まれると、その列が最後の列としてテーブルに自動的に追加されます。 マッピングに新しい列を追加するには、 .alter ingestion mapping コマンドを使用します。
• データはインジェスト プロパティを使用してバッチ処理されます。 異なる ConstValue 値など、より明確なインジェスト マッピング プロパティが使用されるほど、インジェストの断片化が高くなり、パフォーマンスが低下する可能性があります。

例

[
  {"Column": "event_timestamp", "Properties": {"Field": "Timestamp"}},
  {"Column": "event_name",      "Properties": {"Field": "Name"}},
  {"Column": "event_type",      "Properties": {"Field": "Type"}},
  {"Column": "event_time",      "Properties": {"Field": "Timestamp", "Transform": "DateTimeFromUnixMilliseconds"}},
  {"Column": "ingestion_time",  "Properties": {"ConstValue": "2021-01-01T10:32:00"}},
  {"Column": "full_record",     "Properties": {"Path": "$"}}
]

上記のマッピングは、管理コマンドの一部 .ingest として提供されるときに JSON 文字列としてシリアル化されます。

.ingest into Table123 (@"source1", @"source2")
  with
  (
      format = "AVRO",
      ingestionMapping =
      ```
      [
        {"Column": "column_a", "Properties": {"Field": "Field1"}},
        {"Column": "column_b", "Properties": {"Field": "$.[\'Field name with space\']"}}
      ]
      ```
  )

事前に作成されたマッピング

マッピングが 事前に作成されたら、管理コマンドで名前でマッピングを .ingest 参照します。

.ingest into Table123 (@"source1", @"source2")
    with
    (
        format="AVRO",
        ingestionMappingReference = "Mapping_Name"
    )

ID のマッピング

マッピング スキーマを定義せずに、インジェスト中に AVRO マッピングを使用します ( ID マッピングに関するページを参照してください)。

.ingest into Table123 (@"source1", @"source2")
    with
    (
        format="AVRO"
    )