共用方式為

Azure 事件中樞資料連線

  • 發行項

Azure 事件中樞 是巨量數據串流平臺和事件擷取服務。 Azure 數據總管提供客戶自控事件中樞的持續擷取。

事件中樞擷取管線會以數個步驟將事件傳輸至 Azure 數據總管。 您會先在 Azure 入口網站 中建立事件中樞。 接著，您會在 Azure 數據總管中建立目標數據表，其中 特定格式的數據會使用指定的 擷取屬性來內嵌。 事件中樞連線必須知道 事件路由。 根據事件系統屬性，數據可能會內嵌在選取的屬性中。 建立事件中樞的連線，以 建立事件中樞 並 傳送事件。 此程式可以透過 Azure 入口網站、以程序設計方式使用 C# 或 Python，或使用 Azure Resource Manager 範本來管理。

如需 Azure 數據總管中數據擷取的一般資訊，請參閱 Azure 數據總管數據擷取概觀。

Azure 數據總管數據連線驗證機制

  • 金鑰型資料連線：如果未為數據連線指定受控識別驗證，則聯機會自動預設為密鑰型驗證。 索引鍵型聯機會使用資源 連接字串 來擷取數據，例如 Azure 事件中樞 連接字串。 Azure 數據總管會取得指定資源的資源 連接字串，並安全地加以儲存。 接著會使用 連接字串 從數據源擷取數據。

    警告

    如果輪替密鑰，數據連線將無法再運作，而且無法從數據源擷取數據。 若要修正此問題，請更新或重新建立數據連線。

資料格式

事件中樞屬性

Azure 數據總管支援下列事件中樞屬性：

注意

不支援擷取用來將元數據與事件產生關聯的事件中樞 自定義屬性。 如果您需要內嵌自定義屬性，請在事件數據主體中傳送它們。 如需詳細資訊，請參閱 內嵌自定義屬性。

內嵌屬性

擷取屬性會指示擷取程式、將數據路由傳送到何處，以及如何處理數據。 您可以使用 EventData.Properties 來指定事件擷取的擷取屬性。 您可以設定下列屬性：

注意

屬性名稱會區分大小寫。

屬性 說明
資料庫 目標資料庫的區分大小寫名稱。 根據預設，數據會內嵌至與數據連線相關聯的目標資料庫。 使用這個屬性來覆寫預設資料庫，並將數據傳送至不同的資料庫。 若要這樣做，您必須先 將連線設定為多資料庫連線。
Table 現有目標數據表的區分大小寫名稱。 覆 Table 寫窗格上的 Data Connection 集合。
格式 資料格式 覆 Data format 寫窗格上的 Data Connection 集合。
IngestionMappingReference 要使用的現有 擷取對應 名稱。 覆 Column mapping 寫窗格上的 Data Connection 集合。
壓縮 數據壓縮、 None （預設）或 GZip 壓縮。
編碼方式 數據編碼，預設值為UTF8。 可以是任何 .NET 支援的編碼方式。
標籤 要與內嵌數據產生關聯的標記清單，格式化為 JSON 陣列字串。 使用標記時會有 效能影響 。
RawHeaders 指出事件來源是 Kafka，而 Azure 數據總管必須使用位元組陣列還原串行化來讀取其他路由屬性。 值會被忽略。

注意

只有在您建立數據連線之後才會加入佇列的事件才會內嵌。

事件路由

當您建立叢集的數據連線時，您可以指定要傳送內嵌數據的位置路由。 預設路由會傳送至與目標資料庫相關聯之 連接字串 中指定的目標數據表。 數據的預設路由也稱為 靜態路由。 您可以藉由設定上述事件資料屬性來指定資料的替代路由。

將事件數據路由傳送至替代資料庫

默認會關閉將數據路由傳送至替代資料庫。 若要將數據傳送至不同的資料庫，您必須先將連接設定為多資料庫連接。 您可以在 Azure 入口網站 Azure 入口網站、C#、Python 或 ARM 範本中執行此動作。 用來允許資料庫路由的使用者、群組、服務主體或受控識別，至少必須具有 叢集的參與者 角色和寫入許可權。

若要指定替代資料庫，請設定資料庫擷取屬性。

警告

指定替代資料庫而不將連接設定為多資料庫數據連線，會導致擷取失敗。

將事件數據路由傳送至替代數據表

若要為每個事件指定替代數據表，請設定 Table、Format、Compression 和對應擷取屬性。 聯機會動態路由傳送 EventData.Properties 中指定的內嵌數據，並覆寫此事件的靜態屬性。

下列範例示範如何設定事件中樞詳細數據，並將氣象計量數據傳送至替代資料庫 （MetricsDB） 和數據表 （WeatherMetrics）。 數據是 JSON 格式， 而 mapping1 是在數據表 WeatherMetrics 上預先定義。

// This sample uses Azure.Messaging.EventHubs which is a .Net Framework library.
await using var producerClient = new EventHubProducerClient("<eventHubConnectionString>");
// Create the event and add optional "dynamic routing" properties
var eventData = new EventData(Encoding.UTF8.GetBytes(JsonConvert.SerializeObject(
    new { Timestamp = DateTime.UtcNow, MetricName = "Temperature", Value = 32 }
)));
eventData.Properties.Add("Database", "MetricsDB");
eventData.Properties.Add("Table", "WeatherMetrics");
eventData.Properties.Add("Format", "json");
eventData.Properties.Add("IngestionMappingReference", "mapping1");
eventData.Properties.Add("Tags", "['myDataTag']");
var events = new[] { eventData };
// Send events
await producerClient.SendAsync(events);

事件系統屬性對應

系統屬性會儲存事件中樞服務在加入佇列時所設定的屬性。 與事件中樞的數據連線可以根據指定的對應，將選取的系統屬性集內嵌至內嵌到數據表中的數據。

注意

  • json 和表格式格式格式支援內嵌系統屬性（例如JSON，、MultiJSON、、CSV、、PSVTSV、SCsv、SOHsv、 TSVE。
  • 使用不支援的格式時，數據仍會擷取 i.e. TXTParquetAvro，但會忽略屬性。
  • 設定事件中樞訊息壓縮時，不支援內嵌系統屬性。 在這種情況下，將會發出適當的錯誤，而且不會內嵌數據。
  • 針對表格式數據，系統屬性僅支援單一記錄事件訊息。
  • 針對 json 數據，系統屬性也支援多重記錄事件訊息。 在這種情況下，系統屬性只會新增至事件訊息的第一筆記錄。
  • 針對 CSV 對應，屬性會以數據連接建立中所列的順序，在記錄開頭加入。 請勿依賴這些屬性的順序，因為未來可能會變更。
  • 針對JSON對應，屬性會根據 [系統屬性] 資料表中的屬性名稱新增。

事件中樞服務會公開下列系統屬性：

屬性 資料類型 描述
x-opt-enqueued-time datetime 加入佇列事件的 UTC 時間
x-opt-sequence-number long 事件中樞分割數據流內的事件邏輯序號
x-opt-offset string 事件中樞數據分割數據流的位移。 位移標識碼在事件中樞數據流的數據分割內是唯一的
x-opt-publisher string 如果訊息已傳送至發行者端點，則發行者名稱
x-opt-partition-key string 儲存事件之對應分割區的數據分割索引鍵

當您使用IoT Central事件中樞時，您也可以在承載中內嵌 IoT 中樞 系統屬性。 如需完整清單，請參閱 IoT 中樞 系統屬性。

如果您在數據表的 [數據源] 區段中選取 [事件系統屬性]，則必須在數據表架構和對應中包含屬性。

架構對應範例

數據表架構對應範例

如果您的資料報含三個資料列 （Timespan、 Metric和 Value） 以及您包含的屬性是 x-opt-enqueued-time 和 x-opt-offset，請使用此命令來建立或改變資料表架構：

    .create-merge table TestTable (TimeStamp: datetime, Metric: string, Value: int, EventHubEnqueuedTime:datetime, EventHubOffset:string)

CSV 對應範例

執行下列命令，將數據新增至記錄的開頭。 請注意序數值。

    .create table TestTable ingestion csv mapping "CsvMapping1"
    '['
    '   { "column" : "Timespan", "Properties":{"Ordinal":"2"}},'
    '   { "column" : "Metric", "Properties":{"Ordinal":"3"}},'
    '   { "column" : "Value", "Properties":{"Ordinal":"4"}},'
    '   { "column" : "EventHubEnqueuedTime", "Properties":{"Ordinal":"0"}},'
    '   { "column" : "EventHubOffset", "Properties":{"Ordinal":"1"}}'
    ']'

JSON 對應範例

數據會使用系統屬性對應來新增。 執行以下命令：

    .create table TestTable ingestion json mapping "JsonMapping1"
    '['
    '    { "column" : "Timespan", "Properties":{"Path":"$.timestamp"}},'
    '    { "column" : "Metric", "Properties":{"Path":"$.metric"}},'
    '    { "column" : "Value", "Properties":{"Path":"$.value"}},'
    '    { "column" : "EventHubEnqueuedTime", "Properties":{"Path":"$.x-opt-enqueued-time"}},'
    '    { "column" : "EventHubOffset", "Properties":{"Path":"$.x-opt-offset"}}'
    ']'

事件中樞擷取 Avro 檔案的架構對應

取用事件中樞數據的其中一種方法是透過 Azure Blob 儲存體 或 Azure Data Lake Storage 中的 Azure 事件中樞 來擷取事件。 接著，您可以在 Azure 數據總管中使用 事件方格數據連線來擷取擷取檔案。

擷取檔案的架構與傳送至事件中樞的原始事件架構不同。 您應該將這個差異設計為目的資料表架構。 具體而言，事件承載會在擷取檔案中表示為位元組陣列，而且此數位不會由事件方格 Azure 數據總管數據連線自動譯碼。 如需事件中樞 Avro 擷取數據檔案架構的詳細資訊，請參閱探索 Azure 事件中樞 中擷取的 Avro 檔案。

若要正確譯碼事件承載：

  1. 將 Body 擷取事件的欄位對應至目的地數據表中類型的 dynamic 數據行。
  2. 套用更新原則，以使用 unicode_codepoints_to_string（） 函式，將位元組陣列轉換成可讀取的字串。

內嵌自定義屬性

從事件中樞擷取事件時，數據取自 body 事件數據物件的 區段。 不過，事件中樞 自定義屬性 是在 物件的 區段中定義 properties ，而且不會內嵌。 若要內嵌客戶屬性，您必須將其內嵌至 物件區段中的數據 body 。

下列範例會比較事件數據物件，其中包含事件中樞所定義的自定義屬性customProperty，以及擷取所需的內嵌屬性（右）。

{
"body":{
"value": 42
},
"properties":{
"customProperty": "123456789"
}
}

{
"body":{
"value": 42,
"customProperty": "123456789"
}
}

您可以使用下列其中一種方法，將自訂屬性內嵌至事件資料物件的 區段中的數據 body ：

  • 在事件中樞中，建立事件數據物件時，將自定義屬性內嵌為物件 區段中數據的 body 一部分。
  • 使用 Azure 串流分析來處理 事件中樞的事件，並在事件數據中內嵌自定義屬性 。 從 Azure 串流分析，您可以使用 Azure 數據總管輸出連接器原生擷取數據，或將數據路由傳送到另一個事件中樞，然後從該處擷取到叢集。
  • 使用 Azure Functions 新增自訂屬性，然後內嵌數據。

跨區域事件中樞數據連線

為了獲得最佳效能，請在與叢集相同的區域中建立下列所有資源。 如果沒有其他替代方案，請考慮使用 進階 或 專用 事件中樞層。 您可以在這裡找到事件中樞層比較。

建立事件中樞

如果您還沒有事件中樞， 請建立事件中樞。 連線到事件中樞可以透過 Azure 入口網站、以程序設計方式使用 C# 或 Python，或使用 Azure Resource Manager 範本來管理。

注意

  • 建立事件中樞之後動態新增分割區的能力僅適用於事件中樞進階層和專用層。 設定分割區計數時，請考慮長期調整。
  • 取用者群組 每個取用者都必須 是唯一的。 建立專用於 Azure 數據總管連線的取用者群組。

傳送事件

請參閱產生數據的範例應用程式，並將其傳送至事件中樞。

如需如何產生範例數據的範例，請參閱 將數據從事件中樞內嵌至 Azure 數據總管

設定異地災害復原解決方案

事件中樞提供 異地災害復原 解決方案。 Azure 數據總管不支援 Alias 事件中樞命名空間。 若要在解決方案中實作異地災害復原，請建立兩個事件中樞數據連線：一個用於主要命名空間，另一個用於次要命名空間。 Azure 數據總管會接聽這兩個事件中樞連線。

注意

用戶必須負責實作從主要命名空間故障轉移到次要命名空間。

相關內容