建立 Azure 數據總管的事件中樞數據連線

發行項
10/31/2024

Azure 數據總管提供從事件中樞擷取、巨量數據串流平臺和事件擷取服務。事件中樞可以近乎即時地每秒處理數百萬個事件。

在本文中，您會連線到事件中樞，並將數據內嵌至 Azure 數據總管。如需從事件中樞擷取的概觀，請參閱 Azure 事件中樞數據連線。

若要瞭解如何使用 Kusto SDK 建立連線，請參閱使用 SDK 建立事件中樞數據連線。

如需以舊版 SDK 為基礎的程式代碼範例，請參閱封存一文。

建立事件中樞數據連線

在本節中，您會建立事件中樞與 Azure 數據總管數據表之間的連線。只要此連線已就緒，數據就會從事件中樞傳輸至目標數據表。如果事件中樞移至不同的資源或訂用帳戶，您必須更新或重新建立連線。

必要條件

Microsoft帳戶或Microsoft Entra 使用者身分識別。不需要 Azure 訂用帳戶。
Azure 資料總管叢集和資料庫。建立叢集和資料庫。
串流擷取必須在 Azure 數據總管叢集上設定。

取得資料

從左側功能表中，選取 [ 查詢]。
以滑鼠右鍵按下您要內嵌數據的資料庫。選取取得資料。

來源

在取得資料視窗中，已選取來源索引標籤。

從可用清單選取資料來源。在此範例中，您會從事件中樞擷取資料。

設定

選取目標資料庫和數據表。如果您想要將資料擷取到新的資料表，請選取 + 新增資料表，然後輸入資料表名稱。

注意

資料表名稱最多可包含 1024 個字元，包括空白、字母數字、連字號與底線。但不支援特殊字元。

填寫下列欄位：

設定	欄位描述
訂用帳戶	事件中樞資源所在的訂用帳戶標識碼。
事件中樞命名空間	識別命名空間的名稱。
事件中樞	您想要的事件中樞
取用者群組	事件中定義的取用者群組
資料連線名稱	識別數據連線的名稱。
進階篩選
壓縮	事件中樞訊息承載的壓縮類型。
事件系統屬性	事件中樞系統屬性。如果每個事件訊息有多個記錄，會將系統屬性新增至第一個記錄。新增系統屬性時，請建立或更新數據表架構，並對應以包含選取的屬性。
事件擷取開始日期	數據聯機會擷取事件擷取開始日期之後建立的現有事件中樞事件。只能擷取事件中樞保留期間所保留的事件。如果未指定事件擷取開始日期，則默認時間是建立數據連線的時間。

選取下一個

檢查

檢查索引標籤隨即開啟，其中包含資料的預覽。

若要完成擷取程序，請選取完成。

或者：

如果您在預覽視窗中看到的資料不完整，可能需要更多資料來建立具有所有必要資料欄位的資料表。使用下列命令從事件中樞擷取新資料：
- 捨棄並擷取新數據：捨棄呈現的數據，並搜尋新事件。
- 擷取更多資料：除了已找到的事件之外，還搜尋更多事件。
  
  注意
  
  若要查看數據的預覽，事件中樞必須傳送事件。
選取命令檢視器以檢視和複製從輸入產生的自動命令。
使用結構描述定義檔案下拉式清單來變更結構描述所匯出的檔案。
從下拉式清單中選取所需的格式，變更自動推斷的資料格式。請參閱 Azure 資料總管支持的數據格式以擷取。
編輯資料行。
探索基於資料類型的進階選項。

編輯資料行

注意

針對表格式格式 (CSV、TSV、PSV)，您無法對應資料行兩次。若要對應至現有的資料行，請先刪除新資料行。
您無法變更現有的資料行類型。如果您嘗試對應到具有不同格式的資料行，最終可能會出現空資料行。

您可以在資料表中進行的變更取決於下列參數：

資料表類型是新的或現有的
對應類型是新的或現有的

資料表類型	對應類型	可用的調整
新增資料表	新的對應	重新命名資料行、變更資料類型、變更資料來源、對應轉換、新增資料行、刪除資料行
現有的資料表	新的對應	新增資料行 (然後您可以在其中變更資料類型、重新命名和更新)
現有的資料表	現有的對應	none

對應變換

某些資料格式對應 (Parquet、JSON 和 Avro) 支援簡單的擷取時間轉換。若要套用對應轉換，請在編輯資料行視窗中建立或更新資料行。

對應變換可以在 string 或 datetime 類型的資料行上執行，而來源具有資料類型 int 或 long。支援的對應轉換如下：

DateTimeFromUnixSeconds
DateTimeFromUnixMilliseconds
DateTimeFromUnixMicroseconds
DateTimeFromUnixNanoseconds

基於資料類型的進階選項

表格式 (CSV、TSV、PSV)：

如果您要內嵌現有資料表中的表格式格式，您可以選取 [進階>保留目前數據表架構]。 資料表式資料不一定包含用來將來源資料對應至現有資料行的資料行名稱。勾選此選項時，會按順序進行對應，資料表結構描述保持不變。如果未勾選此選項，無論資料結構如何，都會為傳入資料建立新資料行。
若要使用第一列作為資料行名稱，請選取進階>以第一列作為資料行標題。

JSON：

若要確定 JSON 資料的資料行劃分，請選取進階>巢狀層級，從 1 到 100。
如果您選取 [進階>忽略數據格式錯誤]，則會以 JSON 格式擷取數據。如果未選取此核取方塊，則會以 multijson 格式擷取資料。

摘要

在資料準備視窗中，當資料擷取成功完成時，會以綠色核取記號標記所有三個步驟。您可以檢視用於每個步驟的命令，或選取卡片來查詢、可視化或卸除內嵌的數據。

必要條件

Azure 訂用帳戶。建立免費的 Azure 帳戶。
Azure 資料總管叢集和資料庫。建立叢集和資料庫。
目的地數據表。建立數據表或使用現有的數據表。
數據表的擷取對應。
具有擷取數據的事件中樞。

取得資料

在 Azure 入口網站中，移至您的叢集，然後選取 [資料庫]。然後，選取包含目標數據表的資料庫。
從左側功能表中，選取 [ 數據擷取]。然後，在頂端列中，選取 [ 新增數據連線]。

使用下列資訊填寫窗體，然後選取 [ 建立]。

設定	建議的值	欄位描述
資料連線名稱	test-hub-connection	您想要在 Azure 資料總管中建立的連接名稱。
訂用帳戶		事件中樞資源所在的訂用帳戶標識碼。
事件中樞命名空間	唯一的命名空間名稱	您稍早選擇用來識別命名空間的名稱。
事件中樞	test-hub	您建立的事件中樞。
取用者群組	test-group	在您建立的事件中樞內定義的取用者群組。
事件系統屬性	選取相關的屬性	事件中樞系統屬性。如果每個事件訊息有多個記錄，系統會將系統屬性新增至第一筆記錄。新增系統屬性時，請建立或更新數據表架構，並對應以包含選取的屬性。
壓縮	None	事件中樞訊息承載的壓縮類型。支援的壓縮類型： None、gzip。
受控識別 (建議)	系統指派	數據總管叢集用來存取從事件中樞讀取的受控識別。建議您使用受控識別來控制事件中樞的存取權。注意：建立資料連線時： * 如果系統指派的身分識別不存在，系統指派的身分識別會自動建立 * 受控識別會自動指派 Azure 事件中樞數據接收者角色，並新增至數據總管叢集。建議您確認已指派角色，並將身分識別新增至叢集。

注意

如果您有未使用受控識別的現有數據連線，建議您將其更新為使用受控識別。

必要條件

Azure 訂用帳戶。建立免費的 Azure 帳戶。
Azure 資料總管叢集和資料庫。建立叢集和資料庫。
目的地數據表。建立數據表或使用現有的數據表。
數據表的擷取對應。
具有擷取數據的事件中樞。

取得資料

在 Azure 入口網站中，流覽至您的事件中樞實例。
在 [ 功能] 側邊功能表下，選取 [ 使用 Kusto 分析數據]。
選取 [ 開始 ] 以開啟 [擷取精靈] 至 [Azure 數據總管]。
注意
- 您至少必須具有資料庫用戶許可權。
- 若要啟用叢集與沒有公用存取權的記憶體帳戶之間的存取，請參閱建立受控私人端點。
- 叢集和事件中樞應該與相同的租用戶相關聯。如果沒有，請使用其中一個 SDK 選項，例如 C# 或 Python。
[ 內嵌數據 ] 側邊窗格隨即開啟，並已選取 [ 目的地] 索引標籤 。從下拉式清單中選取 [ 叢集 ] 和 [資料庫] 欄位。請確定您選取正在執行的叢集。否則，您將無法選取 [資料庫]，並繼續進行擷取程式。
在 [數據表] 底下，選取 [新增數據表]，然後輸入新數據表的名稱。或者，使用 現有的數據表。
選取 [下一步：來源]。
在 [來源類型] 底下，事件中樞類型和詳細數據會根據您啟動的事件中樞實例自動填入。

在 [數據連線] 底下，填入下列字段，然後選取 [下一步：架構]。

設定	建議的值	欄位描述
訂用帳戶		事件中樞資源所在的訂用帳戶標識碼。
事件中樞命名空間		識別命名空間的名稱。
事件中樞		您想要使用的事件中樞。
資料連線名稱	TestDataConnection	識別數據連線的名稱。
取用者群組		事件中樞中定義的取用者群組。
壓縮		事件中樞訊息承載的壓縮類型。
事件系統屬性	選取相關的屬性	事件中樞系統屬性。如果每個事件訊息有多個記錄，會將系統屬性新增至第一個記錄。新增系統屬性時，請建立或更新數據表架構，並對應以包含選取的屬性。
事件擷取開始日期	國際標準時間（UTC）	數據聯機會擷取事件擷取開始日期之後建立的現有事件中樞事件。只能擷取事件中樞保留期間所保留的事件。如果未指定事件擷取開始日期，則默認時間是建立數據連線的時間。

如果叢集已啟用串流，您可以選取 [串流擷取]。如果叢集未啟用串流，請設定 數據批處理延遲。針對事件中樞，建議的批處理時間為 30秒。
選取 [ 數據格式]。若為 CSV 格式的數據， 請忽略第一筆記錄 以忽略檔案的標題數據列。針對 JSON 格式的數據，選取 [ 忽略數據格式錯誤 ] 以擷取 JSON 格式的數據，或將未選取為以 multijson 格式擷取數據。選取巢 狀層級 以判斷數據表數據行數據分割。
如果您在預覽視窗中看到的資料不完整，可能需要更多資料來建立具有所有必要資料欄位的資料表。使用下列命令從事件中樞擷取新資料：
- 丟棄並擷取新資料：丟棄顯示的資料並搜尋新事件。
- 擷取更多資料：除了已找到的事件之外，還搜尋更多事件。
注意

若要查看數據的預覽，事件中樞必須傳送事件。
選取 [下一步：摘要]。
在 [ 事件中樞已建立 的連續擷取] 視窗中，當建立成功完成時，所有步驟都會標示為綠色複選標記。

必要條件

Azure 訂用帳戶。建立免費的 Azure 帳戶。
Azure 資料總管叢集和資料庫。建立叢集和資料庫。
目的地數據表。建立數據表或使用現有的數據表。
數據表的擷取對應。
具有擷取數據的事件中樞。

ARM 範本

下列範例示範用於新增事件中樞數據連線的 Azure Resource Manager 範本。您可以使用表單，在 Azure 入口網站中編輯和部署範本。

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

透過 Azure 入口網站移除數據連線，如入口網站索引標籤中所述。

檢查事件中樞範例訊息應用程式的連線
查詢 Web UI 中的數據

共用方式為

建立 Azure 數據總管的事件中樞數據連線

建立事件中樞數據連線

必要條件

取得資料

來源

設定

檢查

編輯資料行

對應變換

基於資料類型的進階選項

摘要

必要條件

取得資料

必要條件

取得資料

必要條件

ARM 範本

拿掉事件中樞數據連線

意見反應

其他資源

共用方式為

建立 Azure 數據總管的事件中樞數據連線

建立事件中樞數據連線

必要條件

取得資料

來源

設定

檢查

編輯資料行

對應變換

基於資料類型的進階選項

摘要

拿掉事件中樞數據連線

相關內容

意見反應

其他資源