使用 Azure 串流分析整合 (預覽版) 將資料串流至 Azure SQL Database

使用者現在可以直接從 Azure SQL Database 中的資料庫內嵌、處理、檢視及分析即時串流資料到資料表中。 以上這些作業可以在使用 Azure 串流分析的 Azure 入口網站進行。 這項體驗可運用在各種不同的案例上,例如連線的汽車、遠端監視、詐騙偵測等等。 在 Azure 入口網站中,您可以選取事件來源 (事件中樞/IoT 中樞)、檢視傳入的即時事件,並選取要儲存事件的資料表。 您也可以在入口網站中撰寫 Azure 串流分析查詢語言的查詢,藉以轉換傳入的事件,並將其儲存在選取的資料表中。 這個新的進入點能夠提升在串流分析中已存在的建立和設定體驗。 這項體驗從資料庫的內容開始,讓您能夠快速設定串流分析作業,並在 Azure SQL Database 和串流分析體驗的資料庫之間順暢瀏覽。

Stream Analytics flow

主要權益

  • 最低限度的內容切換:您可以從入口網站 Azure SQL Database 中的資料庫啟動,並開始將即時資料內嵌至資料表,無須切換至任何其他服務。
  • 步驟減少:您的資料庫和資料表的內容會用來預先設定串流分析作業。
  • 使用預覽資料更輕鬆:在所選資料表內容中預覽事件來源 (事件中樞/IoT 中樞) 的傳入資料

重要

Azure 串流分析作業可以輸出至 Azure SQL Database、Azure SQL 受控執行個體或 Azure Synapse Analytics。 如需詳細資訊,請參閱輸出

Prerequisites

若要完成本文中的步驟,您需要下列資源︰

設定串流分析整合

  1. 登入 Azure 入口網站。

  2. 瀏覽至您要內嵌串流資料的資料庫。 選取 [串流分析 (預覽版)]。

    Stream Analytics

  3. 若要開始將串流資料內嵌到這個資料庫,請選取 [建立],並將名稱提供給您的串流作業,然後選取 [下一步:輸入]。

    configure Stream Analytics job basics

  4. 輸入您的事件來源詳細資料,然後選取 [下一步:輸出]。

    • 輸入類型:事件中樞/IoT 中樞

    • 輸入別名:輸入用來識別事件來源的名稱

    • 訂閱:與 Azure SQL Database 訂閱相同

    • 事件中樞命名空間:命名空間的名稱

    • 事件中樞名稱:所選命名空間內的事件中樞名稱

    • 事件中樞原則名稱 (預設為新建):提供原則名稱

    • 事件中樞取用者群組 (預設為新建):提供取用者群組名稱

      建議您為在此建立的每個新 Azure 串流分析作業,建立取用者群組和原則。 取用者群組只允許同時五個讀取器,因此,為每個作業提供專用的取用者群組,將可避免因超過該限制而產生的任何錯誤。 專用原則可讓您輪替金鑰或撤銷權限,不會影響到其他資源。

      configure Stream Analytics job output

  5. 選取您要內嵌串流資料的資料表。 完成後,請選取 [建立]。

    • 使用者名稱密碼:輸入 SQL 伺服器驗證的認證。 選取 [驗證]。

    • 資料表:選取 [新建] 或 [使用現有項目]。 在此流程中,讓我們選取 [建立]。 當您啟動串流分析作業時,這會建立新的資料表。

      create Stream Analytics job

  6. 查詢頁面隨即開啟,其中包含下列詳細資料:

    • 您將從中內嵌資料的輸入 (輸入事件來源)

    • 將已轉換的資料予以儲存的輸出 (輸出資料表)

    • 使用 SELECT 陳述式的範例 SAQL 查詢

    • 輸入預覽:顯示輸入事件來源中最新傳入資料的快照集。

      • 系統會自動偵測資料中的序列化類型 (JSON/CSV)。 您也可以手動將其變更為 JSON/CSV/AVRO。
      • 您可以預覽資料表格式或原始格式的傳入資料。
      • 如果顯示的資料不是最新的,請選取 [重新整理] 以查看最新的事件。
      • 選取 [選取時間範圍],針對傳入事件的特定時間範圍測試您的查詢。
      • 藉由上傳範例 JSON/CSV 檔案,選取 [上傳範例輸入] 測試您的查詢。 如需測試 SAQL 查詢的詳細資訊,請參閱使用樣本資料測試 Azure 串流分析作業

      test query

    • 測試結果:選取 [測試查詢],便可以看到串流查詢的結果

      test results

    • 測試結果結構描述:顯示測試後串流查詢結果的結構描述。 請確定測試結果結構描述符合您的輸出結構描述。

      test results schema

    • 輸出結構描述:這包含您在步驟 5 中選取的資料表結構描述 (新的或現有的)。

      • 新建:如果您已在步驟 5 中選取此選項,則結構描述會在串流作業啟動之後才會顯示。 建立新的資料表時,請選取適當的資料表索引。 如需資料表索引編製的詳細資訊,請參閱叢集與非叢集索引說明
      • 使用現有的:如果您在步驟 5 中選取此選項,您會看到所選資料表的結構描述。
  7. 完成製作與測試查詢之後,請選取 [儲存查詢]。 選取 [啟動串流分析作業],開始將轉換的資料內嵌到 SQL 資料表中。 完成下欄欄位之後,請啟動作業。

    • 輸出開始時間:這會定義作業第一個項目輸出的時間。

      • 現在:作業會立即啟動並處理新的傳入資料。
      • 自訂:作業現在會啟動,但會從特定時間點開始處理資料 (可能是過去或未來的時間點)。 如需詳細資訊,請參閱如何啟動 Azure 串流分析作業
    • 串流處理單位:Azure 串流分析會依據將資料處理至服務中所需的串流處理單位數計價。 如需詳細資訊,請參閱 Azure 串流分析定價

    • 輸出資料錯誤處理

      • 重試:在錯誤發生時,Azure 串流分析會無限期地重試寫入事件,直到寫入成功為止。 重試不會逾時。 最終所有後續事件都會遭到正在重試的事件封鎖,而無法處理。 此選項是預設輸出錯誤處理原則。
      • 卸除:Azure 串流分析會卸除任何導致資料轉換錯誤的輸出事件。 無法復原卸除的事件以供稍後重新處理。 無論輸出錯誤處理原則組態為何,所有暫時性錯誤 (例如網路錯誤) 都會重試。
    • SQL Database 輸出設定:可讓您繼承先前查詢步驟的資料分割配置,以便啟用資料表多個寫入器的完全平行拓撲。 如需詳細資訊,請參閱 Azure 串流分析輸出至 Azure SQL Database

    • 批次計數上限:隨每筆大量插入交易傳送的記錄數目建議上限。
      如需輸出錯誤處理的詳細資訊,請參閱在 Azure 串流分析中的輸出錯誤原則

      start job

  8. 啟動作業時,您會在清單中看到執行中的作業,並可採取下列動作:

    • 啟動/停止作業:如果作業在執行中,您可以停止作業。 如果作業已停止,您可以啟動作業。

    • 編輯作業:您可以編輯查詢。 如果您想要對作業進行更多變更,例如新增更多輸入/輸出,可以在串流分析中開啟作業。 作業正在執行時,[編輯] 選項會停用。

    • 預覽輸出資料表:您可以在 SQL 查詢編輯器中預覽資料表。

    • 在串流分析中開啟:開啟串流分析中的作業,以檢視作業的監視、偵錯詳細資料。

      stream analytics jobs

下一步