歡迎使用 Azure 串流分析
Azure 串流分析是完全受控的串流分析引擎,其設計目的為分析及處理大量串流資料,且延遲為毫秒。 您可以使用串流分析來建置串流資料管線,以識別來自各種輸入來源的資料模式和關聯性,包括應用程式、裝置、感應器、點選流和社交媒體摘要。 然後,您可以使用這些模式來觸發動作並起始工作流程,例如建立警示、將資訊提供給報告工具,或是儲存轉換資料以供之後使用。 此外,Azure IoT Edge 執行階段也提供串流分析,能夠直接從 IoT 裝置處理資料。
以下是一些您可以使用串流分析的範例案例:
- 感應器資料中的異常偵測,以偵測尖峰、下降和緩慢的正負數變化
- 車隊管理和自駕車的地理空間分析
- 高價值資產的遠端監視和預測性維護
- 點選流分析以判斷客戶行為
- 分析應用程式和 IoT 裝置的即時遙測串流和記錄
主要功能和優點
完全受控的服務
Azure 串流分析是 Azure 上完全受控的 (PaaS) 供應項目。 您不必佈建任何硬體或基礎結構、更新 OS 或軟體。 Azure 串流分析完全管理您的作業,因此您可以專注於商務邏輯,而非基礎結構。
使用方便
您可以輕鬆地開始使用 Azure 串流分析。 只需按幾下滑鼠,即可建立連線至多個來源和接收的端對端串流資料管線。
您可以建立串流分析作業,以連線至 Azure 事件中樞和 Azure IoT 中樞以進行串流資料擷取,以及 Azure Blob 儲存體或 Azure Data Lake Storage Gen2 以內嵌歷程記錄資料。 串流分析作業的輸入也可以包含來自 Azure Blob 儲存體或 SQL Database 的靜態或變更緩慢的參考資料,您可以將參考資料加入到串流資料,以執行查閱作業。 如需串流分析輸入的詳細資訊,請參閱將資料作為輸入串流處理至串流分析中。
您可以從串流分析作業將輸出路由傳送至許多儲存體系統,例如 Azure Blob 儲存體、Azure SQL Database、Azure Data Lake Store 和 Azure Cosmos DB。 您也可以使用 Azure Synapse Analytics 或 HDInsight 對資料流輸出執行批次分析,也可以將輸出傳送至另一個服務 (例如事件中樞) 以供取用,或用於即時呈現視覺效果的 Power BI。 如需串流分析輸出的完整清單,請參閱了解來自串流分析的輸出。
串流分析無程式碼編輯器提供無程式碼體驗,可讓您使用拖放功能輕鬆開發串流分析作業,而不需要撰寫任何程式碼。 其可進一步簡化串流分析作業開發體驗。 若要深入了解無程式碼編輯器,請參閱串流分析中的無程式碼串流處理。
程式設計師生產力
串流分析使用擴增的 SQL 查詢語言,搭配強大的時態性限制式即可分析移動中的資料。 您可以使用 Azure 入口網站建立串流分析作業。 您也可以使用開發人員工具建立作業,例如下列工具:
使用開發人員工具可讓您離線開發轉換查詢,並使用 CI/CD 管線將作業提交至 Azure。
串流分析查詢語言可讓您藉由提供各式各樣的函式來分析串流資料,以執行複雜事件處理 (CEP)。 此查詢語言支援簡單資料操作、彙總和分析函式、地理空間函式、模式比對及異常偵測。 您可以在入口網站中或使用開發工具來編輯查詢,然後使用從即時資料流所擷取的範例資料來測試查詢。
您可以透過定義和叫用其他函式來延伸查詢語言的功能。 您可以在 Azure Machine Learning 中定義函式呼叫以利用 Azure Machine Learning 解決方案,並整合 JavaScript 或 C# 使用者定義的函式 (UDF) 或使用者定義的彙總以在串流分析查詢中執行複雜的計算。
在雲端或在智慧邊緣執行
Azure 串流分析可以在雲端執行以進行大規模分析,或在 IoT Edge 或 Azure Stack 上執行以進行超低延遲分析。 Azure 串流分析會在雲端和智慧邊緣上使用相同的工具和查詢語言,讓開發人員能夠建置真正的混合式架構進行串流處理。
低擁有權總成本
作為雲端服務,串流分析已進行成本最佳化。 不會有預付費用 - 您只需針對您耗用的串流單位付費。 不需要承諾或佈建叢集,您可以根據業務需求相應增加或減少作業。
任務關鍵性就緒
Azure 串流分析適用於全球多個區域,其設計訴求是藉由支援可靠性、安全性和合規性需求來執行任務關鍵性工作負載。
可靠性
Azure 串流分析可保證僅只一次的事件處理,以及至少一次的事件傳遞,因此永遠不會遺失事件。 如事件傳遞保證所述,保證選取的輸出恰好處理一次。
Azure 串流分析具有可在事件傳遞失敗時進行復原的內建功能。 串流分析也會提供內建檢查點來維護作業的狀態,並提供可重複出現的結果。
Azure 串流分析支援所有作業 可用性區域。 任何新的專用叢集或新作業都會自動受益於 可用性區域,如果區域中發生災害,則不需要任何用戶動作,即可繼續順暢地執行其他區域。 可用性區域 讓客戶能夠透過服務備援和邏輯隔離來承受資料中心失敗。 這可大幅降低串流管線中斷的風險。 請注意,與 VNET 整合的 Azure 串流分析作業目前不支援 可用性區域。
串流分析為受控服務,可保證事件處理在分鐘層級細微性上有 99.9% 的可用性。
安全性
就安全性而言,Azure 串流分析會將所有傳入和傳出的通訊加密,並支援 傳輸層安全性 (TLS) 1.2。 內建的檢查點也會加密。 串流分析不會儲存傳入資料,因為所有處理都在記憶體內進行。 在串流分析叢集中執行作業時,串流分析也支援 Azure 虛擬網路。
效能
串流分析每秒可以處理數百萬個事件,並可極低延遲地傳遞結果。 這可讓您擴增以調整為您的工作負載。 串流分析藉由下列方式來支援更高的效能:進行分割,並允許在多個串流節點上平行化及執行複雜的查詢。 Azure 串流分析是以 Trill 為基礎,這是與 Microsoft Research 合作開發的高效能記憶體內部串流分析引擎。
下一步
您可以使用免費的 Azure 訂用帳戶來試用 Azure 串流分析。
您已大致了解串流分析。 接下來,您可以深入了解並建立您的第一個串流分析作業: