共用方式為

Azure 事件中樞：具有原生 Apache Kafka 支援的實時數據流平臺

  • 發行項

Azure 事件中樞 是雲端中的原生數據串流服務，每秒可串流數百萬個事件，且延遲低，從任何來源到任何目的地。 事件中樞與 Apache Kafka 相容。 它可讓您執行現有的 Kafka 工作負載，而不需要變更任何程式代碼。

企業可以使用事件中樞來內嵌和儲存串流數據。 藉由使用串流數據，企業可以取得寶貴的見解、推動即時分析，並在事件發生時回應事件。 他們可以使用此數據來增強其整體效率和客戶體驗。

此圖顯示 Azure 事件中樞 如何配合事件串流平臺。

事件中樞是您建置在 Azure 之上的任何事件串流解決方案的慣用事件擷取層。 它會與 Azure 內外的數據和分析服務整合，以建置完整的資料流管線，以提供下列使用案例：

主要功能

瞭解下列各節中 Azure 事件中樞 的主要功能。

Azure 事件中樞上的 Apache Kafka

事件中樞是多通訊協定事件串流引擎，原生支援進階消息佇列通訊協定 （AMQP）、Apache Kafka 和 HTTPS 通訊協定。 因為它支援 Apache Kafka，所以您可以將 Kafka 工作負載帶入事件中樞，而不需要進行任何程式代碼變更。 您不需要設定、設定或管理自己的 Kafka 叢集，或使用非 Azure 原生的 Kafka 即服務供應專案。

事件中樞會建置為雲端原生訊息代理程序引擎。 基於這個理由，您可以執行 Kafka 工作負載，其效能更好、成本效益更高，而且沒有作業額外負荷。

如需詳細資訊，請參閱適用於 Apache Kafka 的 Azure 事件中樞。

事件中樞的架構登錄

事件中樞的 Azure 架構登錄提供集中式存放庫來管理事件串流應用程式的架構。 架構登錄隨附於每個事件中樞命名空間。 它會與您的 Kafka 應用程式或事件中樞 SDK 型應用程式整合。

顯示架構登錄和事件中樞整合的圖表。

架構登錄可確保事件產生者和取用者之間的數據相容性和一致性。 它可啟用架構演進、驗證和治理，並提升有效率的數據交換和互操作性。

架構登錄會與現有的 Kafka 應用程式整合，並支援多種架構格式，包括 Avro 和 JSON 架構。

如需詳細資訊，請參閱事件中樞中的 Azure 結構描述登錄。

使用串流分析即時處理串流事件

事件中樞會與 Azure 串流分析整合，以啟用即時串流處理。 使用內建的無程式代碼編輯器，您可以使用拖放功能來開發串流分析作業，而不需要撰寫任何程序代碼。

顯示 [處理數據] 頁面的螢幕快照，其中包含 [啟用事件中的即時深入解析] 圖格。

或者，開發人員可以使用以 SQL 為基礎的串流分析查詢語言來執行即時串流處理，並利用各種函式來分析串流資料。

如需詳細資訊，請參閱目錄 Azure 串流分析整合一節中的文章。

使用 Azure 數據總管探索串流數據

Azure 資料總管是完全受控的巨量資料分析平台，可提供高效能，並允許近乎即時的大量資料分析。 藉由整合事件中樞與 Azure 數據總管，您可以對串流數據執行近乎即時的分析與探索。

顯示 Azure 資料總管查詢和輸出的圖表。

如需詳細資訊，請參閱 將數據從事件中樞內嵌至 Azure 數據總管。

Azure 函式、SDK 和 Kafka 生態系統

使用事件中樞，您可以即時擷取、緩衝、儲存及處理串流，以取得可採取動作的深入解析。 事件中樞會使用分割取用者模型。 它可讓多個應用程式同時處理數據流，並可讓您控制處理速度。 事件中樞也會與適用於無伺服器架構的 Azure Functions 整合。

廣泛的生態系統適用於業界標準的AMQP 1.0通訊協定。 SDK 以 .NET、Java、Python 和 JavaScript 等語言提供，因此您可以從事件中樞開始處理串流。 所有支援的用戶端語言皆提供低階整合。

生態系統也可讓您與 Azure Functions、Azure Spring Apps、Kafka 連接器和其他數據分析平臺和技術整合，例如 Apache Spark 和 Apache Flink。

彈性且符合成本效益的事件串流

您可以透過事件中樞的標準、進階或專用層，體驗彈性且符合成本效益的事件串流。 這些選項符合數據串流需求，範圍從幾 MB/秒到數 GB/秒。您可以選擇適合您需求的相符專案。

可調整

使用事件中樞，您可以從以 MB 為單位的數據流開始，並將它成長為 GB 或 TB。 自動 擴充 功能是其中一個選項，可用來調整輸送量單位或處理單位的數目，以符合您的使用量需求。

支援串流大型訊息

在大部分的串流案例中，數據的特點是輕量型、通常小於 1 MB，且輸送量很高。 也有一個實例，訊息無法分割成較小的區段。 事件中樞可以容納最多 20 MB 的事件，並免費提供自助式可調整的 專用叢集 。 這項功能可讓事件中樞處理各種訊息大小，以確保不間斷的業務作業。 如需詳細資訊，請參閱使用 Azure 事件中樞 傳送和接收大型訊息。

擷取串流數據以進行長期保留和批次分析

在 Azure Blob 儲存體 或 Azure Data Lake Storage 中近乎即時地擷取您的數據，以進行長期保留或微批處理。 您可以在用於衍生即時分析的相同數據流上達成此行為。 擷取事件資料的作業很快就能設定完成。

此圖顯示使用受控識別將事件中樞數據擷取到 Azure 儲存體 或 Azure Data Lake Storage。

運作方式

事件中樞提供統一的事件串流平臺與時間保留緩衝區，將事件產生者與事件取用者分離。 生產者和取用者應用程式可以透過多個通訊協定執行大規模數據擷取。

下圖顯示事件中樞架構的主要元件。

顯示事件中樞主要元件的圖表。

事件中樞的主要功能元件包括：

  • 產生者應用程式：這些應用程式可以使用事件中樞 SDK 或任何 Kafka 產生者用戶端，將數據內嵌至事件中樞。
  • 命名空間：一或多個事件中樞或 Kafka 主題的管理容器。 在命名空間層級處理配置串流容量、設定網路安全性及啟用異地災害復原等管理工作。
  • 事件中樞/Kafka 主題：在事件中樞中，您可以將事件組織成事件中樞或 Kafka 主題。 這是僅附加分散式記錄檔，可組成一或多個分割區。
  • 分割區：用來調整事件中樞。 他們就像高速公路上的車道。 如果您需要更多串流輸送量，您可以新增更多分割區。
  • 取用者應用程式：這些應用程式可以透過事件記錄檔搜尋並維護取用者位移來取用數據。 取用者可以是 Kafka 取用者用戶端或事件中樞 SDK 用戶端。
  • 取用者群組：此取用者實例的邏輯群組會從事件中樞或 Kafka 主題讀取數據。 其可讓多個取用者以自己的步調以及使用自己的位移，獨立讀取事件中樞中的相同串流資料。

相關內容

若要開始使用事件中樞，請參閱下列快速入門。

使用事件中樞 SDK 串串流資料 （AMQP）

您可以使用下列任何範例，使用 SDK 將數據串流至事件中樞。

使用 Apache Kafka 串流數據

您可以使用下列範例，將數據從 Kafka 應用程式串流至事件中樞。

使用結構描述登錄進行結構描述驗證

您可以使用事件中樞結構描述登錄，為您的事件串流應用程式執行結構描述驗證。