Центры событий Azure — платформа потоковой передачи больших данных и служба приема событий.

Центры событий — это современная платформа потоковой передачи больших данных и служба приема событий, которая может легко интегрироваться с другими службами Azure и Майкрософт, такими как Stream Analytics, Power BI и Сетка событий, а также с внешними службами, такими как Apache Spark. Служба может обрабатывать миллионы событий в секунду с низкой задержкой. Данные, отправляемые в концентратор событий (экземпляр Центров событий), можно преобразовать и сохранить с помощью любых поставщиков аналитики в режиме реального времени, а также адаптеров пакетной обработки или хранилища.

Каковы преимущества Центров событий?

Данные представляют ценность только тогда, когда имеется простой способ их обработки и своевременного получения информации из источников. Центры событий предоставляют платформу обработки потока распределения, которая обеспечивает низкую задержку и эффективную интеграцию со службами обработки данных и аналитики на платформе Azure и вне ее, что позволяет создавать полнофункциональный конвейер больших данных.

Центры событий в архитектуре решения — это аналог парадного входа для конвейера событий. Иными словами, это приемник событий. Приемник событий — это компонент или служба, располагающиеся между источниками событий и адресатами событий и отделяющие создание потока событий от использования этих событий. Центры событий предоставляют унифицированную платформу потоковой передачи с буфером удержания времени, что позволяет отделить поставщиков событий от их потребителей.

В следующих разделах описаны основные возможности службы "Центры событий Azure".

Полностью управляемая архитектура PaaS

Центры событий — это полностью управляемая платформа как услуга (PaaS), не требующая значительных затрат усилий на конфигурацию и управление, что позволяет вам сосредоточиться на работе со своими решениями для бизнеса. Центры событий для экосистем Apache Kafka позволяют использовать возможности архитектуры PaaS Kafka, не тратя время и силы на настройку, эксплуатацию кластеров и управление ими.

Поддержка обработки в режиме реального времени и пакетной обработки

Возможность приема, буферизации, сохранения и обработки потоковых данных в реальном времени для получения ценной практической информации. В Центрах событий используется секционированная модель потребителей, благодаря чему поток может обрабатываться одновременно несколькими приложениями с устанавливаемой вами скоростью. Центры событий Azure также интегрированы с функциями Azure, образуя бессерверную архитектуру.

Сбор данных о событиях

Собирайте данные в близком к реальному времени режиме в Хранилище BLOB-объектов Azure или Azure Data Lake Storage для долгосрочного хранения или микропакетной обработки. Вы можете добиться этого поведения в том же потоке, который используется для получения аналитических данных в реальном времени. Настройка сбора данных события выполняется быстро. Для запуска процедуры сбора данных не требуются административные затраты, а он сам автоматически масштабируется с помощью единиц пропускной способности или единиц обработки центров событий. Центры событий позволяют вам сосредоточиться на обработке данных, а не на их сборе.

масштабируемость,

Вы можете начать работу с Центрами событий с потоков размером в несколько мегабайт и при необходимости увеличить их объем до нескольких гигабайт или терабайт. Функция автозаполнения является одной из многих опций, доступных для масштабирования количества единиц пропускной способности или единиц обработки в соответствии с вашими потребностями использования.

Обширная экосистема

Благодаря обширной экосистеме, доступной для стандартного отраслевого протокола AMQP 1.0, и пакетов SDK, доступных на разных языках: .NET, Java, Python, JavaScript, вы можете легко начать обработку потоков из Центров событий. Все поддерживаемые языки клиентов реализуют низкоуровневую интеграцию. Экосистема также обеспечивает тесную интеграцию со службами Azure (Azure Stream Analytics и Функции Azure), что позволяет создавать бессерверную архитектуру.

Центры событий для Apache Kafka

Центры событий для экосистем Apache Kafka также позволяют клиентам и приложениям Apache Kafka (версии 1.0 и более поздних) работать со службой "Центры событий". У вас нет необходимости устанавливать, настраивать и управлять собственными кластерами Kafka и Zookeeper или использовать некоторые предложения Kafka-as-a-Service, не относящиеся к Azure.

Центры событий ценовой категории «Премиум» и выделенные центры

Центры событий premium удовлетворяют потребности потоковой передачи высокого уровня, требующие высочайшей производительности, лучшей изоляции с предсказуемой задержкой и минимальным вмешательством в управляемую многопользовательскую среду PaaS. Помимо всех функций стандартного предложения, премиум-уровень предлагает несколько дополнительных функций, таких как динамическое масштабирование разделов, расширенное хранение и ключи, управляемые клиентом. Для получения дополнительной информации см. Центры событий ценовой категории «Премиум».

Центры событий выделенного уровня предлагают однопользовательские развертывания для клиентов с наиболее высокими требованиями к потоковой передаче. Для однотенантных предложений предусмотрено Соглашение об уровне обслуживания на уровне 99,99 %, доступное только для ценовой категории "Выделенный". Кластер Центров событий может принимать миллионы событий в секунду с гарантированной емкостью и задержкой менее секунды. Пространства имен и центры событий, созданные в выделенном кластере, включают в себя все функции премиум-предложения и многое другое. Для получения дополнительной информации см. Выделенные центры событий.

Дополнительные сведения см. в разделе Сравнение уровней Центров событий.

Центры событий в Azure Stack Hub

Служба Центров событий в Azure Stack Hub позволяет реализовать гибридные облачные сценарии. Потоковая передача и решения на основе событий поддерживаются как для локальной, так и для облачной обработки Azure. Ваше решение может поддерживать обработку событий и потоков в больших масштабах независимо от того, является ли ваш сценарий гибридным (подключенным) или отключенным. Ваш сценарий ограничен только размером кластера Центров событий, который можно подготовить в соответствии со своими требованиями.

Выпуски Центров событий (в Azure Stack Hub и Azure) предоставляют высокий уровень равенства функций. Такое равенство означает, что пакеты SDK, выборки, PowerShell, CLI и порталы предоставляют аналогичные возможности, за исключением некоторых отличий.

Дополнительные сведения см. в статье Общие сведения о Центрах событий в Azure Stack Hub.

Основные компоненты архитектуры

Центры событий содержат следующие ключевые компоненты.

Компонент Описание
Производители событий любые сущности, которые отправляют данные в концентратор событий. Издатели событий могут публиковать события с помощью ПРОТОКОЛА HTTPS, AMQP 1.0 или Apache Kafka (1.0 и более поздних версий).
Секции Каждый потребитель считывает только определенное подмножество или секцию потока сообщений.
Группы потребителей представление всего концентратора событий (состояние, позиция или смещение). Группы получателей событий позволяют каждому из получающих события приложений иметь отдельное представление потока события. Они считывают поток независимо друг от друга в своем темпе и со смещениями.
приемники событий; любые сущности, считывающие данные из концентратора событий. Все потребители Центров событий подключаются через сеанс AMQP 1.0. Служба "Центры событий" доставляет события через сеанс по мере их появления. Все объекты-получатели Kafka подключаются через протокол Kafka 1.0 и более поздней версии.
Единицы пропускной способности (уровень "Стандартный") или единицы обработки (уровень "Премиум") или единицы емкости (выделенные) заранее приобретаемые единицы, определяющие пропускную способность Центров событий.

На следующем рисунке показана архитектура потоковой обработки Центров событий: Центры событий

Примечание

Дополнительные сведения см. в разделе Функции или компоненты Центров событий.

Дальнейшие действия

Чтобы приступить к работе с Центрами событий Azure, см. следующие руководства по отправке и приему событий:

Чтобы узнать больше о Центрах событий, обратитесь к следующим статьям: