Центры событий Azure — платформа потоковой передачи данных в режиме реального времени с собственной поддержкой Apache Kafka
Центры событий Azure — это облачная облачная служба потоковой передачи данных, которая может передавать миллионы событий в секунду с низкой задержкой из любого источника в любое место назначения. Центры событий совместимы с Apache Kafka и позволяют запускать существующие рабочие нагрузки Kafka без каких-либо изменений кода.
Используя Центры событий для приема и хранения потоковых данных, предприятия могут использовать возможности потоковой передачи данных для получения ценных аналитических сведений, управления аналитикой в режиме реального времени и реагирования на события по мере их возникновения, повышая общую эффективность и взаимодействие с клиентами.
Центры событий Azure — это предпочтительный уровень приема событий любого решения потоковой передачи событий, построенного на основе Azure. Она легко интегрируется с службами данных и аналитики внутри и за пределами Azure для создания полного конвейера потоковой передачи данных для выполнения следующих вариантов использования.
- Аналитика в режиме реального времени с помощью Azure Stream Analytics для создания аналитических сведений в режиме реального времени из потоковых данных.
- Анализ и изучение потоковых данных с помощью Обозреватель данных Azure.
- Создайте собственные облачные приложения, функции или микрослужбы, которые выполняются при потоковой передаче данных из Центров событий.
- Потоковая передача событий с проверкой схемы с помощью встроенного реестра схем для обеспечения качества и совместимости потоковых данных.
Основные возможности
Apache Kafka на Центры событий Azure
Центры событий Azure — это подсистема потоковой передачи событий с несколькими протоколами, которая изначально поддерживает протоколы AMQP, Apache Kafka и HTTPs. Так как он поддерживает Apache Kafka, рабочие нагрузки Kafka можно Центры событий Azure без каких-либо изменений кода. Вам не нужно настраивать, настраивать и управлять собственными кластерами Kafka или использовать предложение Kafka как услуга, которое не является собственным для Azure.
Центры событий создаются с нуля в качестве собственного обработчика брокера облака. Таким образом, вы можете запускать рабочие нагрузки Kafka с более высокой производительностью, более эффективной затратами и без эксплуатационных затрат.
Дополнительные сведения см. в Центры событий Azure для Apache Kafka.
Реестр схем в Центры событий Azure
Реестр схем Azure в Центрах событий предоставляет централизованный репозиторий для управления схемами приложений потоковой передачи событий. Реестр схем Azure предоставляется бесплатно с каждым пространством имен Центров событий, и он легко интегрируется с приложениями Kafka или приложениями пакета SDK для Центров событий.
Это обеспечивает совместимость данных и согласованность между производителями событий и потребителями. Реестр схем обеспечивает бесшовную эволюцию схемы, проверку и управление, а также способствует эффективному обмену данными и взаимодействию.
Реестр схем легко интегрируется с существующими приложениями Kafka и поддерживает несколько форматов схем, включая avro и JSON Schemas.
Дополнительные сведения см. в статье Реестр схем Azure в Центрах событий.
Обработка событий потоковой передачи в режиме реального времени с помощью Azure Stream Analytics
Центры событий легко интегрируются с Azure Stream Analytics, чтобы обеспечить потоковую обработку в режиме реального времени. С помощью встроенного редактора без кода можно легко разрабатывать задание Stream Analytics с помощью функции перетаскивания без написания кода.
Кроме того, разработчики могут использовать язык запросов Stream Analytics на основе SQL, чтобы выполнять обработку потоков в режиме реального времени и использовать широкий спектр функций для анализа потоковых данных.
Дополнительные сведения см. в статьях в разделе интеграции Azure Stream Analytics с оглавлением.
Изучение потоковых данных с помощью Обозреватель данных Azure
Azure Data Обозреватель — это полностью управляемая платформа для аналитики больших данных, которая обеспечивает высокую производительность и позволяет анализировать большие объемы данных практически в реальном времени. Интеграция Центров событий с Обозреватель данных Azure позволяет легко выполнять аналитику и просмотр потоковых данных в режиме реального времени.
Дополнительные сведения см. в разделе "Прием данных" из концентратора событий в azure Data Обозреватель и статьях в том же разделе.
Богатая экосистема— функции Azure, пакеты SDK и экосистема Kafka
Возможность приема, буферизации, сохранения и обработки потоковых данных в реальном времени для получения ценной практической информации. В Центрах событий используется секционированная модель потребителей, благодаря чему поток может обрабатываться одновременно несколькими приложениями с устанавливаемой вами скоростью. Центры событий Azure также интегрируется с Функции Azure для бессерверных архитектур.
Благодаря широкой экосистеме, доступной для стандартного протокола AMQP 1.0 и пакетов SDK, доступных на различных языках: .NET, Java, Python, JavaScript, вы можете легко начать обработку потоков из Центров событий. Все поддерживаемые языки клиентов реализуют низкоуровневую интеграцию.
Экосистема также обеспечивает простую интеграцию Функции Azure, Azure Spring Apps, kafka Подключение or и другие платформы аналитики данных и технологии, такие как Apache Spark и Apache Flink.
Гибкая и эффективная потоковая передача событий
Вы можете выполнять гибкую и экономичность потоковой передачи событий через разнообразный выбор уровней Центров событий, включая категории "Стандартный", "Премиум" и "Выделенный". Эти параметры подходят для потоковой передачи данных в диапазоне от нескольких МБ/с до нескольких ГБ/с, что позволяет выбрать идеальное соответствие вашим требованиям.
Масштабируемость
Вы можете начать работу с Центрами событий с потоков размером в несколько мегабайт и при необходимости увеличить их объем до нескольких гигабайт или терабайт. Функция автоматического раздувания — это один из многих вариантов, доступных для масштабирования количества единиц пропускной способности или единиц обработки в соответствии с потребностями использования.
Сбор потоковых данных для долгосрочного хранения и пакетной аналитики
Собирайте данные в близком к реальному времени режиме в Хранилище BLOB-объектов Azure или Azure Data Lake Storage для долгосрочного хранения или микропакетной обработки. Вы можете добиться этого поведения в том же потоке, который используется для получения аналитических данных в реальном времени. Настройка сбора данных события выполняется быстро.
Как это работает
Центры событий предоставляют единую платформу потоковой передачи событий с буфером хранения времени, отделяя производителей событий от потребителей событий. Производители и потребительские приложения могут выполнять прием данных большого масштаба с помощью нескольких протоколов.
На следующем рисунке показаны ключевые компоненты архитектуры Центров событий:
К ключевым функциональным компонентам Центров событий относятся:
- Приложения-производители могут получать данные в концентратор событий с помощью пакетов SDK для Центров событий или любого клиента производителя Kafka.
- Пространство имен — это контейнер управления для одного или нескольких центров событий или разделов Kafka. Задачи управления, такие как выделение емкости потоковой передачи, настройка сетевой безопасности, включение геоизбыточное аварийное восстановление и т. д. обрабатываются на уровне пространства имен.
- Раздел Концентратора событий или Kafka: в Центрах событий можно упорядочить события в концентратор событий или раздел Kafka. Это только распределенный журнал, который может состоять из одной или нескольких секций.
- Секции используются для масштабирования концентратора событий. Они похожи на полосы в автостраде. Если требуется дополнительная пропускная способность потоковой передачи, необходимо добавить дополнительные секции.
- Приложения-потребители используют данные путем поиска по журналу событий и поддержанию смещения потребителей. Потребители могут быть клиентами потребителей Kafka или клиентами пакета SDK Центров событий.
- Группа потребителей — это логическая группа экземпляров потребителей, которая считывает данные из раздела концентратора событий или Kafka. Это позволяет нескольким потребителям считывать одни и те же потоковые данные в концентраторе событий независимо по своему темпу и с собственными смещениями.
Следующие шаги
Чтобы приступить к работе с Центрами событий, ознакомьтесь со следующими краткими руководствами по началу работы.
Потоковая передача данных с помощью пакета SDK центров событий (AMQP)
Вы можете использовать любой из следующих примеров для потоковой передачи данных в Центры событий с помощью пакетов SDK.
Потоковая передача данных с помощью Apache Kafka
Для потоковой передачи данных из приложений Kafka в Центры событий можно использовать следующие примеры.
Проверка схемы с помощью реестра схем
Реестр схем Центров событий можно использовать для проверки схемы для приложений потоковой передачи событий.