Руководство разработчика Apache Kafka для Центров событий Azure
В этой статье приведены ссылки на статьи, в которых описано, как интегрировать приложения Apache Kafka с центрами событий Azure.
Обзор
Центры событий предоставляют конечную точку Kafka, которую существующие приложения на основе Kafka могут использовать в качестве альтернативы запуска собственного кластера Kafka. Центры событий работают со многими из ваших существующих приложений Kafka. Дополнительные сведения см. в разделе Центры событий для Apache Kafka.
Краткие руководства
Вы можете найти краткие руководства на сайте GitHub и в этом сборнике. Они помогут быстро освоить использование центров событий для Kafka.
Краткие руководства в GitHub
См. следующие краткие руководства в репозитории azure-event-hubs-for-kafka:
| Язык или платформа клиента | Описание |
|---|---|
| .NET | В этом кратком руководстве показано, как создать и подключиться к конечной точке Kafka в центрах событий с помощью примера, где модуль-создатель и объект-получатель написаны на C# с помощью .NET Core 2.0. Этот пример основан на клиенте .NET Apache Kafka от компании Confluent, измененном для использования с центрами событий для Kafka. |
| Java | В этом кратком руководстве показано, как создать и подключиться к конечной точке Kafka в центрах событий с помощью примера, где модуль-создатель и объект-получатель написаны на Java. |
| Node.js | В этом кратком руководстве показано, как создать и подключиться к конечной точке Kafka в центрах событий с помощью примера, где модуль-создатель и объект-получатель написаны на Node. В этом примере используется библиотека node-rdkafka. |
| Python | В этом кратком руководстве показано, как создать и подключиться к конечной точке Kafka в центрах событий с помощью примера, где модуль-создатель и объект-получатель написаны на Python. Этот пример основан на клиенте Apache Kafka для Python от компании Confluent, измененном для использования с центрами событий для Kafka. |
| GO | В этом кратком руководстве показано, как создать и подключиться к конечной точке Kafka в центрах событий с помощью примера, где модуль-создатель и объект-получатель написаны на Go. Этот пример основан на клиенте Apache Kafka для Golang от компании Confluent, измененном для использования с центрами событий для Kafka. |
| Sarama kafka для Go | В этом кратком руководстве показано, как создать и подключиться к конечной точке Kafka в центрах событий с помощью примера, где модуль-создатель и объект-получатель написаны на Go с помощью библиотеки клиента Sarama Kafka. |
| Kafka | В этом кратком руководстве показано, как создать и подключиться к конечной точке Kafka для центров событий с помощью интерфейса командной строки, который входит в состав дистрибутива Apache Kafka. |
| Kafkacat | kafkacat — это модуль-производитель и объект получатель, не предназначенные для виртуальных машин Java. Они основаны на библиотеке librdkafka, которая популярна из-за скорости и небольшого объема памяти. Это краткое руководство содержит образец конфигурации и несколько простых примеров команд для kafkacat. |
Краткие руководства в разделе документации
Пошаговые инструкции в кратком руководстве Потоковая передача данных с центрами событий с помощью протокола Kafka в этом сборнике помогут вам разобраться в том, как произвести потоковую передачу в Центры событий. Вы узнаете, как обеспечить взаимодействие отправителей и объектов-получателей с Центрами событий, изменив конфигурацию в приложениях.
Учебники
Учебники на GitHub
Ознакомьтесь со следующими учебниками на GitHub:
| Учебник | Описание |
|---|---|
| Akka | В этом учебнике показано, как выполнять подключение Akka Streams к центрам событий с поддержкой Kafka без необходимости менять клиенты протоколов или запускать собственные кластеры. Существует два отдельных учебника, использующих языки программирования Java и Scala. |
| Подключить | В этом руководстве описана интеграция Kafka Connect с Центрами событий Azure и развертывание соединителей FileStreamSource и FileStreamSink. Хотя эти соединители не предназначены для использования в рабочей среде, они наглядно показывают комплексный сценарий Kafka Connect, в котором Центры событий Azure действуют в качестве брокера Kafka. |
| Filebeat | В этом документе приводится пошаговое руководство по интеграции Filebeat и Центров событий с помощью выходных данных из Filebeat в Kafka. |
| Flink | В этом учебнике показано, как выполнять подключение Apache Flink к Центрам событий с поддержкой Kafka без необходимости менять клиенты протоколов или запускать собственные кластеры. |
| FluentD | В этом документе приводится пошаговое руководство по интеграции Центров событий с Fluentd с использованием выходного модуля out_kafka для Fluentd. |
| Interop | В этом учебнике показано, как обмениваться событиями между модулями-производителями и получателями с помощью разных протоколов. |
| Logstash. | В этом учебнике описано, как интегрировать Logstash с центрами событий с поддержкой Kafka с помощью модулей ввода и модулей вывода Logstash Kafka. |
| MirrorMaker | В этом учебнике показано, каким образом центр событий с поддержкой Kafka и средство Kafka MirrorMaker могут интегрировать существующий конвейер Kafka в Azure путем зеркального перевода входного потока Kafka в службу Центров событий. |
| NiFi | В этом учебнике показано, как подключить Apache NiFi к пространству имен Центров событий. |
| OAuth | В этом кратком руководстве показано, как создать и подключиться к конечной точке Kafka в центрах событий с помощью примера, где модуль-создатель и объект-получатель написаны на языках Go и Java. |
| Реестр схем компании Confluent | Из этого руководства вы узнаете, как интегрировать реестр схемы и центры событий для Kafka. |
| Spark | В этом учебнике показано, как подключить приложение Spark к центру событий, не изменяя клиенты протокола или не запуская собственные кластеры Kafka. |
Учебники в разделе документации
Мы также рекомендуем ознакомиться с учебником по обработке Apache Kafka для событий в Центрах событий с помощью Stream Analytics из этого сборника. В нем показано, как выполнять потоковую передачу данных в центры событий и обрабатывать их с помощью Azure Stream Analytics.
Практические руководства
Ознакомьтесь со следующими руководствами в нашей документации.
| Статья | Описание |
|---|---|
| Зеркальное отображение брокера Kafka в концентраторе событий | В этом учебнике показано, как выполнить зеркальное отображение брокера Kafka в Центре событий Azure с помощью Kafka MirrorMaker. |
| Подключение Apache Spark к концентратору событий | В этом руководстве описывается, как подключить приложение Spark к Центрам событий для потоковой передачи в режиме реального времени. |
| Подключение Apache Flink к концентратору событий | В этом учебнике показано, как подключить Apache Flink к концентратору событий без изменения клиентов протокола или запуска собственных кластеров. |
| Интеграция Apache Kafka Connect с центром событий (предварительная версия) | В этом руководстве описана интеграция Kafka Connect с центром событий и развертывание соединителей FileStreamSource и FileStreamSink. |
| Подключение Akka Streams к концентратору событий | В этом руководстве показано, как подключить Apache Flink к центру событий без изменения клиентов протокола или запуска собственных кластеров. |
| Использование начального приложения Spring Boot для Apache Kafka в Центрах событий Azure | В статье показано, как настроить приложение Spring Cloud Stream Binder на основе Java, созданное с помощью Spring Boot Initializer, для использования Apache Kafka в Центрах событий Azure. |
Следующие шаги
Ознакомьтесь с примерами в разделах "Краткое руководство" (Quickstart) и "Учебники" (Tutorials) в репозитории azure-event-hubs-for-kafka на сайте GitHub.
Также рекомендуем просмотреть следующие статьи: