Добавление источника Confluent Cloud для Apache Kafka в поток событий

2025-07-03

В этой статье показано, как добавить источник Confluent Cloud для Apache Kafka в поток событий.

Confluent Cloud для Apache Kafka — это платформа потоковой передачи и обработки данных с помощью Apache Kafka. Интеграция Confluent Cloud для Apache Kafka в качестве источника в потоке событий позволяет легко обрабатывать потоки данных в режиме реального времени перед маршрутизацией их в несколько назначений в Fabric.

Примечание.

Этот источник не поддерживается в следующих регионах емкости рабочей области: западная часть США 3, Западная Швейцария.

Необходимые компоненты

Доступ к рабочей области в режиме лицензии емкости Fabric (или) режим пробной лицензии с разрешениями участника или более высокого уровня.
Кластер Confluent Cloud для Apache Kafka и ключ API.
Кластер Confluent Cloud для Apache Kafka должен быть общедоступным, а не за брандмауэром или защищенным в виртуальной сети.
Если у вас нет потока событий, создайте поток событий.

Запуск мастера выбора источника данных

Если вы еще не добавили источник в поток событий, выберите "Использовать внешнюю плитку источника ".

Если вы добавляете источник в уже опубликованный поток событий, перейдите в режим редактирования, выберите "Добавить источник" на ленте и выберите "Внешние источники".

Настройка и подключение к Confluent Cloud для Apache Kafka

На странице "Выбор источника данных " выберите Confluent Cloud для Apache Kafka.
Чтобы создать подключение к источнику Confluent Cloud для Apache Kafka, выберите новое подключение.
В разделе параметров подключения введите Confluent Bootstrap Server. Перейдите на домашнюю страницу Confluent Cloud, выберите "Параметры кластера" и скопируйте адрес на сервер начальной загрузки.
В разделе учетных данных подключения , если у вас есть существующее подключение к кластеру Confluent, выберите его в раскрывающемся списке для подключения. В противном случае выполните следующие действия.
1. В поле "Имя подключения" введите имя подключения.
2. Для типа проверки подлинности убедитесь, что выбран облачный ключ Confluent.
3. Для ключа API и секрета ключа API:
  1. Перейдите в облако Confluent Cloud.
  2. Выберите ключи API в боковом меню.
  3. Нажмите кнопку "Добавить ключ", чтобы создать новый ключ API.
  4. Скопируйте ключ и секрет API.
  5. Вставьте эти значения в поля "Ключ API" и "Секрет ключа API".
  6. Выберите Подключиться.
Прокрутите страницу вниз, чтобы увидеть раздел Настройка Confluent Cloud в качестве источника данных для Apache Kafka. Введите сведения, чтобы завершить настройку источника данных Confluent.
1. В поле "Имя раздела" введите имя раздела из confluent Cloud. Вы можете создать или управлять темой в Confluent Cloud Console.
2. Для группы потребителей введите группу потребителей в Confluent Cloud. Она предоставляет выделенную группу потребителей для получения событий из кластера Confluent Cloud.
3. Для параметра автоматического смещения сброса выберите одно из следующих значений:
  - Самый ранний — самые ранние данные, доступные из кластера Confluent
  - Последние — последние доступные данные
  - Нет — не устанавливайте смещение автоматически.
В зависимости от того, кодируются ли данные с помощью реестра схем Confluent:
- Если не выполнено кодирование, нажмите Далее. На экране "Проверка и создание " просмотрите сводку и нажмите кнопку "Добавить ", чтобы завершить настройку.
- Если закодировано, перейдите к следующему шагу: подключитесь к реестру схем Confluent, чтобы декодировать данные (предварительная версия)

Подключение к реестру схем Confluent для декодирования данных (предварительная версия)

Коннектор Eventstream Confluent Cloud для потоковой передачи Apache Kafka способен декодировать данные, созданные с помощью Confluent serializer и реестра схем Confluent Cloud. Для декодирования данных, закодированных с помощью этого сериализатора реестра схем Confluent, требуется извлечение схемы из реестра схем Confluent. Без доступа к схеме поток событий не может просматривать, обрабатывать или направлять входящие данные.

Вы можете развернуть дополнительные параметры для настройки подключения к реестру схем Confluent:

Определение и сериализация данных. Выбор да позволяет сериализовать данные в стандартизованном формате. Выбор "Нет" сохраняет данные в исходном формате и передает их без изменений.
Если данные кодируются с помощью реестра схем, выберите "Да " при выборе того, кодируются ли данные в реестре схем. Затем выберите новое подключение , чтобы настроить доступ к реестру схем Confluent:
- URL реестра схем: общедоступная конечная точка вашего реестра схем.
- Ключ API и секрет ключа API. Перейдите к реестру схем Cloud Environment Confluent, чтобы скопировать ключ API и секрет API. Убедитесь, что учетная запись, используемая для создания этого ключа API, имеет разрешение DeveloperRead или более высокий уровень разрешения на схему.
- Уровень конфиденциальности: выберите "Нет", "Частный", " Организационный" или "Общедоступный".
Выходной десятичный формат JSON: указывает формат сериализации JSON для значений десятичного логического типа в данных из источника.
- NUMERIC: сериализация в виде чисел.
- BASE64: сериализация в виде данных в кодировке Base64.
Выберите Далее. На экране "Проверка и создание " просмотрите сводку и нажмите кнопку "Добавить ", чтобы завершить настройку.

Вы видите, что источник Confluent Cloud для Apache Kafka добавляется в поток событий на холсте в режиме редактирования. Чтобы реализовать этот недавно добавленный источник Confluent Cloud для Apache Kafka, выберите «Опубликовать» на ленте.

После выполнения этих действий источник Confluent Cloud для Apache Kafka доступен для визуализации в режиме реального времени.

Другие соединители:

Поделиться через

Добавление источника Confluent Cloud для Apache Kafka в поток событий

Необходимые компоненты

Запуск мастера выбора источника данных

Настройка и подключение к Confluent Cloud для Apache Kafka

Подключение к реестру схем Confluent для декодирования данных (предварительная версия)

Связанный контент

Обратная связь

Дополнительные ресурсы