Добавление Postgre База данных SQL CDC в качестве источника в концентраторе реального времени

Мақала
11/18/2024

В этой статье описывается, как добавить Postgre База данных SQL Запись измененных данных (CDC) в качестве источника событий в Концентраторе реального времени Fabric.

Соединитель источника отслеживания измененных данных (CDC) Postgre База данных SQL для потоков событий Microsoft Fabric позволяет записывать моментальный снимок текущих данных в базе данных PostgreSQL. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в эти данные.

Необходимые компоненты

Доступ к рабочей области в режиме лицензии емкости Fabric (или) режим пробной лицензии с разрешениями участника или более высокого уровня.
Зарегистрированный доступ пользователей в базе данных PostgreSQL.
CDC включен в базе данных PostgreSQL.

Если у вас есть База данных Azure для PostgreSQL, выполните действия, описанные в следующем разделе, чтобы включить CDC. Подробные сведения см. в разделе "Логическая репликация и логическое декодирование" — База данных Azure для PostgreSQL — гибкий сервер.

Дополнительные сведения о других базах данных PostgreSQL см. в документации по Debezium connector for PostgreSQL :: Debezium.

Ескерім

Несколько таблиц CDC не поддерживаются.

Включение CDC в База данных Azure для PostgreSQL

Чтобы включить CDC в База данных Azure для PostgreSQL, выполните следующие действия на основе типа развертывания.

Отдельный сервер База данных Azure для PostgreSQL

Перейдите на страницу репликации на портал Azure.
Измените правило репликации на логический.

Гибкий сервер Базы данных Azure для PostgreSQL

На странице База данных Azure для PostgreSQL гибкого сервера в портал Azure выберите параметры сервера в меню навигации.
На странице параметров сервера:
- Задайте для wal_level логический параметр.
- Обновите max_worker_processes до не менее 16.
Сохраните изменения и перезапустите сервер.
Убедитесь, что База данных Azure для PostgreSQL гибкий экземпляр сервера разрешает общедоступный сетевой трафик.
Предоставьте администраторам разрешения на репликацию, выполнив следующую инструкцию SQL.
```
ALTER ROLE <admin user> WITH REPLICATION;
```

Получение событий из CDC База данных Azure для PostgreSQL

События из База данных Azure для PostgreSQL CDC можно получить в концентраторе реального времени одним из способов:

Использование страницы источников данных
Использование страницы источников Майкрософт

Страница «Источники данных»

Войдите в Microsoft Fabric.
Выберите режим реального времени на левой панели навигации.
На странице центра реального времени выберите +Источники данных в разделе "Подключиться" в меню навигации слева. Вы также можете добраться до страницы источников данных из всех потоков данных или страниц "Мои потоки данных", нажав кнопку "+ Подключить источник данных" в правом верхнем углу.

На странице источников данных выберите категорию источников Майкрософт в верхней части и щелкните "Подключиться" на плитке Azure DB для PostgreSQL (CDC).

Используйте инструкции из раздела Add Postgre База данных SQL CDC в качестве исходного раздела.

Страница источников Майкрософт

В центре реального времени выберите источники Майкрософт.
В раскрывающемся списке "Источник" выберите PostgreSQL (CDC).
Для подписки выберите подписку Azure с группой ресурсов с учетной записью Postgre База данных SQL.
Для группы ресурсов выберите группу ресурсов с базой данных.
В регионе выберите расположение, в котором находится ваша база данных.
Теперь переместите указатель мыши на имя источника Postgre База данных SQL CDC, который требуется подключить к концентратору реального времени в списке баз данных, и нажмите кнопку "Подключить" или нажмите кнопку "Подключить". (многоточие) и нажмите кнопку "Подключить".

Чтобы настроить сведения о подключении, выполните действия из раздела "Добавление База данных Azure для PostgreSQL CDC" в качестве исходного раздела.

Добавление База данных Azure для PostgreSQL CDC в качестве источника

На странице "Подключение" выберите "Создать подключение".

Если у вас есть подключение к источнику БАЗА ДАННЫХ AZURE ДЛЯ POSTGRESQL CDC, его можно выбрать в раскрывающемся списке "Подключение" и перейти к настройке порта и таблиц.
В разделе "Параметры подключения" введите следующие сведения.
- Сервер: адрес сервера базы данных PostgreSQL, например my-pgsql-server.postgres.database.azure.com.
- База данных: имя базы данных, например my_database.
Прокрутите вниз и в разделе учетных данных подключения выполните следующие действия.
1. В поле "Имя подключения" введите имя подключения.
2. Для типа проверки подлинности выберите "Базовый".
  
  Ескерім
  
  В настоящее время потоки событий Fabric поддерживают только обычную проверку подлинности.
3. Введите имя пользователя и пароль для базы данных.
4. Нажмите Подключиться.
Теперь на странице "Подключение" выполните следующие действия:
1. Для таблицы введите имя таблицы.
2. Для порта введите номер порта или оставьте значение по умолчанию: 5432.
3. Для имени потока событий введите имя потока событий. Мастер создает поток событий с выбранным Postgre База данных SQL CDC в качестве источника.
4. Имя потока автоматически создается путем добавления -stream к имени потока событий. Этот поток отображается на странице "Все потоки данных" после завершения работы мастера.
5. Выберите Далее в нижней части страницы.
На странице "Рецензирование и подключение" просмотрите сводку и нажмите кнопку "Подключить".

Просмотр сведений о потоке данных

На странице "Проверка и подключение" при выборе "Открыть поток событий" мастер открывает поток событий, созданный для вас с выбранным postgre База данных SQL CDC в качестве источника. Чтобы закрыть мастер, нажмите кнопку Готово в нижней части страницы.
В центре реального времени выберите "Мои потоки данных". Чтобы просмотреть новый поток данных, обновите страницу.

Дополнительные сведения об использовании потоков данных см. в следующих статьях: