Управление процессом SAP CDC

Область применения:Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

После создания потока данных конвейера и сопоставления в Фабрика данных Azure с помощью соединителя SAP CDC важно правильно управлять процессом ETL.

Выполнение конвейера репликации данных SAP по повторяющемуся расписанию

Чтобы запускать конвейер репликации данных SAP по повторяющемуся расписанию с указанной частотой, выполните приведенные ниже действия.

1. Создайте периодический триггер, который часто запускает конвейер репликации данных SAP. Присвойте для параметра Максимальный параллелизм значение 1.

   Дополнительные сведения см. в разделе Создание триггера, который запускает конвейер в "переворачивающемся" окне.

2. Добавьте зависимость от периодического триггера, чтобы последующий запуск конвейера всегда ждал успешного завершения предыдущих запусков конвейера.

   Дополнительные сведения см. в разделе Создание зависимости периодического триггера.

   

Мониторинг потоков данных SAP CDC

Чтобы отслеживать состояние и ход выполнения потока данных SAP CDC, откройте средство мониторинга и выберите запуск конвейера. Щелкните значок сведений о потоке данных в таблице действий в нижней части экрана.

При этом вы перейдете к монитору потока данных. Щелкнув значок источника в схеме потока данных вверху, откроется источник сведений, диагностика раздел внизу.

"SAP to stage подписчик process" (не показан для полной загрузки) помогает определить процесс SAP CDC в средствах мониторинга исходной системы SAP.

Раздел "SAP на этап", который периодически обновляется во время извлечения из исходной системы SAP по-прежнему выполняется, показывает ход процесса извлечения.

После успешного выполнения потока данных в мониторе потока данных отображаются подробные сведения о процессе извлечения из SAP. Помимо сведений о времени выполнения, таких как время начала и длительность, также можно найти количество строк, скопированных из SAP, в строках, скопированных и количество строк, передаваемых из источника в следующее преобразование (в данном случае преобразование приемника) в вычисляемых строках. Обратите внимание, что вычисляемые строки могут быть меньше, чем скопированные строки: после извлечения измененных записей данных из системы SAP поток данных выполняет дедупликацию измененных строк на основе определения ключа. Только последняя запись передается дальше по потоку данных.

Мониторинг извлечения данных в системах SAP

Для мониторинга извлечения данных в системах SAP выполните следующие действия.

1. В средстве входа SAP в исходной системе SAP, выполните код транзакции ODQMON.

   

2. В подписчике введите значение свойства имени подписчика связанной службы SAP CDC. В раскрывающемся списке Выбор запроса выберите Все, чтобы отобразить все операции извлечения данных, использующие связанную службу.

   

   Все зарегистрированные процессы подписчика отображаются в оперативной очереди изменений (ODQ). Процессы подписчика представляют извлечение данных из потока данных сопоставления Фабрика данных Azure, использующего связанную службу SAP CDC. Для каждой подписки ODQ можно открыть подробные сведения, чтобы просмотреть все полные и разностные извлечения. Для каждого извлечения можно просмотреть отдельные пакеты данных, которые были использованы.

3. Когда потоки данных сопоставления фабрики данных, извлекающие данные SAP, больше не нужны, следует удалить подписки ODQ. При удалении подписок ODQ системы SAP могут прекратить отслеживание состояние своей подписки и удалить неиспользованные пакеты данных из ODQ. Чтобы удалить подписку ODQ, выберите подписку и щелкните значок "Удалить".

   

Устранение неполадок разностных изменений

Соединитель SAP CDC в Фабрике данных считывает разностные изменения из платформы SAP ODP. Разностные изменения записываются в таблицы ODQ.

В сценариях, в которых выполняется перемещение данных (сопоставление потоков данных завершается без ошибок), но данные не доставляются правильно (нет данных вообще или, возможно, только подмножество ожидаемых данных), необходимо сначала проверка в ODQMON, независимо от количества записей, предоставленных на стороне SAP, совпадает с количеством строк, передаваемых фабрикой данных. Если это так, проблема не связана с Фабрикой данных, а, вероятно, возникает из-за неправильной или отсутствующей конфигурации на стороне SAP.

Устранение неполадок в SAP с помощью ODQMON

Чтобы проанализировать данные, предоставленные системой SAP для вашего сценария, запустите транзакцию ODQMON в серверной системе SAP. Если вы используете сервер SAP Landscape Transformation Replication Server (SLT) с автономным сервером, запустите транзакцию там.

Чтобы найти ODQs, соответствующие потокам данных сопоставления, используйте параметры фильтра. В очереди можно использовать подстановочные знаки для сужения поиска. Например, можно выполнить поиск по имени таблицы EKKO.

Установите флажок Вычислить объем данных, чтобы просмотреть сведения о количестве строк и объеме данных (в байтах), содержащихся в очередях ODQ.

Чтобы просмотреть подписки ODQ, дважды щелкните очередь. ODQ может иметь несколько подписчиков, поэтому проверьте имя подписчика, введенное в связанной службе Фабрики данных. Выберите подписку с меткой времени, которая наиболее точно соответствует времени запуска потока данных сопоставления. Для разностных подписок первый запуск потока данных сопоставления для подписки записывается на стороне SAP.

В подписке список запросов соответствует сопоставлению потоков данных в Фабрике данных. На следующем рисунке вы увидите результат четырех запусков потока данных сопоставления:

На основе метки времени в первой строке найдите строку, соответствующую потоку данных сопоставления, который требуется проанализировать. Если число строк, отображаемых равным количеству строк, считываемых потоком данных сопоставления, вы проверили, что фабрика данных считывает и передает данные, предоставляемые системой SAP. В этом сценарии рекомендуется проконсультироваться с командой, ответственной за вашу систему SAP.

Связанный контент

Дополнительные сведения о соединителях SAP.