Отладка потока данных для сопоставления
Во время создания потоков данных для сопоставления можно интерактивно следить за тем, как преобразуются данные, в целях отладки. Чтобы использовать эту возможность, сначала необходимо включить функцию "Отладка потока данных".
Запуск отладки подготовит кластеры Spark, необходимые для взаимодействия с преобразованиями потока данных для сопоставления. После включения отладки вы сможете выбрать среду выполнения интеграции, которую требуется использовать. Опция "AutoResolveIntegrationRuntime" позволяет выбрать кластер с восемью ядрами, который будет доступен в течение 60 минут.
Примечание.
Обычно кластеру требуется 5–7 минут. Если этот режим включен и запущены кластеры Spark, вы можете создать свой поток данных шаг за шагом и просматривать данные по мере их преобразования.
Вкладка "Предварительный просмотр данных" доступна в режиме отладки, что позволяет просматривать данные на каждом этапе работы конвейера. Можно просматривать данные после каждого преобразования. Предварительный просмотр данных также дает возможность выполнять такие действия с данными, как просмотр описательной статистики данных или возможность изменения данных.
Наконец, можно использовать параметры отладки для управления количеством строк в предварительном просмотре.
Примечание.
Рекомендуется ограничить количество строк минимальным числом, достаточным для проверки корректности данных. Чем больше размер набора данных, тем больше времени требуется для возврата результатов. Можно также использовать параметры отладки, чтобы указать значения параметров, которые должны использоваться во время выполнения конвейера.