Поделиться через

Обзор ресурсов отслеживания измененных данных

  • Статья

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

Адаптация к облачному миру больших данных может быть невероятно сложной задачей для инженеров данных, которые отвечают за создание сложных конвейеров интеграции данных и ETL.

Фабрика данных Azure вводит новый механизм для упрощения работы инженера данных.

Автоматически обнаруживая изменения данных в источнике, не требуя сложного проектирования или написания кода, ADF делает его ветерком для масштабирования этих процессов. Запись измененных данных теперь будет существовать в качестве нового собственного ресурса верхнего уровня в студии Фабрика данных Azure, где инженеры данных могут быстро настраивать непрерывно выполняемые задания для обработки больших данных в масштабе с крайней эффективностью.

Новый ресурс отслеживания измененных данных в ADF позволяет полностью точно изменять данные, которые непрерывно выполняются практически в режиме реального времени с помощью интерактивной конфигурации.

Снимок экрана: новый ресурс верхнего уровня на панели

Поддерживаемые источники данных

  • Avro
  • Azure Cosmos DB (SQL API)
  • База данных SQL Azure
  • Управляемый экземпляр SQL Azure
  • Текст с разделителями
  • JSON
  • ORC
  • Parquet
  • SQL Server
  • XML
  • Снежинка

Поддерживаемые целевые объекты

  • Avro
  • База данных SQL Azure
  • Управляемый экземпляр SQL
  • Текст с разделителями
  • Разностная версия
  • JSON
  • ORC
  • Parquet
  • Azure Synapse Analytics

Известные ограничения

  • В настоящее время при создании сопоставлений источников и целевого объекта каждый источник и целевой объекты могут использоваться только один раз.
  • Сложные типы в настоящее время не поддерживаются.
  • Локальная среда выполнения интеграции (SHIR) в настоящее время не поддерживается.

Дополнительные сведения об известных ограничениях и помощи по устранению неполадок см . в этом руководстве по устранению неполадок.

Azure Synapse Analytics в качестве целевого объекта

При использовании Azure Synapse Analytics в качестве целевого объекта промежуточные параметры доступны на главном холсте таблицы. Включение промежуточного хранения является обязательным при выборе Azure Synapse Analytics в качестве целевого объекта. Это значительно повышает производительность записи, используя возможность производительности массовой загрузки, например команду COPY INTO. Промежуточные параметры можно настроить двумя способами: использование параметров фабрики или выбор пользовательских параметров. Параметры фабрики применяются на уровне фабрики . Если эти параметры не настроены, вы будете перенаправлены в глобальный раздел промежуточного параметра для настройки. После установки все ресурсы верхнего уровня CDC будут применять эту конфигурацию. Пользовательские параметры ограничены только для ресурса CDC, для которого она настроена и переопределяет параметры фабрики.

Примечание.

Так как мы используем команду COPY INTO для передачи данных из промежуточного расположения в Azure Synapse Analytics, рекомендуется убедиться, что все необходимые разрешения настроены в Azure Synapse Analytics.

Примечание.

При запуске CDC всегда используется последняя опубликованная конфигурация. Для запуска CDCs во время обработки данных вы будете выставлены счета за 4 виртуальных ядра Поток данных общего назначения.

Связанный контент