Azure Synapse Link для потока изменений SQL

Область применения:SQL Server 2022 (16.x) База данных SQL AzureAzure Synapse Analytics

В этой статье содержатся сведения о том, как работает канал изменений Azure Synapse Link для SQL.

Это важно

Теперь доступно зеркальное отображение в Microsoft Fabric. Зеркалирование в Fabric предоставляет все возможности Azure Synapse Link с более высокой аналитической производительностью, а также позволяет объединить единое хранилище данных с помощью OneLake в Fabric и предоставить открытый доступ к данным в формате Delta Parquet. Вместо Azure Synapse Link используйте Fabric Mirroring.

С помощью зеркального отображения в Microsoft Fabric вы можете непрерывно реплицировать существующий объект данных непосредственно в OneLake в Fabric, включая данные из SQL Server 2016+, Базу данных SQL Azure, Управляемый экземпляр SQL Azure, Oracle, Snowflake, Cosmos DB и многое другое.

Дополнительные сведения см. в зеркальных базах данных Microsoft Fabric.

В SQL Server 2022 (16.x) появилась новая функция, которая позволяет подключаться между таблицами SQL Server и платформой Microsoft Azure Synapse, называемой Azure Synapse Link для SQL. Azure Synapse Link для SQL предоставляет автоматические потоки изменений, которые фиксируют изменения в SQL Server и загружают их в Azure Synapse Analytics.

Эта функция недоступна для Управляемого экземпляра SQL Azure.

Примечание.

Включение Azure Synapse Link для SQL создаст пользователя базы данных changefeed, схему changefeed и несколько таблиц в схеме changefeed в исходной базе данных. Не изменяйте ни один из этих объектов. Они управляются системой.

Зона приземления

Дополнительные сведения о целевой зоне Azure Synapse Link для SQL Server см. в разделе Целевая зона Azure Synapse Link для SQL Server.

Хотя Azure Synapse Link для SQL Server включает ресурсы Azure, подготовленные пользователем, включая учетную запись хранения Azure Data Lake Storage (ADLS) 2-го поколения, Azure Synapse Link для База данных SQL Azure полностью управляется, включая подготовку целевой зоны, и использует аналогичные процессы обнаружения изменений, как описано в этой статье. Дополнительные сведения см. в статье Azure Synapse Link для Базы данных SQL Azure.

Для SQL Server расположение посадочной зоны в службе хранилища Azure управляется клиентом и является видимым, однако использовать или изменять файлы в посадочной зоне не рекомендуется и не поддерживается.

Функция ленты изменений

Администратор SQL Server может включить Azure Synapse Link в пустой таблице или в таблице, которая уже содержит данные. Исходная таблица должна иметь первичный ключ.

Если для таблицы, которая уже содержит данные, используется Azure Synapse Link, зона загрузки будет заполнена начальным полным моментальным снимком исходной таблицы. Когда в Azure Synapse Link добавляется существующая таблица SQL Server, уже содержащая данные, то создается полный моментальный снимок исходного набора данных. Файл исходного моментального снимка — это файл формата PARQUET, который передается в целевую зону в ADLS 2-го поколения.

Azure Synapse Link поддерживает передачу изменений в исходных таблицах в посадочную зону служба хранилища Azure с низкой задержкой. Канал изменений использует CSV-файл для публикации этих изменений в Azure Synapse. Этот табличный формат естественным образом согласуется с записью изменений данных на уровне строк с высокой частотой (порядка секунд). Большинство CSV-файлов должны быть относительно небольшими.

Отслеживание изменений

Захват изменений для Azure Synapse Link аналогичен существующей технологии отслеживания измененных данных (CDC). Источником данных изменений является журнал транзакций SQL Server. Поток изменений считывает журнал и добавляет информацию об изменениях в зону загрузки.

CDC работает путем сбора журнала транзакций для записи всех изменений, выполненных в одной или нескольких исходных таблицах.

  • В CDC данные об изменениях внутренне записываются в связанную таблицу в базе данных.
  • В Azure Synapse Link данные считываются непосредственно из журнала транзакций базы данных, кэшируются в памяти, а затем записываются в промежуточную зону в хранилище Azure.

Сбой хранилища может привести к недоступности целевой зоны, что заблокирует публикации в этой целевой зоне. Как и в случае, когда происходит сбой агента чтения журнала CDC SQL Server или он не запущен, журнал транзакций исходной базы данных не может быть усечён. В случае длительного сбоя хранилища или изменения конфигурации хранилища, которое приводит к его недоступности, остановите Azure Synapse Link через Synapse Studio.

Поддержка высокой доступности

Azure Synapse Link для SQL Server совместим с группами доступности Always On и экземплярами отказоустойчивого кластера (FCI).

Если начальный моментальный снимок был выполнен и прерван по какой-либо причине, начальный процесс экспорта моментальных снимков перезапускается. Это происходит, если SQL Server переключается при отказе в FCI или синхронной группе доступности.

Зеркальное отображение в Microsoft Fabric

Зеркалирование в Fabric предоставляет все возможности Azure Synapse Link с более высокой аналитической производительностью, а также позволяет объединить единое хранилище данных с помощью OneLake в Fabric и предоставить открытый доступ к данным в формате Delta Parquet. Вместо Azure Synapse Link используйте Fabric Mirroring.

Дополнительные сведения см. в разделе:

Связанный контент

  • Last updated on