Руководство по настройке зеркальных баз данных Microsoft Fabric из Azure Databricks

Зеркальное отображение базы данных в Microsoft Fabric — это облачная корпоративная технология SaaS, не требующая ETL. Это руководство помогает вам установить зеркальную базу данных из Azure Databricks, создавая непрерывно реплицируемую копию данных Azure Databricks в OneLake в режиме только для чтения.

Предпосылки

  • Рабочее пространство Fabric.
  • Включите доступ к внешним данным в хранилище метаданных. Дополнительные сведения см. в разделе "Включение доступа к внешним данным" в хранилище метаданных.
  • Создайте или используйте существующую рабочую область Azure Databricks с включенным каталогом Unity.
  • Имейте привилегию EXTERNAL USE SCHEMA на схему в Unity Catalog, которая содержит таблицы, к которым обращается Fabric.
  • Используйте модель разрешений Fabric для задания элементов управления доступом для каталогов, схем и таблиц в Fabric.

Создание зеркальной базы данных из Azure Databricks

Выполните следующие действия, чтобы создать новую зеркальную базу данных из каталога Azure Databricks Unity.

  1. Перейдите в рабочую область в Fabric.

  2. Выберите Новый элемент>Зеркальный каталог Azure Databricks.

    Снимок экрана из портала Fabric с новым зеркальным элементом Azure Databricks.

  3. Выберите существующее подключение, если оно у вас уже настроено, или создайте новое подключение.

    Чтобы создать подключение, необходимо быть пользователем или администратором рабочей области Azure Databricks. Вы можете пройти аутентификацию в рабочей области Azure Databricks с помощью учетной записи организации или субъекта-службы.

    Note

    Выбор проверки подлинности, который вы делаете здесь, применяется к проверке подлинности Databricks и авторизации каталога Unity. Если вам нужно получить доступ к учетным записям Azure Data Lake Storage (ADLS) Gen2 за брандмауэром, выполните действия, описанные в разделе Включение доступа к сети для учетной записи Azure Data Lake Storage 2-го поколения далее в этой статье. Если ADLS 2-го поколения находится за брандмауэром, для доступа к брандмауэру хранилища требуется удостоверение рабочей области Fabric, независимо от метода проверки подлинности, выбранного для подключения Databricks.

  4. После подключения к рабочей области Azure Databricks на странице Choose tables from a Databricks catalog выберите каталог, схемы и таблицы, которые нужно добавить в Fabric и к которым нужно получать доступ из Fabric, используя список включения или исключения. Выберите каталог и связанные схемы и таблицы, которые необходимо добавить в рабочую область Fabric.

    Вы можете просматривать только каталоги, схемы и таблицы, к которым у вас есть доступ. Дополнительные сведения см. в разделе "Привилегии каталога Unity" и защищаемые объекты.

    По умолчанию для выбранного параметра схемы включена автоматическая синхронизация изменений в будущем каталоге . Дополнительные сведения см. в разделе Mirroring Azure Databricks > синхронизация метаданных.

  5. Выберите Далее для продолжения.

  6. На странице "Проверка и создание " просмотрите сведения и при необходимости измените имя элемента зеркальной базы данных, которое должно быть уникальным в рабочей области. По умолчанию имя зеркального элемента — это имя каталога.

  7. Нажмите кнопку Создать , чтобы продолжить.

  8. Создается элемент каталога Databricks и для каждой таблицы также создается соответствующий ярлык типа Databricks.

    Схемы, у которых нет таблиц, не отображаются.

  9. Вы также можете просмотреть предварительный просмотр данных при доступе к ярлыку, выбрав конечную точку аналитики SQL. Откройте элемент конечной точки аналитики SQL, чтобы запустить страницу обозревателя и редактора запросов. Вы можете запросить зеркальные Azure Databricks таблицы с помощью T-SQL в редакторе SQL.

Создайте ссылки Lakehouse на элемент каталога Databricks

Вы также можете создавать ярлыки из Lakehouse к элементам каталога Databricks, чтобы использовать данные Lakehouse и записные книжки Spark.

  1. Сначала создайте озеро. Если у вас уже есть озерный дом в этой рабочей области, вы можете использовать существующий озерный дом.
    1. Выберите рабочую область в меню навигации.
    2. Выберите +Создать>Lakehouse.
    3. Укажите имя для озера в поле "Имя " и нажмите кнопку "Создать".
  2. В представлении обозревателя вашего lakehouse, в меню \"Получение данных в вашем lakehouse\", в разделе \"Загрузка данных в вашем lakehouse\", нажмите кнопку \"Создать ярлык\".
  3. Выберите Microsoft OneLake. Выберите каталог. Это элемент данных, созданный на предыдущих шагах. Затем выберите Далее.
  4. Выберите таблицы в схеме и нажмите кнопку "Далее".
  5. Нажмите кнопку "Создать".
  6. Ярлыки теперь доступны в Lakehouse для использования с другими данными Lakehouse. Записные книжки и Spark также можно использовать для обработки данных для этих таблиц каталога, добавленных из рабочей области Azure Databricks.

Создание семантической модели

Вы можете создать семантическую модель Power BI на основе зеркального элемента и вручную добавлять или удалять таблицы. Дополнительные сведения о создании семантических моделей и управлении ими см. в статье "Создание семантической модели Power BI".

Для лучшего взаимодействия используйте браузер Microsoft Edge для задач семантического моделирования.

Управление связями семантической модели

После создания новой семантической модели на основе зеркальной базы данных настройте связи между таблицами.

  1. Выберите макеты моделей из обозревателя в рабочей области.
  2. После выбора макетов модели вы получите изображение таблиц, включенных в семантику модели.
  3. Чтобы создать связи между таблицами, перетащите имя столбца из одной таблицы в другое имя столбца другой таблицы. Появляется всплывающее окно для определения связи и кратности между таблицами.

Включение доступа к сетевой безопасности для учетной записи Azure Data Lake Storage 2-го поколения

Настройте сетевую безопасность для учетной записи Azure Data Lake Storage (ADLS) 2-го поколения при наличии брандмауэра служба хранилища Azure. Этот раздел относится к учетным записям хранения ADLS 2-го поколения за брандмауэром служба хранилища Azure. Хранилище рабочей области Azure Databricks, находящееся за брандмауэром служба хранилища Azure, не поддерживается.

Предпосылки

  • Если брандмауэр служба хранилища Azure защищает ADLS 2-го поколения, Fabric использует удостоверение рабочей области для доступа к брандмауэру. Даже если вы выберете сервисный субъект для аутентификации ADLS на вкладке Сетевая безопасность, необходимо разрешить удостоверению рабочей области доступ в брандмауэре учетной записи служба хранилища Azure.

    • Удостоверение рабочей области используется для доступа к брандмауэру хранилища. Субъект-служба или OAuth используются для проверки подлинности Databricks и авторизации каталога Unity.

    • Чтобы использовать тип аутентификации с удостоверением рабочей области (рекомендуется), свяжите рабочую область Fabric с емкостью F. Сведения о создании удостоверения рабочей области см. в статье "Проверка подлинности с помощью удостоверения рабочей области".

  • Каталог можно связать только с одной учетной записью хранения.

Включение доступа к сетевой безопасности

  1. При создании нового каталога Azure Databricks в разделе "Выбор данных " перейдите на вкладку "Безопасность сети ".

    Снимок экрана: вкладка

  2. Выберите существующее подключение к учетной записи хранения, если настроено одно из них. 

    • Если у вас нет существующего подключения ADLS, создайте новое подключение.  
    • URL-адрес конечной точки хранилища — место хранения данных выбранного каталога. Конечная точка должна быть определенной папкой, в которой хранятся данные, а не указывать конечную точку на уровне учетной записи хранения. Например, укажите https://<storage account>.dfs.core.windows.net/container1/folder1 , а не https://<storage account>.dfs.core.windows.net/.
    • Укажите учетные данные подключения. Поддерживаемые типы проверки подлинности: учетная запись организации, служебный принципал и идентификация рабочей области (рекомендуется).

    Note

    Если ADLS 2-го поколения защищен брандмауэром служба хранилища Azure, Fabric использует удостоверение рабочей области для обхода брандмауэра независимо от типа проверки подлинности, выбранного здесь. Тип проверки подлинности (субъект-служба или учетная запись организации) определяет аутентификацию Databricks и авторизацию Unity Catalog, а идентификация рабочей области определяет доверенный доступ через брандмауэр хранилища. Удостоверение рабочей области должно быть разрешено в брандмауэре учетной записи служба хранилища Azure, даже если выбран другой тип проверки подлинности для подключения ADLS.

  3. На портале Azure предоставьте права доступа к учетной записи хранения на основе типа проверки подлинности, выбранного на предыдущем шаге. Перейдите к учетной записи хранения на портале Azure. Выберите "Управление доступом" (IAM). Выберите +Добавить и добавить назначение ролей. Дополнительные сведения см. в разделе Назначение ролей Azure с помощью портала Azure.

    Назначьте роль в зависимости от области подключения:

    • Учетная запись хранения данных: выбранному субъекту проверки подлинности должна быть назначена роль Storage Blob Data Reader для учетной записи хранения данных.
    • Контейнер. Для выбранного удостоверения проверки подлинности требуется роль читателя данных BLOB-объектов хранилища в контейнере.
    • Папка в контейнере (рекомендуется): выбранное удостоверение проверки подлинности должно иметь разрешения на чтение (R) и выполнение (E) на уровне папки. Если вы используете субъект-службы или удостоверение рабочей области в качестве типа аутентификации, также предоставьте этой сущности разрешение Execute для корневой папки контейнера и каждой папки в иерархии, ведущей к указанной папке.

    Дополнительные сведения и инструкции по предоставлению доступа ADLS см. в разделе "Управление доступом ADLS".

  4. Включите Доверенный доступ к рабочей области, настроив правило экземпляра ресурса для рабочей области Fabric в учетной записи хранения. Подробные инструкции см. в статьях Доступ к доверенной рабочей области и Защищенные зеркальные базы данных Fabric из Azure Databricks.

После установки подключения для таблиц каталога Unity создается ярлык для таблиц, имя учетной записи хранения которого соответствует учетной записи хранения, указанной в подключении ADLS. Ярлыки не создаются для таблиц, имя учетной записи хранения которых не совпадает.

Это важно

Если вы планируете использовать подключение ADLS вне сценариев элемента каталога Mirrored Azure Databricks, вам также необходимо назначить роль Storage Blob Delegator для учетной записи хранения.

Tip

Если при использовании субъекта-службы для аутентификации Databricks с защищённой брандмауэром учётной записью ADLS Gen2 возникает ошибка авторизации 403, убедитесь, что удостоверение рабочей области разрешено правилами брандмауэра учётной записи служба хранилища Azure. Даже если для аутентификации выбран сервисный субъект, Fabric использует удостоверение рабочей области для доступа через брандмауэр хранилища.

Включить безопасность OneLake для элемента Mirrored Databricks

Сопоставите политики каталога Unity с безопасностью Microsoft OneLake, выполнив следующие действия.

  1. Синхронизируйте группу Entra и применяйте разрешения в Каталоге Unity. В Azure Databricks используйте автоматическое управление удостоверениями для синхронизации группы Microsoft Entra ID и предоставления ему необходимых привилегий каталога Unity (USE, BROWSE и SELECT) в соответствующем каталоге и таблицах.
  2. Назначьте роль доступа к данным OneLake. В рабочей области Fabric создайте роль доступа к данным для вновь зеркальных данных. Добавьте ту же группу Entra в эту роль и предоставьте ей доступ на чтение к ярлыкам OneLake, соответствующим таблицам Azure Databricks. Чтобы приступить к работе с безопасностью на уровне таблицы, нажмите кнопку "Управление OneLake" на ленте. Убедитесь, что конфигурации доступа синхронизируются по мере развития структур и разрешений каталога. Дополнительные сведения см. в модели управления доступом к данным OneLake (предварительная версия).

Связанный контент

  • Last updated on