Руководство по настройке зеркальных баз данных Microsoft Fabric из Azure Databricks

Зеркальное отображение базы данных в Microsoft Fabric — это облачная корпоративная технология SaaS, не требующая ETL. Это руководство помогает вам установить зеркальную базу данных из Azure Databricks, создавая непрерывно реплицируемую копию данных Azure Databricks в OneLake в режиме только для чтения.

Предпосылки

  • Необходимо включить внешний доступ к данным в хранилище метаданных. Дополнительные сведения см. в разделе "Включение доступа к внешним данным" в хранилище метаданных.
  • Создайте или используйте существующую рабочую область Azure Databricks с включенным каталогом Unity.
  • Для схемы в каталоге Unity необходимо иметь привилегию EXTERNAL USE SCHEMA, чтобы получить доступ к таблицам из Fabric.
  • Для задания элементов управления доступом для каталогов, схем и таблиц в Fabric необходимо использовать модель разрешений Fabric.

Создание зеркальной базы данных из Azure Databricks

Выполните следующие действия, чтобы создать новую зеркальную базу данных из каталога Azure Databricks Unity.

  1. Перейдите по адресу https://powerbi.com.

  2. Выберите +Создать, а затем отраженный каталог Azure Databricks.

    Снимок экрана из портала Fabric с новым зеркальным элементом Azure Databricks.

  3. Выберите существующее подключение, если настроено одно.

    • Если у вас нет существующего подключения, создайте новое подключение и введите все сведения. Вы можете пройти проверку подлинности в рабочей области Azure Databricks с помощью учетной записи организации либо основного пользователя службы. Чтобы создать подключение, необходимо быть пользователем или администратором рабочей области Azure Databricks.
    • Чтобы получить доступ к учетным записям Azure Data Lake Storage (ADLS) 2-го поколения за брандмауэром, необходимо выполнить действия, чтобы включить доступ к сетевой безопасности для учетной записи Azure Data Lake Storage 2-го поколения далее в этой статье.

  4. После подключения к рабочей области Azure Databricks на странице "Выбор таблиц из каталога Databricks " можно выбрать каталог, схемы и таблицы через список включения и исключения, чтобы добавить их и получить к ним доступ из Microsoft Fabric. Выберите каталог и связанные схемы и таблицы, которые необходимо добавить в рабочую область Fabric.

    • Вы можете видеть только каталоги, схемы или таблицы, к которым у вас есть доступ согласно привилегиям, предоставляемым им в рамках модели привилегий, описанной в привилегиях каталога Unity и защищаемых объектах.
    • По умолчанию для выбранной схемы включена автоматическая синхронизация изменений в будущем каталоге . Дополнительные сведения см. в разделе "Зеркальное отображение Azure Databricks Unity Catalog".
    • После выбора нажмите кнопку "Далее".

  5. По умолчанию имя элемента будет именем каталога, который вы пытаетесь добавить в Fabric. На странице "Проверка и создание " можно просмотреть сведения и при необходимости изменить имя элемента зеркальной базы данных, которое должно быть уникальным в рабочей области. Нажмите кнопку "Создать".

  6. Создается элемент каталога Databricks и для каждой таблицы также создается соответствующий ярлык типа Databricks.

    • Схемы, у которых нет таблиц, не отображаются.

  7. Вы также можете просмотреть предварительный просмотр данных при доступе к ярлыку, выбрав конечную точку аналитики SQL. Откройте элемент конечной точки аналитики SQL, чтобы запустить страницу обозревателя и редактора запросов. Вы можете запросить зеркальные таблицы Azure Databricks с помощью T-SQL в редакторе SQL.

Создайте ссылки Lakehouse на элемент каталога Databricks

Вы также можете создавать ярлыки из Lakehouse к элементам каталога Databricks, чтобы использовать данные Lakehouse и записные книжки Spark.

  1. Во-первых, мы создадим лейкхаус. Если у вас уже есть озерный дом в этой рабочей области, вы можете использовать существующий озерный дом.
    1. Выберите рабочую область в меню навигации.
    2. Выберите +Создать>Lakehouse.
    3. Укажите имя для озера в поле "Имя " и нажмите кнопку "Создать".
  2. В представлении обозревателя вашего lakehouse, в меню \"Получение данных в вашем lakehouse\", в разделе \"Загрузка данных в вашем lakehouse\", нажмите кнопку \"Создать ярлык\".
  3. Выберите Microsoft OneLake. Выберите каталог. Это элемент данных, созданный на предыдущих шагах. Затем выберите Далее.
  4. Выберите таблицы в схеме и нажмите кнопку "Далее".
  5. Нажмите кнопку "Создать".
  6. Ярлыки теперь доступны в Lakehouse для использования с другими данными Lakehouse. Записные книжки и Spark также можно использовать для обработки данных для этих таблиц каталога, добавленных из рабочей области Azure Databricks.

Создание семантической модели

Вы можете создать семантику Power BI на основе зеркального элемента и вручную добавить или удалить таблицы. Дополнительные сведения о создании семантических моделей и управлении ими см. в статье "Создание семантической модели Power BI".

Для лучшего взаимодействия рекомендуется использовать браузер Microsoft Edge для задач семантического моделирования.

Управление связями семантической модели

После создания новой семантической модели на основе зеркальной базы данных,

  1. Выберите макеты моделей из обозревателя в рабочей области.
  2. После выбора макетов модели вы получите изображение таблиц, включенных в семантику модели.
  3. Чтобы создать связи между таблицами, перетащите имя столбца из одной таблицы в другое имя столбца другой таблицы. Всплывающее окно отображается для определения связи и кратности для таблиц.

Включение доступа к сетевой безопасности для учетной записи Azure Data Lake Storage 2-го поколения

В этом разделе описана настройка сетевой безопасности для учетной записи Azure Data Lake Storage (ADLS) 2-го поколения при настройке брандмауэра службы хранилища Azure . 

Предпосылки

  • Создайте или используйте существующую рабочую область Azure Databricks с включенным каталогом Unity.

  • Если ADLS Gen2 защищен брандмауэром служба хранилища Azure, Fabric использует удостоверение рабочей области для доступа к брандмауэру. Даже если субъект службы выбран для проверки подлинности ADLS на вкладке Network Security, удостоверение рабочей области должно быть разрешено в брандмауэре учетной записи служба хранилища Azure.

    • Удостоверение рабочей области используется для доступа к брандмауэру хранилища. Субъект-служба или OAuth используются для проверки подлинности Databricks и авторизации каталога Unity.
    • Чтобы включить проверку подлинности по идентификатору рабочей области (рекомендуется), рабочая область Fabric должна быть связана с любой доступной емкостью F. Сведения о создании удостоверения рабочей области см. в статье "Проверка подлинности с помощью удостоверения рабочей области".

  • Этот раздел предназначен для доступа к учетной записи хранения Azure Data Lake Storage (ADLS) Gen2 за брандмауэром служба хранилища Azure. Хранилище рабочей области Azure Databricks за брандмауэром служба хранилища Azure не поддерживается.

  • Каталог должен быть связан с одной учетной записью хранения.

Включение доступа к сетевой безопасности

  1. При создании нового каталога Azure Databricks в разделе "Выбор данных " перейдите на вкладку "Безопасность сети ".

    Снимок экрана: вкладка

  2. Выберите существующее подключение к учетной записи хранения, если настроено одно из них. 

    • Если у вас нет существующего подключения ADLS, создайте новое подключение.  
    • URL-адрес конечной точки хранилища — место хранения данных выбранного каталога. Конечная точка должна быть определенной папкой, в которой хранятся данные, а не указывать конечную точку на уровне учетной записи хранения. Например, укажите https://<storage account>.dfs.core.windows.net/container1/folder1 , а не https://<storage account>.dfs.core.windows.net/.
    • Укажите учетные данные подключения. Поддерживаемые типы проверки подлинности: учетная запись организации, служебный принципал и идентификация рабочей области (рекомендуется).

  3. На портале Azure предоставьте права доступа к учетной записи хранения на основе типа проверки подлинности, выбранного на предыдущем шаге. Перейдите к учетной записи хранения на портале Azure. Выберите "Управление доступом" (IAM). Выберите +Добавить и добавить назначение ролей. Дополнительные сведения см. в разделе Назначение ролей Azure с помощью портала Azure.

    • Если вы указали учетную запись хранения в рамках подключения, выбранный объект проверки подлинности должен иметь роль читателя данных BLOB-объектов хранилища в учетной записи хранения. 
    • Если вы указали определенный контейнер в рамках подключения, выбранный объект проверки подлинности должен иметь роль читателя данных BLOB-объектов хранилища в контейнере.  
    • Если вы указали определенную папку в контейнере (рекомендуется), выбранный объект проверки подлинности должен иметь объект read (R) и Execute (E) на уровне папки. Если вы используете служебный принципал или удостоверение рабочей области в качестве типа проверки подлинности, необходимо предоставить этим служебному принципалу или удостоверению рабочей области разрешения на выполнение в корневой папке контейнера, а также в каждой папке в иерархии, ведущей к указанной папке. 

    Дополнительные сведения и инструкции по предоставлению доступа ADLS см. в разделе "Управление доступом ADLS".

  4. Включение доступа к доверенной рабочей области для доступа к учетным записям Azure Data Lake Storage (ADLS) 2-го поколения с поддержкой брандмауэра. Для доступа к доверенной рабочей области требуется создать подключение непосредственно к учетной записи хранения ADLS, которую можно использовать независимо от подключения к рабочей области Azure Databricks. Дополнительные сведения см. в статье "Зеркальные базы данных Secure Fabric" из Azure Databricks.

  5. Ярлык для таблиц каталога Unity создается для таблиц, имя учетной записи хранения которых соответствует учетной записи хранения, указанной в подключении ADLS. Для таблиц, имя учетной записи хранения которых не соответствует учетной записи хранения, указанной в подключении ADLS, ярлыки для этих таблиц не будут созданы. 

Это важно

Если вы планируете использовать подключение ADLS за пределами сценариев элементов каталога Mirrored Azure Databricks, необходимо также предоставить роль «Delegator хранилища Blob-объектов» для учетной записи хранения.

Включить безопасность OneLake для элемента Mirrored Databricks

Сопоставите политики каталога Unity с безопасностью Microsoft OneLake, выполнив следующие действия.

  1. Синхронизируйте группу Entra и применяйте разрешения в Каталоге Unity. В Azure Databricks используйте автоматическое управление удостоверениями для синхронизации группы идентификаторов Microsoft Entra и предоставления ему необходимых привилегий каталога Unity, например USE, BROWSE, SELECT в соответствующем каталоге или таблицах.
  2. Назначьте роль доступа к данным OneLake. В рабочей области Fabric создайте роль доступа к данным для вновь зеркальных данных. Добавьте ту же группу Entra в эту роль и предоставьте ей доступ на чтение к ярлыкам OneLake, соответствующим таблицам Azure Databricks. Вы можете сразу приступить к работе с безопасностью на уровне таблицы, нажав кнопку "Manage OneLake Security" на ленте. Убедитесь, что конфигурации доступа синхронизируются по мере развития структур и разрешений каталога. Дополнительные сведения см. в модели управления доступом к данным OneLake (предварительная версия).

Связанный контент

  • Last updated on