Поделиться через

Руководство по настройке зеркальных баз данных Microsoft Fabric из Azure Databricks

Зеркальное отображение базы данных в Microsoft Fabric — это корпоративная облачная технология, ноль ETL, SaaS. Это руководство поможет создать зеркальную базу данных из Azure Databricks, которая создает только для чтения реплицированную копию данных Azure Databricks в OneLake.

Предпосылки

  • Необходимо включить внешний доступ к данным в хранилище метаданных. Дополнительные сведения см. в разделе "Включение доступа к внешним данным" в хранилище метаданных.
  • Создайте или используйте существующую рабочую область Azure Databricks с включенным каталогом Unity.
  • Для схемы в каталоге Unity необходимо иметь EXTERNAL USE SCHEMA привилегии, содержащие таблицы, к которым будет получен доступ из Fabric.
  • Для задания элементов управления доступом для каталогов, схем и таблиц в Fabric необходимо использовать модель разрешений Fabric.
  • Рабочие области Azure Databricks не могут находиться за частной конечной точкой.

Создание зеркальной базы данных из Azure Databricks

Выполните следующие действия, чтобы создать новую зеркальную базу данных из каталога Azure Databricks Unity.

  1. Перейдите по адресу https://powerbi.com.

  2. Выберите +Создать , а затем отражайте каталог Azure Databricks.

    Снимок экрана: портал Fabric нового зеркального элемента Azure Databricks.

  3. Выберите существующее подключение, если настроено одно.

    • Если у вас нет существующего подключения, создайте новое подключение и введите все сведения. Вы можете пройти проверку подлинности в рабочей области Azure Databricks с помощью учетной записи организации или субъекта-службы. Чтобы создать подключение, необходимо быть пользователем или администратором рабочей области Azure Databricks.
    • Чтобы получить доступ к учетным записям Azure Data Lake Storage (ADLS) 2-го поколения за брандмауэром, необходимо выполнить действия, чтобы включить доступ к сетевой безопасности для учетной записи Azure Data Lake Storage 2-го поколения далее в этой статье.

  4. После подключения к рабочей области Azure Databricks на странице каталога " Выбор таблиц " можно выбрать каталог, схемы и таблицы с помощью списка включения и исключения, который вы хотите добавить и получить доступ из Microsoft Fabric. Выберите каталог и связанные схемы и таблицы, которые необходимо добавить в рабочую область Fabric.

    • Вы можете видеть только каталоги, схемы или таблицы, к которым у вас есть доступ согласно привилегиям, предоставляемым им в рамках модели привилегий, описанной в привилегиях каталога Unity и защищаемых объектах.
    • По умолчанию для выбранной схемы включена автоматическая синхронизация изменений в будущем каталоге . Дополнительные сведения см. в разделе "Зеркальное отображение Azure Databricks Unity Catalog".
    • После выбора нажмите кнопку "Далее".

  5. По умолчанию имя элемента будет именем каталога, который вы пытаетесь добавить в Fabric. На странице "Проверка и создание " можно просмотреть сведения и при необходимости изменить имя элемента зеркальной базы данных, которое должно быть уникальным в рабочей области. Нажмите кнопку "Создать".

  6. Создается элемент каталога Databricks и для каждой таблицы также создается соответствующий ярлык типа Databricks.

    • Схемы, у которых нет таблиц, не отображаются.

  7. Вы также можете просмотреть предварительный просмотр данных при доступе к ярлыку, выбрав конечную точку аналитики SQL. Откройте элемент конечной точки аналитики SQL, чтобы запустить страницу обозревателя и редактора запросов. Вы можете запросить зеркальные таблицы Azure Databricks с помощью T-SQL в редакторе SQL.

Создание ярлыков Lakehouse для элемента каталога Databricks

Вы также можете создавать ярлыки из Lakehouse в элемент каталога Databricks для использования данных Lakehouse и использования записных книжек Spark.

  1. Во-первых, мы создадим лейкхаус. Если у вас уже есть lakehouse в этой рабочей области, можно использовать существующий lakehouse.
    1. Выберите рабочую область в меню навигации.
    2. Выберите +Создать>Lakehouse.
    3. Укажите имя для озера в поле "Имя " и нажмите кнопку "Создать".
  2. В представлении обозревателя озера в меню "Получение данных" в меню lakehouse в разделе "Загрузка данных" в lakehouse нажмите кнопку "Создать ярлык ".
  3. Выберите Microsoft OneLake. Выберите каталог. Это элемент данных, созданный на предыдущих шагах. Затем выберите Далее.
  4. Выберите таблицы в схеме и нажмите кнопку "Далее".
  5. Нажмите кнопку "Создать".
  6. Ярлыки теперь доступны в Lakehouse для использования с другими данными Lakehouse. Записные книжки и Spark также можно использовать для обработки данных для этих таблиц каталога, добавленных из рабочей области Azure Databricks.

Создание семантической модели

Вы можете создать семантику Power BI на основе зеркального элемента и вручную добавить или удалить таблицы. Дополнительные сведения о создании семантических моделей и управлении ими см. в статье "Создание семантической модели Power BI".

Для лучшего взаимодействия рекомендуется использовать браузер Microsoft Edge для задач семантического моделирования.

Управление связями семантической модели

После создания новой семантической модели на основе зеркальной базы данных,

  1. Выберите макеты моделей из обозревателя в рабочей области.
  2. После выбора макетов модели вы получите изображение таблиц, включенных в семантику модели.
  3. Чтобы создать связи между таблицами, перетащите имя столбца из одной таблицы в другое имя столбца другой таблицы. Всплывающее окно отображается для определения связи и кратности для таблиц.

Включение доступа к сетевой безопасности для учетной записи Azure Data Lake Storage 2-го поколения

В этом разделе описана настройка сетевой безопасности для учетной записи Azure Data Lake Storage (ADLS) 2-го поколения при настройке брандмауэра службы хранилища Azure . 

Предпосылки

  • Создайте или используйте существующую рабочую область Azure Databricks с включенным каталогом Unity.
  • Чтобы включить тип проверки подлинности удостоверения рабочей области (рекомендуется), рабочая область Fabric должна быть связана с любой емкостью F. Сведения о создании удостоверения рабочей области см. в статье "Проверка подлинности с помощью удостоверения рабочей области".
  • Этот раздел предназначен для достижения учетной записи хранения Azure Data Lake Storage (ADLS) 2-го поколения за брандмауэром службы хранилища Azure. Хранилище рабочей области Azure Databricks за брандмауэром службы хранилища Azure не поддерживается.
  • Каталог должен быть связан с одной учетной записью хранения.

Включение доступа к сетевой безопасности

  1. При создании нового каталога Azure Databricks в разделе "Выбор данных " перейдите на вкладку "Безопасность сети ".

    Снимок экрана: вкладка

  2. Выберите существующее подключение к учетной записи хранения, если настроено одно из них. 

    • Если у вас нет существующего подключения ADLS, создайте новое подключение.  
    • URL-адрес конечной точки хранилища — место хранения данных выбранного каталога. Конечная точка должна быть определенной папкой, в которой хранятся данные, а не указывать конечную точку на уровне учетной записи хранения. Например, укажите https://<storage account>.dfs.core.windows.net/container1/folder1 , а не https://<storage account>.dfs.core.windows.net/.
    • Укажите учетные данные подключения. Поддерживаемые типы проверки подлинности : учетная запись организации, субъект-служба и удостоверение рабочей области (рекомендуется).

  3. На портале Azure предоставьте права доступа к учетной записи хранения на основе типа проверки подлинности, выбранного на предыдущем шаге. Перейдите к учетной записи хранения на портале Azure. Выберите "Управление доступом" (IAM). Выберите +Добавить и добавить назначение ролей. Дополнительные сведения см. в разделе Назначение ролей Azure с помощью портала Azure.

    • Если вы указали учетную запись хранения в рамках подключения, выбранный объект проверки подлинности должен иметь роль читателя данных BLOB-объектов хранилища в учетной записи хранения. 
    • Если вы указали определенный контейнер в рамках подключения, выбранный объект проверки подлинности должен иметь роль читателя данных BLOB-объектов хранилища в контейнере.  
    • Если вы указали определенную папку в контейнере (рекомендуется), выбранный объект проверки подлинности должен иметь объект read (R) и Execute (E) на уровне папки. Если вы используете субъект-службу или удостоверение рабочей области в качестве типа проверки подлинности, необходимо предоставить этим субъекту-службе или рабочему удостоверению разрешения на выполнение корневой папки контейнера и каждой папке в иерархии папок, которые приводят к указанной папке. 

    Дополнительные сведения и инструкции по предоставлению доступа ADLS см. в разделе "Управление доступом ADLS".

  4. Включение доступа к доверенной рабочей области для доступа к учетным записям Azure Data Lake Storage (ADLS) 2-го поколения с поддержкой брандмауэра. Для доступа к доверенной рабочей области требуется создать подключение непосредственно к учетной записи хранения ADLS, которую можно использовать независимо от подключения к рабочей области Azure Databricks. Дополнительные сведения см. в статье "Зеркальные базы данных Secure Fabric" из Azure Databricks.

  5. Ярлык для таблиц каталога Unity создается для таблиц, имя учетной записи хранения которых соответствует учетной записи хранения, указанной в подключении ADLS. Для таблиц, имя учетной записи хранения которых не соответствует учетной записи хранения, указанной в подключении ADLS, ярлыки для этих таблиц не будут созданы. 

Это важно

Если вы планируете использовать подключение ADLS за пределами сценариев элементов каталога Azure Databricks, необходимо также предоставить роль Delegator хранилища BLOB-объектов в учетной записи хранения.

Включение безопасности OneLake в элементе Mirrored Databricks

Сопоставите политики каталога Unity с безопасностью Microsoft OneLake, выполнив следующие действия.

  1. Синхронизируйте группу записей и применяйте разрешения в каталоге Unity. В Azure Databricks используйте автоматическое управление удостоверениями для синхронизации группы идентификаторов Microsoft Entra и предоставления ему необходимых привилегий каталога Unity, например USE, BROWSE, SELECT в соответствующем каталоге или таблицах.
  2. Назначьте роль доступа к данным OneLake. В рабочей области Fabric создайте роль доступа к данным для вновь зеркальных данных. Добавьте ту же группу Entra в эту роль и предоставьте ей доступ на чтение к ярлыкам OneLake, соответствующим таблицам Azure Databricks. Вы можете сразу приступить к работе с безопасностью на уровне таблицы, нажав кнопку "Управление OneLake" на ленте. Убедитесь, что конфигурации доступа синхронизируются по мере развития структур и разрешений каталога. Дополнительные сведения см. в модели управления доступом к данным OneLake (предварительная версия).

Связанный контент

  • Last updated on