Compartilhar via

Tutorial: Configurar bancos de dados espelhados do Microsoft Fabric do Azure Databricks

O espelhamento de banco de dados no Microsoft Fabric é uma tecnologia SaaS corporativa, baseada em nuvem, sem ETL. Este guia ajuda você a estabelecer um banco de dados espelhado do Azure Databricks, que cria uma cópia somente leitura e replicada continuamente dos dados do Azure Databricks no OneLake.

Pré-requisitos

  • Você deve habilitar o acesso a dados externos no metastore. Para obter mais informações, consulte Habilitar o acesso a dados externos no metastore.
  • Crie ou use um workspace existente do Azure Databricks com o Catálogo do Unity habilitado.
  • Você deve ter o EXTERNAL USE SCHEMA privilégio no esquema no Catálogo do Unity que contém as tabelas que serão acessadas do Fabric.
  • Você precisa usar o modelo de permissões do Fabric para definir controles de acesso para catálogos, esquemas e tabelas no Fabric.
  • Os workspaces do Azure Databricks não podem estar atrás de um ponto de extremidade privado.

Criar um banco de dados espelhado do Azure Databricks

Siga estas etapas para criar um novo banco de dados espelhado do catálogo do Azure Databricks Unity.

  1. Navegue até https://powerbi.com.

  2. Selecione + Novo e, em seguida, espelhado catálogo do Azure Databricks.

    Captura de tela do portal do Fabric de um novo item espelhado do Azure Databricks.

  3. Selecione uma conexão existente se você tiver uma configurada.

    • Se você não tiver uma conexão existente, crie uma nova conexão e insira todos os detalhes. Você pode autenticar no workspace do Azure Databricks usando 'Conta organizacional' ou 'Entidade de serviço'. Para criar uma conexão, você deve ser um usuário ou um administrador do workspace do Azure Databricks.
    • Para acessar as contas do ADLS (ADLS) Gen2 por trás de um firewall, siga as etapas para habilitar o acesso à segurança de rede para sua conta do Azure Data Lake Storage Gen2 mais adiante neste artigo.

  4. Depois de se conectar a um workspace do Azure Databricks, na página Escolher tabelas de um catálogo do Databricks , você poderá selecionar o catálogo, os esquemas e as tabelas por meio da lista de inclusão/exclusão que você deseja adicionar e acessar do Microsoft Fabric. Escolha o catálogo e seus esquemas e tabelas relacionados que você deseja adicionar ao workspace do Fabric.

  5. Por padrão, o nome do item será o nome do catálogo que você está tentando adicionar ao Fabric. Na página Revisar e criar , você pode examinar os detalhes e, opcionalmente, alterar o nome do item de banco de dados espelhado, que deve ser exclusivo em seu workspace. Selecione Criar.

  6. Um item de catálogo do Databricks é criado e, para cada tabela, um atalho de tipo do Databricks correspondente também é criado.

    • Esquemas que não têm tabelas não são mostrados.

  7. Você também pode ver uma visualização dos dados ao acessar um atalho selecionando o ponto de extremidade de análise do SQL. Abra o item de ponto de extremidade de análise do SQL para iniciar a página do editor do Explorer e da Consulta. Você pode consultar suas tabelas espelhadas do Azure Databricks com T-SQL no Editor de SQL.

Criar atalhos do Lakehouse para o item de catálogo do Databricks

Você também pode criar atalhos do Lakehouse para o item de catálogo do Databricks para usar seus dados do Lakehouse e usar o Spark Notebooks.

  1. Primeiro, criamos uma casa no lago. Se você já tiver uma lakehouse neste workspace, poderá usar uma lakehouse existente.
    1. Selecione seu workspace no menu de navegação.
    2. Selecione + New>Lakehouse.
    3. Forneça um nome para o lakehouse no campo Nome e selecione Criar.
  2. No modo de exibição do Explorer da sua lakehouse, no menu Obter dados em seu menu lakehouse , em Carregar dados em seu lakehouse, selecione o botão Novo atalho .
  3. Selecione Microsoft OneLake. Selecione um catálogo. Este é o item de dados que você criou nas etapas anteriores. Em seguida, selecione Avançar.
  4. Selecione tabelas dentro do esquema e selecione Avançar.
  5. Selecione Criar.
  6. Os atalhos agora estão disponíveis em seu Lakehouse para usar com seus outros dados do Lakehouse. Você também pode usar Notebooks e Spark para executar o processamento de dados nos dados dessas tabelas de catálogo que você adicionou do workspace do Azure Databricks.

Criar um modelo semântico

Você pode criar um modelo semântico do Power BI com base no item espelhado e adicionar/remover tabelas manualmente. Para obter mais informações sobre como criar e gerenciar modelos semânticos, consulte Criar um modelo semântico do Power BI.

Para obter a melhor experiência, é recomendável que você use o Microsoft Edge Browser para tarefas de modelagem semântica.

Gerenciar suas relações de modelo semântico

Depois de criar um novo modelo semântico com base no banco de dados espelhado,

  1. Selecione Layouts de Modelo no Explorer em seu workspace.
  2. Depois que os layouts de modelo são selecionados, você recebe um gráfico das tabelas que foram incluídas como parte do Modelo Semântico.
  3. Para criar relações entre tabelas, arraste um nome de coluna de uma tabela para outro nome de coluna de outra tabela. Um pop-up é apresentado para identificar a relação e a cardinalidade das tabelas.

Habilitar o acesso à segurança de rede para sua conta do Azure Data Lake Storage Gen2

Esta seção orienta você sobre como configurar a segurança de rede para sua conta do Azure Data Lake Storage (ADLS) Gen2, quando um firewall do Armazenamento do Azure é configurado. 

Pré-requisitos

  • Crie ou use um workspace existente do Azure Databricks com o Catálogo do Unity habilitado.
  • Para habilitar o tipo de autenticação de identidade do workspace (recomendado), o workspace do Fabric deve estar associado a qualquer capacidade F. Para criar uma identidade de workspace, consulte Authenticate with workspace identity.
  • Esta seção destina-se a acessar uma conta de armazenamento do Azure Data Lake Storage (ADLS) Gen2 por trás de um firewall do Armazenamento do Azure. Não há suporte para o armazenamento do workspace do Azure Databricks por trás de um firewall do Armazenamento do Azure.
  • Um catálogo deve ser associado a uma única conta de armazenamento.

Habilitar o acesso à segurança de rede

  1. Ao criar um novo Catálogo do Azure Databricks espelhado, na etapa Escolher dados , selecione a guia Segurança de Rede .

    Captura de tela da guia Segurança de Rede no Databricks.

  2. Selecione uma conexão existente com a conta de armazenamento se você tiver uma configurada. 

    • Se você não tiver uma conexão ADLS existente, crie uma nova conexão.  
    • A URL do ponto de extremidade de armazenamento é onde os dados do catálogo selecionado são armazenados. O ponto de extremidade deve ser a pasta específica em que os dados são armazenados, em vez de especificar o ponto de extremidade a ser no nível da conta de armazenamento. Por exemplo, forneça https://<storage account>.dfs.core.windows.net/container1/folder1 em vez de https://<storage account>.dfs.core.windows.net/.
    • Forneça as credenciais de conexão. Os tipos de autenticação com suporte são conta organizacional, entidade de serviço e Identidade do Workspace (recomendado).

  3. No portal do Azure, forneça direitos de acesso à conta de armazenamento com base no tipo de autenticação escolhido na etapa anterior. Navegue até a conta de armazenamento no portal do Azure. Selecione Controle de Acesso (IAM). Selecione +Adicionar e Adicionar atribuição de função. Para obter mais informações, confira Atribuir funções do Azure usando o portal do Azure.

    • Se você especificou a conta de armazenamento como parte da conexão, o objeto de autenticação escolhido precisará ter a função Leitor de Dados de Blob de Armazenamento na conta de armazenamento. 
    • Se você especificou um contêiner específico como parte da conexão, o objeto de autenticação escolhido precisará ter a função Leitor de Dados de Blob de Armazenamento no contêiner.  
    • Se você especificou uma pasta específica dentro de um contêiner (recomendado), o objeto de autenticação escolhido precisará ter a leitura (R) e Executar (E) no nível da pasta. Se você estiver usando a Entidade de Serviço ou a Identidade do Workspace como o tipo de autenticação, será necessário conceder a essa Entidade de Serviço ou à Identidade do Workspace permissões executar para a pasta raiz do contêiner e para cada pasta na hierarquia de pastas que levam à pasta especificada. 

    Para obter mais informações e etapas para conceder acesso ao ADLS, consulte o controle de acesso do ADLS.

  4. Habilite o Acesso ao Workspace Confiável para acessar contas do ADLS (ADLS) Gen2 habilitadas para firewall de maneira segura. O acesso de workspace confiável requer a criação de uma conexão diretamente com a conta de armazenamento do ADLS que pode ser usada independentemente da conexão do workspace do Azure Databricks. Para obter mais informações, consulte bancos de dados espelhados do Secure Fabric do Azure Databricks.

  5. Um atalho para tabelas do Catálogo do Unity é criado para as tabelas cujo nome da conta de armazenamento corresponde à conta de armazenamento especificada na conexão do ADLS. Para tabelas cujo nome de conta de armazenamento não corresponde à conta de armazenamento especificada na conexão do ADLS, os atalhos para essas tabelas não serão criados. 

Importante

Se você planeja usar a conexão do ADLS fora dos cenários de item de catálogo do Azure Databricks espelhado, também será necessário dar a função de Delegador de Blobs de Armazenamento na conta de armazenamento.

Habilitar a segurança do OneLake no item Mirrored Databricks

Mapeie as políticas do Uc (Catálogo do Unity) para a segurança do Microsoft OneLake seguindo estas etapas:

  1. Sincronize o Grupo entra e aplique permissões no Catálogo do Unity. No Azure Databricks, use o Gerenciamento Automático de Identidade para sincronizar um grupo de ID do Microsoft Entra e conceda a ele os privilégios necessários do Catálogo do Unity, por exemplo, USE, BROWSE, SELECT no catálogo/tabelas relevantes.
  2. Atribuir uma função de acesso a dados do OneLake. No workspace do Fabric, crie uma função de acesso a dados para os dados espelhados recentemente. Adicione o mesmo grupo Entra a essa função e conceda-lhe acesso de leitura aos atalhos do OneLake correspondentes às tabelas do Azure Databricks. Você pode começar a usar a segurança em nível de tabela imediatamente no botão Gerenciar segurança do OneLake na faixa de opções. Verifique se você mantém as configurações de acesso sincronizadas à medida que as estruturas e permissões do catálogo evoluem. Para obter mais informações, consulte o modelo de controle de acesso a dados do OneLake (versão prévia).

Conteúdo relacionado

  • Last updated on