Configurar conectores de dados federados no Microsoft Sentinel data lake

Este artigo explica como configurar conectores de dados federados para permitir a consulta de origens de dados externas a partir do Microsoft Sentinel data lake. Pode federar com o Azure Databricks, Azure Data Lake Storage (ADLS) Gen2 e Microsoft Fabric.

Pré-requisitos

Antes de configurar a federação de dados, certifique-se de que cumpre os seguintes requisitos:

• Sentinel inclusão do data lake: o seu inquilino tem de estar integrado no data lake Sentinel. Para obter mais informações, veja Integrar no Microsoft Sentinel data lake.

• Acessibilidade pública: a origem externa tem de estar acessível publicamente. Os pontos finais privados não são atualmente suportados.

• Principal de serviço: é necessário um principal de serviço com permissões adequadas na origem de dados com a qual pretende ligar-se para Azure databricks e origens de Azure Data Lake Storage Gen2. Para obter mais informações, veja Microsoft Entra ID registos de aplicações.

• Azure Key Vault: é necessário um Azure Key Vault configurado com o segredo do cliente do principal de serviço. O Microsoft Sentinel identidade da aplicação precisa de permissões atribuídas ao cofre de chaves. Para obter mais informações sobre como configurar Azure Cofres de chaves, veja Azure Key Vaults.

• permissões de Microsoft Sentinel: permissões de dados (gerir) em Tabelas de sistema para configurar um conector de federação de dados. Para obter mais informações, veja Funções e permissões na plataforma Microsoft Sentinel.

Criar um principal de serviço

Para Azure federação do Databricks e do ADLS Gen2, precisa de um principal de serviço com credenciais de acesso armazenadas no Azure Key Vault. Pode utilizar um principal de serviço existente ou utilizar os seguintes passos para criar um novo principal de serviço.

1. Criar um registo de aplicação Microsoft Entra ID:

   1. Na portal do Azure, navegue para Microsoft Entra ID>Registos de aplicações.
   2. Selecione Novo registo.
   3. Introduza um nome para a aplicação.
   4. Deixe o URI de redirecionamento vazio (não é necessário para este cenário).
   5. Selecione Registar.

2. Criar um segredo do cliente:

   1. No registo de aplicações, aceda a Certificados & segredos.
   2. Selecione Novo segredo do cliente.
   3. Introduza uma descrição e selecione um período de expiração.
   4. Selecione Adicionar.
   5. Copie imediatamente o valor do segredo do cliente para utilização na secção seguinte. Não pode obter este valor depois de sair da página.

3. Tenha em atenção os detalhes da aplicação:

   • ID da aplicação (cliente)
   • ID do Objeto
   • ID do diretório (inquilino)

Para obter mais informações sobre como criar principais de serviço, veja Microsoft Entra ID registos de aplicações.

Criar um Azure Key Vault e armazenar credenciais

Pode utilizar uma Azure Key Vault existente e seguir os passos abaixo para configurar Key Vault acesso ou criar um novo Key Vault com os seguintes passos:

1. Crie uma Azure Key Vault:

   1. Na portal do Azure, crie uma nova Azure Key Vault.
   2. Utilize o Azure modelo de permissão de controlo de acesso baseado em funções (recomendado).
   3. Ative as definições de eliminação recuperável e proteção de remoção para o cofre de chaves.
   4. Anote o URI Key Vault após a criação.

2. Configurar o acesso Key Vault:

   1. Atribua a função de Utilizador de Segredos Key Vault à identidade gerida da plataforma Microsoft Sentinel. A identidade tem o prefixo msg-resources-.
   2. Se estiver a utilizar políticas de acesso para Key Vaults em vez de Azure controlo de acesso baseado em funções, forneça as permissões para Obter e Listar para Operações de Gestão de Segredos.

3. Armazene o segredo do cliente no Key Vault:

   1. Na sua Key Vault, aceda aGerar/ImportarSegredos>.
   2. Crie um novo segredo que contenha o segredo do cliente do principal de serviço.
   3. Anote o nome do segredo. É utilizado ao configurar a instância do conector de federação de dados.

Para obter mais informações sobre como configurar Azure Cofres de chaves, veja Azure Key Vaults.

Conectores de dados federados

Os conectores federados são geridos na página Conectores de dados no Microsoft Sentinel no portal do Defender.

1. Navegue para Microsoft Sentinel>Configuração>Conectores de dados.

2. Em Federação de dados, selecione Catálogo para ver os conectores federados disponíveis.

   A página do catálogo apresenta:

   • Tipos de conectores de federação disponíveis
   • Número de instâncias configuradas para cada conector
   • Informações de suporte e publicador

   

3. Selecione a página Os meus conectores para ver todas as instâncias do conector configuradas. A página lista as instâncias do conector de federação de dados do inquilino juntamente com o respetivo nome a apresentar, versão, estado e fornecedor de suporte.

4. Selecione cada instância para ver detalhes, editar configurações ou eliminar a instância.

Criar uma instância do conector

O processo de criação de uma instância de conector varia consoante a origem de dados externa à qual se está a ligar. Siga as instruções para o seu tipo de origem de dados específico.

Microsoft Fabric

Criar uma instância do conector do Microsoft Fabric

Antes de configurar a instância do conector recursos de infraestrutura, tem de configurar permissões no ambiente do Microsoft Fabric para permitir que Microsoft Sentinel acedam aos dados.

• Configurar as definições de administrador no Microsoft Fabric para que o inquilino esteja ativado para Partilha de dados externos. Para obter mais informações, consulte Criar uma partilha de dados externa

• Configure as definições de administrador no Microsoft Fabric para que a definição esteja ativada para principais de serviço que podem chamar APIs públicas do Fabric. Para obter mais informações, veja Principais de serviço que podem chamar APIs públicas de Recursos de Infraestrutura

• Adicione a identidade da plataforma Sentinel, com msg-resources- o prefixo como Membro da Área de Trabalho no Lakehouse a partir do qual pretende federar tabelas. Para obter mais informações, veja Conceder acesso a áreas de trabalho.

1. Na páginaCatálogo de Federação> de Dados, selecione a linha Microsoft Fabric.

2. No painel lateral, selecione Ligar um conector.

3. Enter the following information:

   Campo	Descrição
   Nome da instância	Um nome amigável para esta instância do conector. Este nome de instância é anexado às tabelas representadas no lake desta instância.
   ID da área de trabalho dos recursos de infraestrutura	ID da área de trabalho Recursos de Infraestrutura a federar. Quando navega para a área de trabalho Recursos de Infraestrutura ou Lakehouse, o ID da área de trabalho encontra-se no URL após /groups/
   ID da tabela lakehouse	ID da tabela Fabric Lakehouse a federar. Quando navega para o Lakehouse dos Recursos de Infraestrutura, o ID do lakehouse é apresentado no URL após /lakehouses/.

4. Selecione Seguinte.

   

5. Selecione as tabelas que pretende federar.

6. Selecione Seguinte.

7. Reveja a configuração de destino de federação.

8. Selecione Ligar para criar a instância de ligação.

Nota

Os ficheiros na origem de dados de destino têm de estar no formato delta parquet para serem lidos a partir do data lake Sentinel.

Azure Data Lake Storage Gen2

Criar uma instância do conector do ADLS Gen2

Antes de criar o conector, prepare a sua conta de armazenamento:

1. Se estiver a criar uma nova conta de armazenamento, certifique-se de que a definição Espaços de nomes hierárquicos está ativada.

2. Atribua a função Leitor de Dados do Blob de Armazenamento ao principal de serviço que criou anteriormente. Para obter mais informações sobre como conceder acesso através do portal do Azure, veja Atribuir funções de Azure com o portal do Azure - Azure RBAC.

3. Na páginaCatálogo de Federação> de Dados, selecione Azure Data Lake Storage.

4. Selecione Ligar um conector.

5. Configure os seguintes detalhes de nome e ligação:

   Campo	Descrição
   Nome da instância	Um nome amigável para esta instância do conector. O nome da instância é acrescentado aos nomes das tabelas no lago.
   ID da aplicação (cliente)	GUID do principal de serviço com acesso ao Key Vault e à origem de dados de destino.
   URI do Azure Key Vault	URI do Key Vault que contém o segredo de autenticação do principal de serviço.
   Nome do segredo	Nome do segredo no Key Vault que contém o segredo do cliente do principal de serviço
   URL do Azure Data Lake Storage	URL do ponto final do ADLS Gen2 (tem de estar acessível publicamente)

6. Selecione Seguinte para continuar.

   

7. Selecione as tabelas que pretende federar a partir da sua conta de armazenamento do ADLS Gen2.

8. Procure as tabelas disponíveis no armazenamento do ADLS Gen2.

9. Selecione pelo menos uma tabela para federar.

10. Selecione Seguinte para continuar.

    

11. Depois de selecionar as tabelas, reveja as definições de configuração.

12. Selecione Ligar para criar a instância do conector.

13. Se precisar de fazer alterações, selecione Voltar para voltar aos passos anteriores.

    

Selecione Ligar para concluir a configuração da instância do conector do ADLS Gen2. O assistente é fechado e a contagem de instâncias de Azure Data Lake Storage Gen2 aumenta.

Azure Databricks

Criar uma instância do conector do Azure Databricks

Antes de criar o conector, configure o acesso no seu ambiente do Databricks da seguinte forma:

1. No Azure Databricks, selecione o catálogo ao qual pretende ligar a partir do Microsoft Sentinel data lake.

2. Selecione o ícone de engrenagem do catálogo e selecione Metastore.

3. Na página de detalhes do metastore, defina Acesso a dados externos como Ativado.

4. No catálogo com o qual está a federar, selecione Permissões e, em seguida, selecione Conceder.

5. Procure o principal de serviço que criou anteriormente.

6. Conceda ao principal de serviço a predefinição de privilégios do Leitor de Dados e selecione Permissão de Esquema de Utilização Externa e selecione Confirmar.

7. No canto superior direito do Azure ecrã do Databricks, selecione a sua conta e selecione Definições.

8. Em Identidade e acesso, selecione o botão Gerir junto a Principais de serviço.

9. Selecione Adicionar principal de serviço

10. Utilize a caixa Principal de serviço para selecionar um principal existente.

11. Selecione o principal de serviço que criou anteriormente e selecione Adicionar.

Criar a instância do conector

1. Na páginaCatálogo de Federação> de dados, selecione a linha Azure Databricks.

2. No painel lateral, selecione Ligar um conector.

3. Introduza os seguintes detalhes:

   Campo	Descrição
   Nome da instância	Um nome amigável para esta instância do conector
   Principal ID	GUID do principal de serviço com acesso Key Vault
   URI do Azure Key Vault	URI do Key Vault que contém o segredo de autenticação
   Nome do segredo	Nome do segredo no Key Vault que contém as informações de ligação do Databricks
   Databricks URL	URL da instância do Azure Databricks (tem de estar acessível publicamente)
   Nome do catálogo	Nome do catálogo no Azure Databricks para federar
   Nome do esquema	Nome do esquema no Azure Databricks a federar

   

4. Selecione Seguinte.

5. Selecione as tabelas que pretende federar a partir do Azure instância do Databricks.

6. Selecione Seguinte para continuar.

   

7. Reveja as definições de configuração.

8. Selecione Ligar para criar a instância do conector.

9. Se precisar de fazer alterações, selecione Voltar para voltar aos passos anteriores.

Depois de selecionar Ligar, o assistente fecha e a contagem de instâncias do Databricks aumenta.

Verificar tabelas da instância do conector

Depois de criar uma instância do conector, verifique se as tabelas federadas estão disponíveis no Microsoft Sentinel.

1. Navegue para Microsoft Sentinel > Tabelas de Configuração>.

2. Filtre por Tipo Federado para ver todas as tabelas federadas.

3. Procure pelo nome da instância do conector.

4. As tabelas da instância do conector são listadas com o respetivo nome seguido de _instance name. Por exemplo, se o nome da instância do conector de dados era GlobalHRData e a tabela se chamava hrlogs, o nome da tabela é apresentado como hrlogs_GlobalHRData.

5. Selecione uma tabela na lista para abrir o painel de detalhes.

6. Selecione o separador Descrição geral para ver o tipo de tabela e o fornecedor de federação.

7. Selecione o separador Origem de dados para ver o fornecedor de dados da instância do conector e o produto de origem da tabela. Selecionar o nome da instância do conector leva-o para essa instância em Os Meus Conectores nos Conectores de Dados.

8. Selecione o separador Esquema para ver o esquema da tabela.

9. No separador Esquema , selecione Atualizar para atualizar o esquema de tabela associado à tabela federada.

Gerir instâncias do conector

Para modificar ou eliminar uma instância do conector:

1. Navegue para apágina Os meus conectores de federação> de dados.
2. Selecione a instância do conector que pretende gerir.
3. No painel de detalhes, utilize as opções disponíveis para:
   • Editar definições de ligação
   • Adicionar ou remover tabelas federadas
   • Eliminar a instância do conector

Nota

As instâncias de ligação do Microsoft Fabric não suportam a edição. Pode criar uma nova ligação federada para adicionar mais tabelas ou pode eliminar a instância de ligação recursos de infraestrutura e recriá-la com o mesmo nome de instância e um conjunto diferente de tabelas selecionadas.

Resolução de Problemas

Falha na ligação

• Verifique se a identidade gerida da plataforma Sentinel com o prefixo tem msg-resources- as permissões corretas no Azure Key Vault.

• Se a origem da ligação estiver Azure Databricks ou Azure Data Lake Storage Gen2, certifique-se de que o segredo Key Vault contém o segredo de cliente correto para o principal de serviço.

• A rede Key Vault tem de ser definida como Permitir acesso público a partir de todas as redes durante a configuração do conector, que é a configuração predefinida do Key Vault. Pode ser alterado após a criação ou edição do conector.

• Confirme que a origem de dados externa está acessível publicamente.

• Verifique se o principal de serviço tem as permissões adequadas na origem de dados de destino para Azure Databricks e ADLS.

• Se a origem de dados de destino for Recursos de Infraestrutura, verifique se a msg-resources- identidade com prefixo para Microsoft Sentinel foi concedida permissão como Membro da Área de Trabalho.

• Verifique se não tem mais de 100 instâncias de ligação.

Nota

O ADLS e o Azure Databricks utilizam uma instância de ligação por ligação federada. Os recursos de infraestrutura podem utilizar mais instâncias por ligação federada. Para Recursos de Infraestrutura, cada esquema lakehouse na sua ligação federada conta para o limite de 100 instâncias.

As tabelas não aparecem

• Verifique se o principal de serviço tem acesso de leitura às tabelas de destino do ADLS e do Azure Databricks e se o principal de serviço está no mesmo inquilino que estas origens de dados.

• Para o Databricks, certifique-se de que concedeu a predefinição de privilégios do Leitor de Dados incorporado e a permissão Esquema de Utilização Externa ao principal de serviço.

• Para o ADLS Gen2, confirme que a função Leitor de Dados do Blob de Armazenamento está atribuída ao principal de serviço.

Problemas de desempenho de consultas

• Considere o tamanho dos dados que estão a ser consultados a partir de origens externas.

• Otimize as consultas para filtrar dados mais cedo.

• Verifique a conectividade de rede entre Sentinel e a origem externa.

Passos seguintes

• Descrição geral da federação de dados
• Consultar tabelas federadas com KQL