Ler em inglês

Compartilhar via


Novidades e planos para o OneLake no Microsoft Fabric

Importante

Os planos de lançamento descrevem a funcionalidade que pode ou não ter sido lançada ainda. Os prazos de entrega e a funcionalidade projetada podem mudar ou não podem ser enviados. Consulte a política da Microsoft para obter mais informações.

O OneLake é um lago de dados único, unificado e lógico para toda a sua organização. Assim como o OneDrive, o OneLake vem automaticamente com todos os locatários do Microsoft Fabric e foi projetado para ser o único lugar para todos os seus dados de análise. 

Todos os dados no OneLake funcionam com governança pronta para uso, como linhagem de dados, proteção de dados, certificação, integração de catálogo etc. e, em última análise, estão sob o controle de um administrador de locatários. Em um locatário, os workspaces permitem que diferentes partes da organização trabalhem de forma independente enquanto ainda contribuem para o mesmo data lake.

OneLake está aberto em todos os níveis. O OneLake dá suporte às mesmas APIs e SDKs do ADLS Gen2 para ser compatível com aplicativos ADLS Gen2 existentes e pode dar suporte a qualquer tipo de arquivo, estruturado ou não estruturado.

O OneLake tem como objetivo oferecer a você o maior valor possível de uma única cópia de dados. Com os atalhos do OneLake, você pode unificar seus dados entre domínios, nuvens e contas criando uma referência aos dados armazenados em outros locais de arquivo, como outros locais do OneLake ou ADLS ou S3, sem movimentação ou duplicação de dados. Você também pode usar os mesmos dados em vários mecanismos analíticos porque os mecanismos do Fabric armazenam todos os dados tabulares nos formatos de parquet abertos. Não há mais necessidade de copiar dados apenas para usá-los com outro mecanismo.

Para saber mais, confira a documentação.

Regiões de investimento

Atalhos de tabela do OneLake para dados do Iceberg

Cronograma estimado de lançamento: 4º trimestre de 2024

Tipo de Versão: Visualização Pública

Com o Microsoft OneLake, você poderá criar atalhos de tabela para dados do Iceberg em outros locais, e esses dados aparecerão automaticamente com o formato Delta Lake.

O OneLake produz automaticamente metadados virtualizados do Delta Lake e os disponibiliza por meio do atalho do OneLake. Isso significa que você pode usar seus dados do Iceberg com todas as cargas de trabalho do Fabric que funcionam com dados formatados do Delta Lake.

Modelo de segurança do OneLake

Cronograma estimado de lançamento: 1º trimestre de 2025

Tipo de Versão: Visualização Pública

Gerenciar a segurança de dados em vários mecanismos analíticos e cópias de dados é um desafio. O OneLake e o Fabric simplificam isso, permitindo o uso de uma única cópia de dados em vários mecanismos analíticos sem qualquer movimentação ou duplicação de dados. Levando o conceito de "uma cópia" adiante, o OneLake também está aprimorando a segurança com um modelo mais refinado, permitindo o acesso a tabelas e pastas, além da segurança em nível de linha e coluna. Essas definições de segurança convivem com os dados e viajam por atalhos para onde quer que os dados sejam usados. A segurança definida no OneLake é aplicada de forma consistente em vários mecanismos analíticos do Fabric.

Disponibilidade geral das funções de acesso a dados do OneLake

Cronograma estimado de lançamento: 1º trimestre de 2025

Tipo de lançamento: Disponibilidade geral

As funções de acesso a dados do OneLake se baseiam nos recursos existentes do modelo de segurança do OneLake para aumentar a granularidade na qual a segurança pode ser aplicada em um item de dados do Fabric. Esse recurso adiciona um modelo RBAC (controle de acesso baseado em função) hereditário que simplifica o gerenciamento de usuários e permissões para dados no OneLake. Você pode definir direitos de acesso que concedem acesso de leitura a pastas específicas no OneLake e atribuí-los a usuários ou grupos. As permissões de acesso determinam quais pastas os usuários veem ao acessar a exibição do Lake dos dados, por meio da UX do lakehouse, notebooks ou APIs do OneLake.

Suporte de cache para gateway de dados local em atalhos do Onelake

Cronograma estimado de lançamento: 1º trimestre de 2025

Tipo de lançamento: Disponibilidade geral

O cache de atalho pode ser usado para reduzir os custos de saída associados ao acesso a dados entre nuvens. À medida que os arquivos são lidos por meio de um atalho externo, eles são armazenados em um cache para o espaço de trabalho do Fabric. As solicitações de leitura subsequentes são atendidas do cache e não do provedor de armazenamento remoto. Com a introdução do suporte de cache para o gateway de dados local, você pode aproveitar esses recursos ao se conectar a dados locais ou dados protegidos por um firewall.

Suporte de CI/CD para atalhos Onelake

Cronograma estimado de lançamento: 1º trimestre de 2025

Tipo de Versão: Visualização Pública

As ferramentas de gerenciamento do ciclo de vida do Microsoft Fabric fornecem um sistema padronizado para comunicação e colaboração entre todos os membros da equipe de desenvolvimento durante toda a vida útil do produto. Com a introdução do suporte CI/CD para atalhos Onelake, você pode gerenciar facilmente sua implantação de atalhos Onelake em todos os ambientes.

Fácil gerenciamento de atalhos órfãos do Onelake

Cronograma estimado de lançamento: 1º trimestre de 2025

Quando as pessoas trocam de equipe, saem da organização ou perdem certo acesso, seus atalhos Onelkae podem se tornar inutilizáveis. Com os novos recursos de gerenciamento desses atalhos órfãos, você pode restaurar facilmente seus atalhos sem impacto nos negócios.

Criptografia do OneLake com chaves gerenciadas pelo cliente

Cronograma de lançamento estimado: 2º trimestre de 2025

Tipo de Versão: Visualização Pública

Como parte de nosso roteiro estratégico para aprimorar a segurança e a conformidade dos dados, estamos planejando introduzir suporte para CMK (chaves gerenciadas pelo cliente) no OneLake. Isso fornecerá às organizações maior controle sobre suas chaves de criptografia de dados. Com a CMK, os usuários poderão gerenciar suas próprias chaves de criptografia, garantindo que seus dados sejam protegidos de acordo com suas políticas de segurança específicas e requisitos regulatórios. Se a chave do cliente for revogada, a Microsoft perderá o acesso aos dados do cliente no OneLake.

Feição(ões) enviada(s)

Catálogo do Fabric OneLake

Enviado (4º trimestre de 2024)

Tipo de lançamento: Disponibilidade geral

O catálogo OneLake é uma solução completa para explorar, gerenciar e controlar todo o seu patrimônio de dados do Fabric. O catálogo do OneLake é uma evolução da experiência do hub de dados do OneLake com aprimoramentos que ajudarão todos os usuários do Fabric a descobrir e gerenciar dados confiáveis, além de fornecer governança para proprietários de dados com insights valiosos, ações recomendadas e ferramentas. O catálogo do OneLake vem com duas guias: Explorar e Governar. Na guia Explorar, os usuários podem explorar e gerenciar todos os itens do Fabric aos quais têm acesso em um local central com filtros para domínios, tipo de item, proprietário, endosso, tags e muito mais. Os usuários podem clicar duas vezes em um item do Fabric para realizar ações ou explorar a descrição, a linhagem de dados, as permissões e a atividade. E na guia Governar, os proprietários de dados podem ter uma visão geral de seus dados com insights sobre endossos, rotulagem de dados, tipo de dados e muito mais, além de obter ações recomendadas para aprimorar seus dados para melhor qualidade e conformidade. A guia Explorar agora está disponível para o público em geral e a guia Governar estará disponível em breve em versão prévia.

Suporte do Catálogo do Databricks Unity para o OneLake

Enviado (3º trimestre de 2024)

Tipo de Versão: Visualização Pública

Integração do Catálogo do Unity do Azure Databricks com o Microsoft Fabric

Você poderá acessar as tabelas do Catálogo do Unity do Azure Databricks diretamente no Microsoft Fabric, facilitando ainda mais a unificação do Azure Databricks com o Microsoft Fabric. No portal do Fabric, você pode criar e configurar um novo item do Catálogo do Unity do Azure Databricks no Fabric com apenas alguns cliques. Você pode adicionar um catálogo completo, um esquema ou até mesmo tabelas individuais para vincular e o gerenciamento desse item do Azure Databricks no OneLake, um atalho conectado ao Catálogo do Unity, é feito automaticamente para você. Esses dados funcionam como quaisquer outros dados no OneLake — você pode escrever consultas SQL ou usá-los com qualquer outra carga de trabalho no Fabric, incluindo o Power BI por meio do modo Direct Lake. Quando os dados forem modificados ou as tabelas forem adicionadas, removidas ou renomeadas no Azure Databricks, os dados no Fabric permanecerão sempre sincronizados. Essa nova integração simplifica a unificação de dados do Azure Databricks no Fabric e o uso direto em todas as cargas de trabalho do Fabric.

Atalhos do OneLake para dados locais

Enviado (2º trimestre de 2024)

Tipo de Versão: Visualização Pública

Os atalhos do Microsoft OneLake estão se expandindo para incluir fontes de dados locais e restritas à rede. Com esse recurso, você pode unificar seus dados locais e na nuvem no OneLake.

Durante a criação de atalhos para buckets compatíveis com AWS S3, Google Cloud Storage ou S3, você poderá selecionar opcionalmente um gateway de dados local (OPDG) para estabelecer a conectividade.

Atalhos de armazenamento em nuvem do Google

Enviado (1º trimestre de 2024)

Tipo de Versão: Visualização Pública

O OneLake expandirá o suporte a atalhos para o Google Cloud Storage, permitindo a virtualização de dados sem movê-los ou duplicá-los. Isso permite a integração de dados do Google Cloud Storage com serviços da Microsoft, como ADLS gen2, OneLake, Dataverse e Amazon S3. Os dados aparecerão e funcionarão como se estivessem no OneLake e fornecerão um data lake simples que pode abranger nuvens.

API de atalhos

Enviado (1º trimestre de 2024)

Tipo de Versão: Visualização Pública

Uma API REST pública para automatizar a criação e o gerenciamento de cenários de atalho.

Armazenamento em cache inteligente para atalhos do Amazon S3

Enviado (4º trimestre de 2023)

Tipo de Versão: Visualização Pública

O armazenamento em cache inteligente para atalhos do Amazon S3 reduz os custos de saída e melhora o desempenho, aproximando os dados do mecanismo de computação. O cache inteligente sairá dados do S3 uma vez, armazenando-os em cache localmente no OneLake por um determinado período. Dessa forma, elimina a necessidade de recuperação repetida de dados do S3. Os dados armazenados em cache podem ser reutilizados em vários usuários, mecanismos analíticos e cenários que otimizam o valor de uma única saída.