Armazenamento padrão no Databricks

Esta página explica como o armazenamento padrão no Azure Databricks funciona e como criar catálogos e objetos de dados que o usam.

O que é o armazenamento padrão?

O armazenamento padrão é uma plataforma de armazenamento de objetos totalmente gerenciado que fornece armazenamento pronto para uso em sua conta do Azure Databricks. Alguns recursos do Azure Databricks usam o armazenamento padrão como uma alternativa ao armazenamento externo.

Os espaços de trabalho sem servidor usam o armazenamento padrão para o armazenamento interno e do espaço de trabalho, e para o catálogo padrão que é criado com o espaço de trabalho. Em workspaces sem servidor, você pode criar catálogos adicionais no armazenamento padrão ou em seu próprio armazenamento de objetos de nuvem.

Em workspaces clássicos e workspaces sem servidor, o armazenamento padrão é usado por recursos para armazenar itens como metadados do plano de controle, dados derivados, modelos e outros artefatos. Por exemplo, Salas Limpas, Classificação de Dados, Detecção de Anomalias e Blocos do Agente usam o armazenamento padrão do espaço de trabalho. Consulte a documentação de recursos individuais para obter detalhes sobre o que cada recurso armazena no armazenamento padrão.

Requisitos

• A criação de catálogos no armazenamento padrão só está disponível em workspaces sem servidor (Visualização Pública).
• Por padrão, os catálogos que usam o armazenamento padrão só podem ser acessados no workspace em que são criados. Você pode conceder acesso a outros workspaces, incluindo workspaces clássicos, mas devem utilizar computação sem servidor para acessar dados no catálogo. Consulte Limitar acesso do catálogo a espaços de trabalho específicos.
• Você deve ter CREATE CATALOG privilégios para criar um catálogo com armazenamento padrão. Confira Privilégios e objetos protegíveis do Catálogo do Unity.
• Se o cliente estiver usando o driver ODBC do Azure Databricks para acessar um catálogo de armazenamento padrão por trás de um firewall, você deverá configurar o firewall para permitir o acesso aos gateways de armazenamento regionais do Azure Databricks. Para obter detalhes de ip e nome de domínio para armazenamento padrão, consulte endereços IP e domínios para serviços e ativos do Azure Databricks.

Criar um novo catálogo

Conclua as seguintes etapas para criar um novo catálogo usando o armazenamento padrão:

1. Clique no Catálogo na barra lateral. O Gerenciador de Catálogos é exibido.
2. Clique em Criar catálogo. A caixa de diálogo Criar um novo catálogo é exibida.
3. Forneça um nome de catálogo exclusivo em sua conta.
4. Selecione a opção para usar o armazenamento padrão.
5. Clique em Criar.

Em workspaces sem servidor, você também pode usar o seguinte comando SQL para criar um novo catálogo em seu armazenamento padrão. Você não precisa especificar um local para o catálogo.

CREATE CATALOG [ IF NOT EXISTS ] catalog_name
    [ COMMENT comment ]

Trabalhar com armazenamento padrão

Todas as interações com o armazenamento padrão exigem computação habilitada para Catálogo do Unity sem servidor.

Os recursos apoiados pelo armazenamento padrão usam o mesmo modelo de privilégio que outros objetos no Catálogo do Unity. Você deve ter privilégios suficientes para criar, exibir, consultar ou modificar objetos de dados. Confira Privilégios e objetos protegíveis do Catálogo do Unity.

Você trabalha com o armazenamento padrão criando e interagindo com tabelas gerenciadas e volumes gerenciados apoiados pelo armazenamento padrão. Consulte tabelas gerenciadas do Unity Catalog no Azure Databricks para Delta Lake e Apache Iceberg e O que são volumes do Unity Catalog?.

Você pode usar o Gerenciador de Catálogos, notebooks, o editor de SQL e dashboards para interagir com objetos de dados armazenados no armazenamento padrão.

Tarefas de exemplo

Veja a seguir exemplos de tarefas que você pode concluir com o armazenamento padrão:

• Carregue arquivos locais em um volume gerenciado ou para criar uma tabela gerenciada. Consulte Carregar arquivos em um volume do Catálogo do Unity e criar ou modificar uma tabela usando o upload de arquivo.
• Consultar dados com notebooks. Confira o Tutorial: Consultar e visualizar dados de um notebook.
• Crie um painel. Consulte Criar um painel.
• Consultar dados com SQL e agendar consultas SQL. Consulte Consultas de gravação e explore dados no novo editor do SQL.
• Ingerir dados de um volume externo para uma tabela gerenciada. Consulte Como usar o Carregador Automático com o Catálogo do Unity.
• Ingerir dados em uma tabela gerenciada com Fivetran. Consulte Conectar ao Fivetran.
• Use ferramentas de BI para explorar tabelas gerenciadas. Consulte o Connect Tableau e o Azure Databricks e o Power BI com o Azure Databricks.
• Execute notebooks sem servidor. Consulte Computação sem servidor para notebooks.
• Execute trabalhos sem servidor. Consulte Executar seus Trabalhos do Lakeflow com computação sem servidor para fluxos de trabalho.
• Execute o modelo servindo pontos de extremidade. Consulte Implantar modelos usando o Serviço de Modelos de IA da Mosaic.
• Execute projetos de pipelines declarativos sem servidor do Lakeflow Spark. Consulte Configurar um pipeline sem servidor.
• Use a otimização preditiva em suas tabelas. Consulte Otimização Preditiva para Tabelas Gerenciadas do Unity Catalog.

Limitações

As seguintes limitações se aplicam:

• A computação clássica (qualquer computação que não seja sem servidor) não pode interagir com ativos de dados no armazenamento padrão.
• O Delta Sharing dá suporte ao compartilhamento de tabelas para qualquer destinatário — aberto ou a Azure Databricks — e os destinatários podem usar a computação clássica para acessar tabelas compartilhadas (Beta). Habilite o Compartilhamento Delta para armazenamento padrão – Acesso Expandido no console da sua conta.
  • Não há suporte para esse recurso nas seguintes regiões: southcentralus, uksouthe westus2.
  • Todos os outros ativos compartilháveis só podem ser compartilhados através do Delta com destinatários do Azure Databricks na mesma nuvem. Os destinatários devem usar a computação sem servidor.
• Tabelas com particionamento habilitado não podem ser compartilhadas por Delta.
• Os clientes externos dos sistemas Iceberg e Delta não podem ter acesso direto aos metadados, à lista de manifestos e aos arquivos de dados subjacentes para tabelas UC no armazenamento padrão (acesso ao FileIO não é suportado). No entanto, ferramentas de BI, como o Power BI e o Tableau, podem acessar tabelas do Catálogo do Unity no armazenamento padrão usando drivers ODBC e JDBC. Os clientes externos também podem acessar volumes do Catálogo do Unity no armazenamento padrão usando a API de Arquivos.
• O armazenamento padrão dá suporte ao acesso externo por meio de drivers ODBC e JDBC do Azure Databricks, incluindo a otimização de desempenho do Cloud Fetch do driver ODBC para consultas em conjuntos de dados maiores. No entanto, se você estiver acessando uma tabela de armazenamento padrão de um workspace que tenha o Link Privado de front-end habilitado, as consultas de cliente ODBC maiores que 100 MB falharão porque a otimização do Cloud Fetch para tabelas de armazenamento padrão não dá suporte ao Link Privado de front-end no momento.