Armazenamento padrão no Databricks

Esta página explica como funciona o armazenamento por defeito no Azure Databricks e como criar catálogos e objetos de dados que o utilizam.

O que é armazenamento padrão?

O armazenamento padrão é uma plataforma de armazenamento de objetos totalmente gerida que fornece armazenamento pronto a usar na sua conta Azure Databricks. Algumas funcionalidades do Azure Databricks usam armazenamento predefinido como alternativa ao armazenamento externo.

Os espaços de trabalho serverless usam armazenamento padrão para armazenamento interno e do espaço de trabalho, assim como para o catálogo padrão que é criado com o espaço de trabalho. Em espaços de trabalho serverless, pode criar catálogos adicionais tanto em armazenamento predefinido como no seu próprio armazenamento de objetos na nuvem.

Tanto em espaços de trabalho clássicos como em espaços de trabalho serverless, o armazenamento padrão é usado por funcionalidades para armazenar coisas como metadados do plano de controlo, dados derivados, modelos e outros artefactos. Por exemplo, Salas Limpas, Classificação de Dados, Deteção de Anomalias e Agentes Bricks utilizam todos o armazenamento padrão de um espaço de trabalho. Consulte a documentação de funcionalidades individuais para detalhes sobre o que cada funcionalidade armazena no armazenamento padrão.

Requerimentos

• A criação de catálogos em armazenamento padrão só está disponível em espaços de trabalho sem servidor (Pré-visualização).
• Por padrão, os catálogos que usam armazenamento padrão só são acessíveis a partir do espaço de trabalho onde são criados. Pode conceder acesso a outros espaços de trabalho, incluindo espaços de trabalho clássicos, mas eles têm de usar computação sem servidor para aceder a dados no catálogo. Consulte Limitar o acesso do catálogo a espaços de trabalho específicos.
• Você deve ter CREATE CATALOG privilégios para criar um catálogo com armazenamento padrão. Consulte privilégios do Catálogo Unity e objetos securitizáveis.
• Se o seu cliente estiver a usar o driver ODBC do Azure Databricks para aceder a um catálogo de armazenamento predefinido a partir de um firewall, deve configurar o firewall para permitir o acesso aos gateways regionais de armazenamento do Azure Databricks. Para detalhes de IP e nomes de domínio para armazenamento predefinido, consulte endereços IP e domínios para serviços e ativos Azure Databricks.

Criar um novo catálogo

Conclua as seguintes etapas para criar um novo catálogo usando o armazenamento padrão:

1. Clique no Catálogo na barra lateral. O Catalog Explorer é exibido.
2. Clique em Criar o catálogo. A caixa de diálogo Criar um novo catálogo é exibida.
3. Forneça um nome de catálogo exclusivo na sua conta.
4. Selecione a opção Usar armazenamento padrão.
5. Clique em Criar.

Em espaços de trabalho sem servidor, você também pode usar o seguinte comando SQL para criar um novo catálogo em seu armazenamento padrão. Não é necessário especificar um local para o catálogo.

CREATE CATALOG [ IF NOT EXISTS ] catalog_name
    [ COMMENT comment ]

Trabalhar com armazenamento padrão

Todas as interações com o armazenamento padrão exigem computação sem servidor, habilitada para Unity Catalog.

Os recursos apoiados pelo armazenamento padrão usam o mesmo modelo de privilégio que outros objetos no Unity Catalog. Você deve ter privilégios suficientes para criar, exibir, consultar ou modificar objetos de dados. Consulte privilégios do Catálogo Unity e objetos securitizáveis.

Você trabalha com armazenamento padrão criando e interagindo com tabelas gerenciadas e volumes gerenciados apoiados pelo armazenamento padrão. Consulte Tabelas gerenciadas do Catálogo Unity no Azure Databricks para Delta Lake e Apache Iceberg e O que são volumes do Catálogo Unity?.

Você pode usar o Gerenciador de Catálogos, blocos de anotações, o editor SQL e painéis para interagir com objetos de dados armazenados no armazenamento padrão.

Exemplos de tarefas

A seguir estão exemplos de tarefas que você pode concluir com o armazenamento padrão:

• Carregue arquivos locais para um volume gerenciado ou para criar uma tabela gerenciada. Consulte Carregar arquivos para um volume do Catálogo Unity e Criar ou modificar uma tabela usando o upload de arquivos.
• Consultar dados com blocos de notas. Consulte Tutorial: Consultar e visualizar dados de um bloco de anotações.
• Crie um painel. Consulte Criar um painel.
• Consultar dados com SQL e agendar consultas SQL. Consulte Escrever consultas e explorar dados no novo editor SQL.
• Ingerir dados de um volume externo para uma tabela gerenciada. Consulte Usando o carregador automático com o catálogo Unity.
• Ingerir dados em uma tabela gerenciada com o Fivetran. Consulte Conectar-se ao Fivetran.
• Use ferramentas de BI para explorar tabelas gerenciadas. Consulte Conectar o Tableau e o Azure Databricks e o Power BI com o Azure Databricks.
• Execute blocos de anotações sem servidor. Consulte Computação sem servidor para blocos de anotações.
• Execute trabalhos sem servidor. Consulte Executar seus trabalhos do Lakeflow com computação sem servidor para fluxos de trabalho.
• Execute o modelo servindo pontos de extremidade. Consulte Implementar modelos utilizando o Mosaic AI Model Serving.
• Execute pipelines declarativos do Lakeflow Spark sem servidor. Consulte Configurar um pipeline sem servidor.
• Use a otimização preditiva em suas tabelas. Consulte Otimização preditiva para tabelas gerenciadas do Unity Catalog.

Limitações

Aplicam-se as seguintes limitações:

• A computação clássica (qualquer computação que não seja sem servidor) não pode interagir com ativos de dados no armazenamento padrão.
• O Compartilhamento Delta oferece suporte ao compartilhamento de tabelas para qualquer destinatário — aberto ou Azure Databricks — e os destinatários podem usar a computação clássica para acessar tabelas compartilhadas (Beta). Habilite o recurso Compartilhamento Delta para Armazenamento Padrão – Acesso Expandido no console da sua conta.
  • Este recurso não é suportado nas seguintes regiões: southcentralus, uksouthe westus2.
  • Todos os outros ativos compartilháveis só podem ser compartilhados Delta com destinatários do Azure Databricks na mesma nuvem. Os destinatários devem usar computação sem servidor.
• As tabelas com particionamento ativado não podem ser compartilhadas com Delta.
• Clientes externos Iceberg e Delta não conseguem aceder diretamente aos metadados subjacentes, lista de manifestos e ficheiros de dados para tabelas UC no armazenamento padrão (o acesso FileIO não é suportado). No entanto, ferramentas de BI como o Power BI e o Tableau podem aceder a tabelas de catálogo Unity em armazenamento predefinido usando drivers ODBC e JDBC. Os clientes externos também podem aceder a volumes do Unity Catalog em armazenamento predefinido usando a API de Ficheiros.
• O armazenamento padrão suporta acesso externo via drivers ODBC do Azure Databricks e JDBC, incluindo a otimização de desempenho Cloud Fetch do driver ODBC para consultas em conjuntos de dados maiores. No entanto, se estiver a aceder a uma tabela de armazenamento padrão a partir de um espaço de trabalho que tenha a Ligação Privada front-end ativada, as consultas do cliente ODBC com mais de 100 MB irão falhar porque a otimização Cloud Fetch para tabelas de armazenamento padrão não suporta atualmente a Ligação Privada front-end.