O que é DBFS?
O termo DBFS é usado para descrever duas partes da plataforma:
- Raiz do DBFS
- Montagens DBFS
Armazenar e acessar dados usando a raiz DBFS ou montagens DBFS é um padrão preterido e não recomendado pelo Databricks. Para obter recomendações sobre como trabalhar com arquivos, consulte Trabalhar com arquivos no Azure Databricks.
O que é o Databricks File System?
O termo DBFS vem do Databricks File System, que descreve o sistema de arquivos distribuído usado pelo Azure Databricks para interagir com o armazenamento baseado em nuvem.
A tecnologia subjacente associada ao DBFS ainda faz parte da plataforma Azure Databricks. Por exemplo, dbfs:/ é um esquema opcional ao interagir com volumes do Catálogo Unity.
Avisos e advertências passados e atuais sobre DBFS só se aplicam à raiz DBFS ou montagens DBFS.
Como o DBFS funciona com o Unity Catalog?
O Databricks recomenda o uso do Unity Catalog para gerenciar o acesso a todos os dados.
O Unity Catalog adiciona os conceitos de locais externos, credenciais de armazenamento e volumes para ajudar as organizações a fornecer o acesso menos privilegiado aos dados no armazenamento de objetos na nuvem.
Algumas configurações de segurança fornecem acesso direto aos recursos gerenciados pelo Unity Catalog e DBFS, principalmente para organizações que concluíram migrações ou migraram parcialmente para o Unity Catalog. Consulte Práticas recomendadas para DBFS e Unity Catalog.
O que é a raiz DBFS?
A raiz DBFS é um local de armazenamento provisionado durante a criação do espaço de trabalho na conta de nuvem que contém o espaço de trabalho do Azure Databricks. Para obter detalhes sobre a configuração e implantação da raiz DBFS, consulte o início rápido do Azure Databricks.
O Databricks não recomenda o armazenamento de dados de produção, bibliotecas ou scripts na raiz DBFS. Consulte Recomendações para trabalhar com a raiz DBFS.
Para configurar chaves gerenciadas pelo cliente para a conta de armazenamento que inclui a raiz DBFS, consulte Chaves gerenciadas pelo cliente para raiz DBFS.
Para limitar o acesso à rede à conta de armazenamento que inclui a raiz DBFS, consulte Habilitar suporte de firewall para sua conta de armazenamento de espaço de trabalho.
Montar armazenamento de objetos
Nota
As montagens DBFS foram preteridas. O Databricks recomenda o uso de volumes do Catálogo Unity. Consulte O que são volumes do Catálogo Unity?.
A montagem do armazenamento de objetos no DBFS permite que você acesse objetos no armazenamento de objetos como se estivessem no sistema de arquivos local. As montagens armazenam as configurações do Hadoop necessárias para acessar o armazenamento. Para obter mais informações, consulte Montagem do armazenamento de objetos na nuvem no Azure Databricks.