Хранилище по умолчанию в Databricks

На этой странице объясняется, как работает хранилище по умолчанию в Azure Databricks и как создавать каталоги и объекты данных, которые используют его.

Что такое хранилище по умолчанию?

Хранилище по умолчанию — это полностью управляемая платформа хранения объектов, которая предоставляет готовое к использованию хранилище в учетной записи Azure Databricks. Некоторые функции Azure Databricks используют хранилище по умолчанию в качестве альтернативы внешнему хранилищу.

Бессерверные рабочие области используют хранилище по умолчанию для внутреннего и рабочего хранилищ, а также для каталога по умолчанию, создаваемого внутри рабочей области. В бессерверных рабочих областях можно создавать дополнительные каталоги в хранилище по умолчанию или в собственном облачном хранилище объектов.

В классических рабочих областях и бессерверных рабочих областях хранилище по умолчанию используется функциями для хранения метаданных плоскости управления, производных данных, моделей и других артефактов. Например, "Чистые комнаты", "Классификация данных", " Обнаружение аномалий" и "Кирпичи агента " используют хранилище рабочей области по умолчанию. Дополнительные сведения о том, какие компоненты хранятся в хранилище по умолчанию, см. в документации по отдельным функциям.

Замечание

Сведения о мониторинге затрат на хранение по умолчанию в учетной записи см. в статье "Мониторинг затрат на хранение по умолчанию".

Требования

• Создание каталогов в хранилище по умолчанию доступно только в бессерверных рабочих областях (общедоступная предварительная версия).
• По умолчанию каталоги, использующие хранилище по умолчанию, доступны только из рабочей области, в которой они создаются. Вы можете предоставить другим рабочим областям доступ, включая классические рабочие области, но они должны использовать бессерверные вычисления для доступа к данным в каталоге. См. раздел Ограничение доступа к каталогу для определенных рабочих областей.
• Для создания каталога с хранилищем по умолчанию необходимо иметь CREATE CATALOG права. Ознакомьтесь с привилегиями каталога Unity и защищаемыми объектами.
• Если клиент использует драйвер ODBC Azure Databricks для доступа к каталогу хранилища по умолчанию за брандмауэром, необходимо настроить брандмауэр, чтобы разрешить доступ к шлюзам регионального хранилища Azure Databricks. Сведения о IP-адресе и доменном имени для хранилища по умолчанию см. в разделах IP-адресов и доменов для служб и ресурсов Azure Databricks.

Создание нового каталога

Выполните следующие действия, чтобы создать новый каталог с помощью хранилища по умолчанию:

1. Щелкните Каталог на боковой панели. Откроется обозреватель каталогов.
2. Нажмите Создать каталог. Откроется диалоговое окно "Создание нового каталога ".
3. Укажите имя каталога , уникальное в вашей учетной записи.
4. Выберите параметр "Использовать хранилище по умолчанию".
5. Нажмите кнопку Создать.

В бессерверных рабочих областях можно также использовать следующую команду SQL для создания нового каталога в хранилище по умолчанию. Вам не нужно указывать расположение каталога.

CREATE CATALOG [ IF NOT EXISTS ] catalog_name
    [ COMMENT comment ]

Работа с хранилищем по умолчанию

Для всех взаимодействий с хранилищем по умолчанию требуются бессерверные вычислительные ресурсы с поддержкой каталога Unity.

Ресурсы, поддерживаемые хранилищем по умолчанию, используют ту же модель привилегий, что и другие объекты в каталоге Unity. Необходимо иметь достаточные привилегии для создания, просмотра, запроса или изменения объектов данных. Ознакомьтесь с привилегиями каталога Unity и защищаемыми объектами.

Вы работаете с хранилищем по умолчанию, создавая и взаимодействуя с управляемыми таблицами и управляемыми томами, поддерживаемыми хранилищем по умолчанию. Ознакомьтесь с управляемыми таблицами каталога Unity в Azure Databricks для Delta Lake и Apache Iceberg и что такое тома каталога Unity?.

Обозреватель каталогов, записные книжки, редактор SQL и панели мониторинга можно использовать для взаимодействия с объектами данных, хранящимися в хранилище по умолчанию.

Примеры задач

Ниже приведены примеры задач, которые можно выполнить с хранилищем по умолчанию.

• Отправьте локальные файлы в управляемый том или создайте управляемую таблицу. См. статью "Отправка файлов в том каталога Unity " и создание или изменение таблицы с помощью отправки файлов.
• Запрос данных с помощью записных книжек. См . руководство. Запрос и визуализация данных из записной книжки.
• Создайте панель мониторинга. См . статью "Создание панели мониторинга".
• Запрашивать данные с помощью SQL и планировать sql-запросы. См . статью "Запись запросов" и изучение данных в новом редакторе SQL.
• Прием данных из внешнего тома в управляемую таблицу. См. раздел "Использование автозагрузчика" с каталогом Unity.
• Прием данных в управляемую таблицу с помощью Fivetran. См. раздел "Подключение к Fivetran".
• Используйте средства бизнес-аналитики для изучения управляемых таблиц. См. статью Connect Tableau и Azure Databricks и Power BI с помощью Azure Databricks.
• Запуск бессерверных записных книжек. См. Бессерверные вычисления для блокнотов.
• Выполнение бессерверных заданий. См. статью "Запуск заданий Lakeflow с бессерверными вычислениями для рабочих процессов".
• Запуск конечных точек обслуживания модели. См. раздел Развертывание моделей с помощью Mosaic AI Model Serving.
• Запустите бессерверные декларативные конвейеры Lakeflow Spark. См. раздел "Настройка бессерверного конвейера".
• Используйте прогнозную оптимизацию в таблицах. См. прогнозную оптимизацию для управляемых каталогом Unity таблиц.

Ограничения

Действительны следующие ограничения.

• Классические вычисления (любые вычислительные ресурсы, не бессерверные) не могут взаимодействовать с ресурсами данных в хранилище по умолчанию.
• Delta Sharing поддерживает общий доступ к таблицам любому получателю ( открытому или Azure Databricks), а получатели могут использовать классические вычисления для доступа к общим таблицам (бета-версия). Включите функцию Delta Sharing для хранилища по умолчанию – Расширенный доступ в консоли учетной записи.
  • Эта функция не поддерживается в следующих регионах: southcentralus, uksouthи westus2.
  • Все остальные общие ресурсы могут быть общими только для получателей Azure Databricks в одном облаке. Получатели должны использовать бессерверные вычисления.
• Таблицы с включенным секционированием не могут быть общими.
• Внешние клиенты Iceberg и Delta не могут напрямую получить доступ к базовым метаданным, списку манифестов и файлам данных для таблиц UC в хранилище по умолчанию (доступ FileIO не поддерживается). Однако такие средства бизнес-аналитики, как Power BI и Tableau, могут получить доступ к таблицам каталога Unity в хранилище по умолчанию с помощью драйверов ODBC и JDBC. Внешние клиенты также могут получить доступ к томам каталога Unity в хранилище по умолчанию с помощью API файлов.
• Хранилище по умолчанию поддерживает внешний доступ с помощью драйверов ODBC и JDBC в Azure Databricks, включая оптимизацию производительности функции Cloud Fetch драйвера ODBC для выполнения запросов по большим наборам данных. Однако если вы обращаетесь к таблице хранилища по умолчанию из рабочей области с включенным интерфейсным приватным каналом, клиентские запросы ODBC размером более 100 МБ завершаются ошибкой, так как оптимизация Cloud Fetch для таблиц хранилища по умолчанию не поддерживает интерфейсный приватный канал.