Жизненный цикл хранилища объектов в каталоге Unity

При удалении защищаемого объекта каталога Unity (с помощью обозревателя каталогов, SQL DROPи т. д.), то, что происходит, зависит от типа объекта и типа хранилища. На этой странице описывается жизненный цикл файлов данных, выставление счетов за хранение и восстановление после удаления.

Тип хранилища определяет, что происходит с файлами данных

Для таблиц и томов то, что происходит с базовыми файлами данных, зависит от того, является ли объект управляемым или внешним. Дополнительные сведения об этом различии см. в разделе "Управляемые и внешние ресурсы" в каталоге Unity.

  • Управляемые таблицы и тома: каталог Unity управляет расположением хранилища и жизненным циклом файлов данных. Файлы данных живут в управляемом расположении хранилища, определенном на уровне метаданных, каталога или схемы. При удалении управляемой таблицы или тома каталог Unity удаляет базовые файлы данных через многофазный жизненный цикл. Управляемые расположения хранилища доступны в двух вариантах:

    • Хранилище Azure Databricks по умолчанию: объектное хранилище, которое Azure Databricks создает и которым управляет в вашей учетной записи Azure Databricks.
    • Управляемое хранилище, предоставляемое клиентом: облачное хранилище в облачной учетной записи, настроенное на уровне хранилища метаданных, каталога или схемы, в которое Azure Databricks записывает данные и управляет ими.

    Оба варианта используют один и тот же жизненный цикл файлов данных, но выставление счетов и хранение файлов после удаления отличаются. См. Управляемые объекты в хранилище Azure Databricks по умолчанию и в хранилище, предоставленном клиентом.

  • Внешние таблицы и тома: вы контролируете место хранения и жизненный цикл. При удалении внешней таблицы или тома Unity Catalog удаляет метаданные из метахранилища, но файлы данных остаются в вашем облачном хранилище.

  • Внешние и федеративные каталоги: данные хранятся в другом источнике данных (например, в федеративной базе данных через Lakehouse Federation или в хранилище метаданных Hive через федерацию Hive Metastore). Каталог Unity содержит только метаданные подключения. При удалении внешнего каталога каталог Unity удаляет метаданные подключения. Данные в исходной системе не затрагиваются.

Для других защищаемых объектов (каталогов, схем, представлений, функций, моделей) удаление удаляет только метаданные — для управления каталогом Unity нет связанных файлов данных. При удалении каталога или схемы с помощью CASCADE содержащиеся в них таблицы и тома удаляются в соответствии с их собственным режимом — управляемым или внешним, как описано выше.

Восстановление удаленного объекта

Восстановление удаленного объекта зависит от типа объекта.

Тип объекта Recovery
Таблицы, материализованные представления, потоковые таблицы Используйте UNDROP в течение 7 дней после удаления. Материализованные представления и таблицы потоковой передачи должны быть созданы из конвейера ETL, и этот конвейер по-прежнему должен существовать.
Каталоги, схемы, тома, представления, функции, модели Невозможно восстановить после удаления.

Предупреждение

Восстановление — это ограниченное время и лучшие усилия. Удалите объект только после подтверждения, что данные больше не нужны. Используйте параметр RESTRICT (используется по умолчанию) в DROP CATALOG и DROP SCHEMA, чтобы предотвратить случайное рекурсивное удаление непустых объектов.

Жизненный цикл управляемых данных после удаления

Удаление управляемой таблицы или тома не сразу удаляет файлы данных из облачного хранилища. Файлы данных сохраняются во время периода восстановления и окончательно удаляются после этого.

Этап 1. Окно восстановления

Через 7 дней после удаления каталог Unity сохраняет обратимо удаленные данные, чтобы восстановить объект. В этом окне:

  • Используйте команду UNDROP SQL для восстановления таблиц, материализованных представлений и потоковых таблиц.
  • Каталог Unity сохраняет метаданные удаленного объекта, а выставление счетов за хранение продолжается.

Этап 2. Очистка

Когда заканчивается 7-дневное окно восстановления, объект больше не может быть восстановлен. Каталог Unity окончательно удаляет файлы данных в течение 48 часов. Подробнее о тарификации хранилища на каждом этапе см. в разделе Тарификация хранилища после удаления.

Управляемые объекты в хранилище Azure Databricks по умолчанию и в хранилище, предоставленном клиентом

Управляемые объекты могут использовать два типа управляемого хранилища. Жизненный цикл данных и поведение очистки каталога Unity одинаковы, но выставление счетов и хранение файлов после очистки отличаются.

Тип хранилища Очистка файла
Azure Databricks хранилище по умолчанию (управляемое Azure Databricks от вашего имени) Каталог Unity окончательно удаляет файлы данных в течение 48 часов после окончания окна восстановления.
Управляемое хранилище, предоставленное клиентом (расположение облачного хранилища, настроенное в хранилище метаданных, каталоге или схеме) Каталог Unity окончательно удаляет файлы данных в течение 48 часов после окончания окна восстановления. Политики облачного хранилища (управление версиями объектов, мягкое удаление, правила управления жизненным циклом) могут сохранять файлы и после этого момента. Поставщик облачных служб выставляет счета за хранение в соответствии с этими политиками.

Дополнительные сведения о хранилище Azure Databricks по умолчанию см. в разделе «Хранилище по умолчанию в Databricks». Сведения о настройке управляемого хранилища, предоставленного клиентом, см. в разделе "Указание управляемого расположения хранилища" в каталоге Unity.

Внешние таблицы и тома

При удалении внешней таблицы или внешнего тома каталог Unity удаляет метаданные из хранилища метаданных. Файлы данных в облачном хранилище не удаляются. Поставщик облачных служб продолжает выставлять счета за хранилище в соответствии с политиками контейнера.

Чтобы удалить файлы, удалите их непосредственно из облачного хранилища.

Внешние и федеративные каталоги

Внешний каталог содержит метаданные, ссылающиеся на внешний источник данных. При удалении внешнего каталога каталог Unity удаляет метаданные подключения. Данные в исходной системе не затрагиваются. Azure Databricks не взимает плату за хранилище в исходной системе; применяется тарификация исходной системы.

Выставление счетов за хранение после удаления

В следующей таблице в сводном виде показано, как Azure Databricks и ваш поставщик облачных услуг тарифицируют хранение на каждом этапе. Azure Databricks взимает плату только за хранение в хранилище Azure Databricks, используемом по умолчанию, и только в течение периода восстановления — после истечения 7-дневного периода восстановления плата за хранение больше не взимается. Для управляемого хранилища и внешнего хранилища, предоставленного клиентом, поставщик облачных служб выставляет вам счета напрямую.

Тип хранилища Окно восстановления Очистка этапа 2 После очистки
Управляется в хранилище Azure Databricks по умолчанию Выставлен счет за Azure Databricks Не подлежит тарификации для клиента (тарификация прекращается после окончания периода восстановления) Неприменимо
Управляемое на предоставленном клиентом хранилище Оплачивается через облачного провайдера Счёт от поставщика облачных услуг Плата за поставщик облачных служб (регулируется политиками контейнера)
Внешние таблицы и тома Плата за поставщик облачных служб (файлы не удаляются) Начислено поставщиком облачных услуг Выставлено поставщиком облачных услуг
Внешние и федеративные каталоги Неприменимо Неприменимо Неприменимо

После удаления управляемого объекта в хранилище, предоставленном клиентом, вы можете по-прежнему видеть расходы на хранение от поставщика облачных служб. Чтобы снизить эти расходы, проверьте управление версиями объектов корзины, мягкое удаление и политики жизненного цикла.

Удаление объекта из обозревателя каталогов

Объекты каталога Unity можно удалить из обозревателя каталогов в пользовательском интерфейсе рабочей области. Жизненный цикл данных, описанный в этой статье, применяется к удалению объекта из обозревателя каталогов или выполнению инструкции SQL DROP .

Что происходит при удалении рабочей области

По умолчанию удаление рабочей области не приводит к автоматическому удалению каталога Unity Catalog по умолчанию для этой рабочей области. Если каталог сохраняется, его управляемые таблицы и тома остаются, а выставление счетов за хранение продолжается до тех пор, пока каталог не будет удален.

Azure Databricks предлагает параметр принудительного удаления, который удаляет каталог рабочей области и его данные в рамках удаления рабочей области. См. раздел "Принудительное удаление каталога рабочей области". Если каталог рабочей области не удален принудительно, он сохраняется после удаления рабочей области и должен быть удален вручную.

Дополнительные сведения об удалении рабочей области см. в разделе "Удаление рабочей области".

Дополнительные ресурсы

  • Last updated on