Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Применимо к:✅ Хранилище данных в Microsoft Fabric
В Microsoft Fabric хранилище автоматически сохраняет и поддерживает различные версии данных на основе настроенного периода хранения. Этот период хранения определяет, насколько далеко назад можно выполнять запросы на поездки во времени , создавать клоны таблиц, использовать точки восстановления и создавать моментальные снимки хранилища.
Хранение данных начинается автоматически при создании хранилища. По умолчанию хранилища сохраняют журнал данных в течение 30 календарных дней. Срок хранения можно настроить в диапазоне от 1 до 120 дней. Система автоматически удаляет просроченные файлы после окончания срока хранения.
Хранилище сохраняет все вставки, обновления и удаления в течение настроенного периода хранения.
- Увеличение периода хранения обеспечивает более длительное время для запросов по путешествию во времени, клонирования таблиц на определенный момент в прошлом, точек восстановления и снимков хранилища. Однако длительный период хранения увеличивает потребление хранилища и связанные расходы.
- Уменьшение срока хранения снижает затраты на хранение, но ограничивает, насколько далеко можно запрашивать или восстанавливать исторические данные.
Как применяется политика хранения данных
При изменении данных хранилище не сразу удаляет предыдущее состояние версии. Вместо этого предыдущие версии данных сохраняются в рамках журнала транзакций Delta Lake. Этот механизм управления версиями позволяет выполнять временные путешествия, клоны таблиц, точки возврата и моментальные снимки хранилища.
Если исторические версии данных превышают настроенный период хранения, процесс фоновой сборки мусора автоматически удаляет просроченные файлы из OneLake. Этот процесс очистки выполняется асинхронно и не влияет на активные запросы или текущие транзакции.
Хранилище измеряет срок хранения сохранённых данных в абсолютных календарных днях с момента создания версии данных, в том числе за периоды, когда емкость Microsoft Fabric приостановлена.
Диапазон периодов хранения
Если вы явно не настраиваете период хранения, существующие хранилища используют период хранения по умолчанию в 30 календарных дней. Срок хранения данных можно настроить от 1 до 120 дней.
Настройка хранения данных
Задайте срок хранения данных для хранилища с помощью ALTER DATABASE ... Команда SET T-SQL. Инструкции и дополнительные сведения см. в разделе Как настроить хранение данных в Fabric Data Warehouse.
Поведение при изменении периода хранения
Понимание поведения при изменении периода хранения помогает планировать изменения, чтобы избежать непредвиденных потерь данных или увеличения размера хранилища.
Увеличение срока хранения
При увеличении срока хранения новый параметр вступает в силу немедленно. Однако вы не можете восстановить исторические данные, которые система уже очищала в течение предыдущего более короткого периода хранения. Только версии данных, которые по-прежнему существуют в OneLake на момент внесения изменений, извлекают выгоду из продленного периода хранения.
Например, если в настоящее время в вашем складе есть срок хранения 7 дней и вы увеличиваете его до 60 дней, изменение применяется с этого момента вперед. Версии данных, уже очищенные системой до изменения (старше 7 дней), не могут быть восстановлены. Однако все версии данных по-прежнему хранятся в течение 7 дней во время изменения, а также все новые созданные версии будут храниться до 60 дней.
Уменьшение срока хранения
При уменьшении срока хранения версии данных, которые теперь выходят за пределы нового более короткого периода хранения, становятся допустимыми для очистки. Процесс очистки выполняется асинхронно в фоновом режиме и не происходит мгновенно. Активные запросы, которые уже выполняются, не затрагиваются.
Например, если в вашем хранилище есть 30-дневный срок хранения, и вы сокращаете срок хранения до 7 дней, версии данных в диапазоне от 8 до 30 дней становятся допустимыми для фоновой очистки.
Important
Уменьшение срока хранения является необратимым с точки зрения доступа к данным.
Даже если вы снова увеличите период хранения вскоре после этого, данные, которые упали за пределы более короткого окна в течение этого времени, больше не могут быть доступны. Прежде чем сократить срок хранения, убедитесь, что новый период хранения соответствует требованиям к восстановлению и соответствию требованиям вашей организации.
Предельная дата хранения
Столбец time_travel_retention_cutoff_date в представлении системного каталога sys.database отражает фактическую самую раннюю дату , из которой доступны данные перемещения по времени, а не настроенный в данный момент период хранения. Самые старые фактические данные могут отличаться от настроенного периода хранения.
Период хранения, настроенный пользователем, определяет, сколько дней журнала система должна сохранять вперед. Однако фактический журнал восстановления зависит от того, какие данные были сохранены до любых изменений хранения.
Две ситуации вызывают расхождение между настроенным хранением и фактической доступной историей:
- Срок хранения был сокращен — хранилище сразу же помечает исторические данные старше нового срока хранения для сборки мусора и безвозвратно удаляет их.
- Срок хранения был впоследствии увеличен — хранилище не может восстановить удалённую историю. Чтобы было доступно полностью настроенное окно, необходимо дождаться накопления новой истории.
Сценарии хранения данных
При выборе способа настройки срока хранения следует учитывать следующие сценарии:
Соответствие требованиям и аудит
Организациям с требованиями к нормативным или нормативным требованиям может потребоваться хранить данные в течение более длительных периодов для выполнения обязательств аудита. Настройка периода хранения 90 или 120 дней может обеспечить более широкий исторический период для аудиторов для проверки изменений данных с течением времени.
Разработка и тестирование
Для рабочих областей разработки или тестирования, в которых исторические данные менее важны, более короткий срок хранения составляет от 1 до 7 дней, может снизить затраты на хранение. Это сокращение полезно, если рабочая область используется для быстрого создания прототипов или итеративной разработки.
Оптимизация затрат
Если в хранилище происходят частые крупномасштабные изменения данных (например, ежедневные полные нагрузки), объем сохраненных исторических данных может значительно увеличиваться. В этих сценариях сокращение срока хранения помогает контролировать затраты на хранение, сохраняя разумное окно восстановления.
Готовность к восстановлению данных
Для производственных хранилищ сохранение более длительного периода хранения обеспечивает большую гибкость для восстановления данных с помощью точек восстановления, клонов таблиц и запросов на поездки во времени при случайном повреждении данных.
Как настраиваемое хранение влияет на зависимые функции
Настроенный период хранения применяется равномерно в следующих функциях Fabric Data Warehouse. Изменение периода хранения непосредственно влияет на доступность и поведение этих функций.
Переход по времени
Путешествие во времени позволяет запрашивать данные как оно существовало в прошлом в течение периода хранения. Указание FOR TIMESTAMP AS OF запроса может извлекать данные из любой точки в течение настроенного периода хранения.
Например, если срок хранения установлен на 15 дней, вы можете запросить данные, как они существовали до 15 календарных дней назад.
Клонировать таблицу
Клоны таблиц зависят от периода хранения. Вы можете создать клон таблицы в прошлом моменте времени, только в пределах настроенного периода хранения. Если запросить клон за пределами срока хранения, возникает ошибка.
Точки восстановления
Используйте точки восстановления для восстановления хранилища. Система сохраняет как системные, так и определяемые пользователем точки восстановления в течение настроенного периода хранения. После истечения срока хранения система автоматически удаляет точки восстановления.
- Хранилище автоматически создает точки восстановления, созданные системой, каждые восемь часов. Эти точки восстановления доступны для настроенного периода хранения.
- Определяемые пользователем точки восстановления доступны для настроенного периода хранения. Система автоматически удаляет эти точки восстановления после истечения срока действия.
Fabric поддерживает минимальное количество точек восстановления, чтобы обеспечить доступность достаточных точек восстановления.
Моментальные снимки хранилища
Моментальные снимки хранилища могут ссылаться на данные в течение настроенного периода хранения. Метка времени моментального снимка может быть задана в любой момент в течение настроенного периода хранения или во время создания базы данных, в зависимости от того, что произойдет позже.
Выставление счетов за хранение
Хранение данных непосредственно влияет на потребление хранилища OneLake. Каждая сохраненная версия данных занимает место в хранилище, а более длительные периоды хранения накапливают более исторические версии.
При планировании конфигурации хранения рассмотрите компромисс между преимуществами более длительного доступа к журналу данных и связанными затратами на хранение. Дополнительные сведения о мониторинге хранилища см. в статье Billing и отчеты об использовании в Fabric Data Warehouse.
- Сохраненные файлы данных: исторические версии данных, хранящиеся в виде файлов Parquet в OneLake, занимают пространство. Стоимость хранения пропорциональна объему и частоте изменений данных в период хранения.
- Точки восстановления: метаданные для системных и определяемых пользователем точек восстановления также используют хранилище. Однако точки восстановления в основном хранят метаданные и ссылаться на существующие файлы данных, поэтому их затраты на хранение относительно малы.
- Плата за хранение не взимается. Плата за вычислительные ресурсы не взимается исключительно за хранение исторических данных. Плата за вычисления применяется только при активном запросе или восстановлении данных.
Чтобы оценить влияние изменения периода хранения, рассмотрите следующие действия.
- Средний ежедневный объем изменений данных в хранилище.
- Текущий период хранения и предлагаемый новый период хранения.
- Разница между двумя периодами, умноженная на средний объем ежедневных изменений, дает приблизительное изменение потребления хранилища.
Рекомендации по проектированию
- Настройте период хранения на основе требований к восстановлению данных, соответствию и затратам вашей организации. Значение по умолчанию 30 дней обеспечивает баланс между доступностью данных и затратами на хранение для большинства рабочих нагрузок.
- Координация изменений периода хранения с помощью стратегии резервного копирования и аварийного восстановления. Убедитесь, что срок хранения соответствует целям вашей точки восстановления (RPO).
- Отслеживайте потребление хранилища OneLake после изменения периода хранения, чтобы понять влияние на затраты на хранилище.
- Планирование периодов хранения изменяется в периоды низкой активности, когда это возможно, чтобы не влиять на пользователей.
- Срок хранения устанавливается на уровне хранилища. Если вам нужны разные периоды хранения для разных наборов данных, рекомендуется упорядочить их в отдельные хранилища. В настоящее время отдельные параметры хранения на уровне таблицы не поддерживаются.
Ограничения
- Укажите период хранения в течение целых дней. Дробные значения не поддерживаются.
- Уменьшение срока хранения не немедленно освобождает хранилище. Очистка просроченных данных выполняется асинхронно в фоновом режиме.
- Приостановка ресурса Microsoft Fabric влияет на процесс сборки мусора. Процесс не удаляет исторические данные, которые старше текущих настроек сохранения данных во время приостановки работы системы. Действия очистки завершаются после возобновления работы емкости.
- Параметр хранения применяется только к хранилищам. Конечная точка аналитики SQL в Lakehouse не поддерживается.
- Журналы аудита Query Insights и SQL не подлежат этой политике хранения данных и управляются отдельно.
Сохранение утраченных элементов (предварительно)
Хранение удалённых объектов сохраняет хранилища данных и связанные с ними таблицы, схемы, моментальные снимки, разрешения и сохранённые запросы в течение настраиваемого периода после их удаления или исключения. Это гарантирует, что случайное удаление не приводит к постоянным потерям данных или сбоям в бизнесе. Удаление хранения гарантирует минимальный срок хранения в течение 7 календарных дней и имеет отдельную конфигурацию хранения на уровне клиента. Вы можете настроить период хранения удаленных элементов в параметре клиента Восстановления элементов.