Хранение и архив данных в журналах Azure Monitor

Журналы Azure Monitor хранят данные в двух состояниях:

• Интерактивное хранение. Позволяет хранить журналы Аналитики для интерактивных запросов до 2 лет.
• Архив. Позволяет хранить старые, менее используемые данные в рабочей области с меньшими затратами. Доступ к данным в архивном состоянии можно получить с помощью заданий поиска и восстановления. Данные можно хранить в архивном состоянии до 12 лет.

В этой статье описывается настройка хранения и архивации данных.

Как работают хранение и архивация

Каждая рабочая область имеет параметр хранения по умолчанию, применяемый ко всем таблицам. Для отдельных таблиц можно настроить другой параметр хранения.

В течение интерактивного периода хранения данные доступны для мониторинга, устранения неполадок и аналитики. Если журналы больше не используются, но по-прежнему необходимо сохранять данные для обеспечения соответствия требованиям или нечастых исследований, архивируйте журналы, чтобы снизить затраты.

Архивные данные остаются в той же таблице вместе с данными, доступными для интерактивных запросов. Когда вы устанавливаете общий период хранения, превышающий интерактивный период хранения, Log Analytics автоматически архивирует соответствующие данные сразу после окончания периода хранения.

Доступ к архивным данным можно получить, запустив задание поиска или восстановив архивные журналы.

Примечание.

Период архива можно задать только на уровне таблицы, а не на уровне рабочей области.

Корректировки параметров хранения и архива

При сокращении существующего параметра хранения Azure Monitor ожидает 30 дней до удаления данных, чтобы можно было отменить изменения изменения и избежать потери данных в случае ошибки в конфигурации. Вы можете немедленно очистить данные при необходимости.

При увеличении параметра хранения новый период хранения применяется ко всем данным, которые уже были приняты в таблицу и еще не были удалены или удалены.

Если вы измените параметры архивации в таблице с имеющимися данными, это также сразу же повлияет на соответствующие данные в таблице. Например, у вас может быть существующая таблица с 180 дней интерактивного хранения и без архивного периода. Вы решили изменить параметр хранения на 90 дней интерактивного хранения, не изменив общий срок хранения 180 дней. Log Analytics немедленно архивирует все данные, которые старше 90 дней, и никакие данные не удаляются.

Что происходит с данными при удалении таблицы в рабочей области Log Analytics

Рабочая область Log Analytics может содержать несколько типов таблиц. Что происходит при удалении таблицы по-разному для каждого из них:

Тип таблицы	Хранение данных	Рекомендации
Таблица Azure	Таблица Azure содержит журналы из ресурса Или данных Azure, необходимых службе Или решению Azure, и их нельзя удалить. При остановке потоковой передачи данных из ресурса, службы или решения данные остаются в рабочей области до конца срока хранения, определенного для таблицы или хранения рабочей области по умолчанию, если не определить хранение на уровне таблицы.	Чтобы свести к минимуму расходы, установите срок хранения на уровне таблицы на четыре дня, прежде чем прекратить потоковую передачу журналов в таблицу.
Восстановленная таблица(table_RST)	Удаляет горячий кэш, подготовленный для восстановления, но данные исходной таблицы не удаляются.
Таблица результатов поиска (table_SRCH)	Удаляет таблицу и данные немедленно и окончательно.
Настраиваемая таблица журналов (table_CL)	Обратимое удаление таблицы до конца срока хранения на уровне таблицы или срока хранения рабочей области по умолчанию. В период обратимого удаления вы продолжаете платить за хранение данных и сможете воссоздать таблицу и получить доступ к данным, настроив таблицу с тем же именем и схемой. Через 10 дней после удаления настраиваемой таблицы Azure Monitor удаляет конфигурацию хранения на уровне таблицы и применяет хранение рабочей области по умолчанию.	Чтобы свести к минимуму расходы, установите срок хранения на уровне таблицы четыре дня перед удалением таблицы.

Требуемые разрешения

Действие	Требуемые разрешения
Настройка политик хранения данных и архивации для рабочей области Log Analytics	Microsoft.OperationalInsights/workspaces/write и microsoft.operationalinsights/workspaces/tables/write разрешения для рабочей области Log Analytics, как указано встроенной ролью Участника Log Analytics, например
Получение политики хранения и архивации по таблице для рабочей области Log Analytics	Microsoft.OperationalInsights/workspaces/tables/readразрешения на рабочую область Log Analytics, как указано встроенной ролью Log Analytics Reader, например
Очистка данных из рабочей области Log Analytics	Microsoft.OperationalInsights/workspaces/purge/action разрешения на рабочую область Log Analytics, как указано встроенной ролью Участника Log Analytics, например

Настройка хранения рабочей области по умолчанию

Вы можете настроить хранение рабочей области Log Analytics по умолчанию в портал Azure 30, 31, 60, 90, 120, 180, 270, 365, 550 и 730 дней. Вы можете применить другой параметр к определенным таблицам, настроив хранение и архив на уровне таблицы. Если у вас бесплатный уровень, необходимо выполнить обновление до платного уровня, чтобы изменить срок хранения данных.

Внимание

Рабочие области с 30-дневным хранением могут хранить данные в течение 31 дней. Если необходимо хранить данные только в течение 30 дней, чтобы соответствовать политике конфиденциальности, настройте срок хранения рабочей области по умолчанию до 30 дней с помощью API и обновите immediatePurgeDataOn30Days свойство рабочей области до true. Эта операция в настоящее время поддерживается только с помощью рабочих областей — API обновления.

Портал

Чтобы задать хранение рабочей области по умолчанию, выполните следующие действия.

1. В меню рабочих областей Log Analytics в портал Azure выберите рабочую область.

2. На панели слева выберите пункт Использование и ожидаемые затраты.

3. В верхней части страницы выберите Хранение данных.

   

4. Воспользуйтесь ползунком, чтобы увеличить или уменьшить количество дней, а затем нажмите кнопку ОК.

API

Чтобы задать длительность хранения и архива для таблицы, вызовите рабочие области — создание или обновление API:

PATCH https://management.azure.com/subscriptions/{subscriptionId}/resourcegroups/{resourceGroupName}/providers/Microsoft.OperationalInsights/workspaces/{workspaceName}?api-version=2023-09-01

Текст запроса

Текст запроса содержит значения, приведенные в следующей таблице.

Имя.	Тип	Описание
properties.retentionInDays	integer	Хранение данных рабочей области в днях. Допустимые значения — на тарифный план. Дополнительные сведения см. в документации по ценовой категории.
location	строка	Географическое расположение ресурса.
immediatePurgeDataOn30Days	boolean	Флаг, указывающий, удаляются ли данные сразу через 30 дней и не восстанавливаются. Применимо только в том случае, если срок хранения рабочей области имеет значение 30 дней.

Пример

В этом примере срок хранения рабочей области устанавливается в рабочую область по умолчанию 30 дней и гарантирует, что данные немедленно удаляются через 30 дней и не восстанавливаются.

Запросить

PATCH https://management.azure.com/subscriptions/{subscriptionId}/resourcegroups/{resourceGroupName}/providers/Microsoft.OperationalInsights/workspaces/{workspaceName}?api-version=2023-09-01

{
  "properties": {
    "retentionInDays": 30,
    "features": {"immediatePurgeDataOn30Days": true}
    },
"location": "australiasoutheast"
}

**Response**

Status code: 200

```http
{
  "properties": {
    ...
    "retentionInDays": 30,
    "features": {
      "legacy": 0,
      "searchVersion": 1,
      "immediatePurgeDataOn30Days": true,
      ...
    },
    ...

CLI

Чтобы задать длительность хранения и архива для таблицы, выполните команду az monitor log-analytics workspace update и передайте --retention-time параметр.

В этом примере для интерактивного хранения таблицы задано значение 30 дней, а общий срок хранения — два года, что означает, что длительность архива составляет 23 месяца:

az monitor log-analytics workspace update --resource-group myresourcegroup --retention-time 30 --workspace-name myworkspace

PowerShell

Используйте командлет Set-AzOperational Аналитика Workspace, чтобы задать хранение рабочей области. В этом примере срок хранения рабочей области устанавливается на 30 дней:

Set-AzOperationalInsightsWorkspace -ResourceGroupName "myResourceGroup" -Name "MyWorkspace" -RetentionInDays 30

Настройка хранения и архива на уровне таблицы

По умолчанию все таблицы в рабочей области наследуют интерактивный параметр хранения рабочей области и не имеют архива. Вы можете изменить параметры хранения и архива отдельных таблиц, за исключением рабочих областей в устаревшей ценовой категории "Бесплатная пробная версия".

План данных журнала Аналитики включает в себя 31 дней интерактивного хранения рабочих областей в ценовых категориях текущего поколения (уровни оплаты по мере использования и обязательств, а также устаревшие автономные и уровни на узел). Вы можете увеличить интерактивный срок хранения до 730 дней по дополнительным затратам. При необходимости можно уменьшить период интерактивного хранения до 4 дней с помощью API или ИНТЕРФЕЙСА командной строки. Однако, поскольку 31 дней интерактивного хранения включены в цену приема, снижение срока хранения ниже 31 дней не снижает затраты. Срок хранения архива можно задать в общей сложности до 4383 дней (12 лет).

Примечание.

В настоящее время можно настроить общее хранение до 12 лет через портал Azure и API. Интерфейс командной строки и PowerShell ограничены 7 годами; будет поддерживаться 12 лет.

Портал

Чтобы задать длительность хранения и архивации для таблицы на портале Azure:

1. В меню рабочих областей Log Analytics выберите "Таблицы".

   На экране "Таблицы" перечислены все таблицы в рабочей области.

2. Выберите контекстное меню для таблицы, которую вы хотите настроить, и щелкните Управление таблицей.

   

3. Настройте длительность хранения и архива в разделе параметров хранения данных на экране конфигурации таблицы.

   

API

Чтобы задать длительность хранения и архивации для таблицы, вызовите API Таблицы — обновление:

PATCH https://management.azure.com/subscriptions/{subscriptionId}/resourcegroups/{resourceGroupName}/providers/Microsoft.OperationalInsights/workspaces/{workspaceName}/tables/{tableName}?api-version=2022-10-01

Примечание.

Длительность архивации не указывается явным образом в вызове API. Вместо этого следует задать общий срок хранения, который указывает период хранения плюс длительность архивации.

Можно использовать либо PUT, либо PATCH, со следующим отличием.

• API PUT задает retentionInDays и totalRetentionInDays значение по умолчанию, если не заданы значения, отличные от NULL.
• API PATCH не изменяет retentionInDays значения или totalRetentionInDays значения, если вы не указываете значения.

Текст запроса

Текст запроса содержит значения, приведенные в следующей таблице.

Имя.	Тип	Описание
properties.retentionInDays	integer	Срок хранения данных в таблице в днях. Значение может находиться в диапазоне от 4 до 730. Если для этого свойства задано значение NULL, применяется период хранения рабочей области. Для базовой таблицы журналов значение всегда равно 8.
properties.totalRetentionInDays	integer	Общий срок хранения данных в таблице, включая период архивирования. Это значение может быть от 4 до 730; или 1095, 1460, 1826, 2191, 2556, 2922, 3288, 3653, 4018 или 4383. Если вы не хотите архивировать данные, присвойте этому свойству нулевое значение.

Пример

В этом примере для интерактивного хранения таблицы задается значение по умолчанию для рабочей области, равное 30 дням, а для общего хранения — два года, что означает, что продолжительность архива составляет 23 месяца.

Запросить

PATCH https://management.azure.com/subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/CustomLog_CL?api-version=2022-10-01

Текст запроса

{
    "properties": {
        "retentionInDays": null,
        "totalRetentionInDays": 730
    }
}

Response

Код состояния: 200.

{
    "properties": {
        "retentionInDays": 30,
        "totalRetentionInDays": 730,
        "archiveRetentionInDays": 700,
        ...        
    },
   ...
}

CLI

Чтобы задать длительность хранения и архивации для таблицы, выполните команду az monitor log-analytics workspace table update и передайте параметры --retention-time и --total-retention-time.

В этом примере для интерактивного хранения таблицы задано значение 30 дней, а общий срок хранения — два года, что означает, что длительность архива составляет 23 месяца:

az monitor log-analytics workspace table update --subscription ContosoSID --resource-group ContosoRG --workspace-name ContosoWorkspace --name AzureMetrics --retention-time 30 --total-retention-time 730

Чтобы повторно применить к таблице значение интерактивного хранения рабочей области по умолчанию и сбросить общий срок хранения до 0, выполните команду az monitor log-analytics workspace table update с параметрами --retention-time и --total-retention-time, для которых установите значение -1.

Например:

az monitor log-analytics workspace table update --subscription ContosoSID --resource-group ContosoRG --workspace-name ContosoWorkspace --name Syslog --retention-time -1 --total-retention-time -1

PowerShell

Используйте командлет Update-AzOperational Аналитика Table, чтобы задать длительность хранения и архива для таблицы. В этом примере для интерактивного хранения таблицы задано значение 30 дней, а общий срок хранения — два года, что означает, что длительность архива составляет 23 месяца:

Update-AzOperationalInsightsTable -ResourceGroupName ContosoRG -WorkspaceName ContosoWorkspace -TableName AzureMetrics -RetentionInDays 30 -TotalRetentionInDays 730

Чтобы повторно применить значение интерактивного хранения рабочей области по умолчанию к таблице и сбросить его общее хранение до 0, выполните командлет Update-AzOperational Аналитика Table с -RetentionInDays заданными -1параметрами.-TotalRetentionInDays

Например:

Update-AzOperationalInsightsTable -ResourceGroupName ContosoRG -WorkspaceName ContosoWorkspace -TableName Syslog -RetentionInDays -1 -TotalRetentionInDays -1

Получение параметров хранения и архива по таблицам

Портал

Чтобы просмотреть длительность хранения и архива таблицы в портал Azure, в меню рабочих областей Log Analytics выберите "Таблицы".

На экране "Таблицы " показан интерактивный период хранения и архива для всех таблиц в рабочей области.

API

Чтобы получить параметр хранения определенной таблицы (в этом примере), SecurityEventвызовите таблицу — Get API:

GET /subscriptions/00000000-0000-0000-0000-00000000000/resourceGroups/MyResourceGroupName/providers/Microsoft.OperationalInsights/workspaces/MyWorkspaceName/Tables/SecurityEvent?api-version=2022-10-01

Чтобы получить все параметры хранения на уровне таблицы в рабочей области, не устанавливайте имя таблицы.

Например:

GET /subscriptions/00000000-0000-0000-0000-00000000000/resourceGroups/MyResourceGroupName/providers/Microsoft.OperationalInsights/workspaces/MyWorkspaceName/Tables?api-version=2022-10-01

CLI

Чтобы получить параметр хранения определенной таблицы, выполните команду az monitor log-analytics workspace table show .

Например:

az monitor log-analytics workspace table show --subscription ContosoSID --resource-group ContosoRG --workspace-name ContosoWorkspace --name SecurityEvent

PowerShell

Чтобы получить параметр хранения определенной таблицы, выполните командлет Get-AzOperational Аналитика Table.

Например:

Get-AzOperationalInsightsTable -ResourceGroupName ContosoRG -WorkspaceName ContosoWorkspace -tableName SecurityEvent

Таблицы с уникальными периодами хранения

По умолчанию два типа Usage данных и AzureActivityданные хранятся по крайней мере на 90 дней без платы. При увеличении срока хранения рабочей области до более 90 дней также увеличивается срок хранения этих типов данных. Плата за прием данных для этих таблиц также не взимается.

Таблицы, связанные с ресурсами Application Insights, также хранят данные в течение 90 дней без оплаты. Вы можете настроить хранение каждой из этих таблиц по отдельности:

• AppAvailabilityResults
• AppBrowserTimings
• AppDependencies
• AppExceptions
• AppEvents
• AppMetrics
• AppPageViews
• AppPerformanceCounters
• AppRequests
• AppSystemEvents
• AppTraces

Модель ценообразования

Плата за обслуживание архивных журналов рассчитывается на основе объема архивируемых данных в ГБ и периода архивирования данных. Данные журнала, которые _IsBillable == false не подлежат хранению или архивной оплате.

Дополнительные сведения см. на странице цен на Azure Monitor.

Следующие шаги

См. также:

• Управление личными данными в журналах Azure Monitor
• Создание задания поиска для получения архивных данных, соответствующих определенным критериям
• Восстановление архивных данных в определенном диапазоне времени