Управление хранением данных в рабочей области Log Analytics

Рабочая область Log Analytics сохраняет данные в двух состояниях:

• Интерактивное хранение. В этом состоянии данные доступны для мониторинга, устранения неполадок и аналитики практически в режиме реального времени.
• Долгосрочное хранение. В этом состоянии с низкой стоимостью данные недоступны для функций плана таблиц, но доступ к ним можно получить с помощью заданий поиска.

В этой статье объясняется, как рабочие области Log Analytics хранят данные и как управлять хранением данных в рабочей области.

Интерактивное, долгосрочное и общее хранение

По умолчанию все таблицы в рабочей области Log Analytics хранят данные в течение 30 дней, за исключением таблиц журналов с хранением по умолчанию 90 дней. В течение этого периода — интерактивный период хранения — данные из таблицы можно получить с помощью запросов, а данные доступны для визуализаций, оповещений и других функций и служб на основе плана таблицы.

Вы можете продлить интерактивный срок хранения таблиц с помощью плана аналитики до двух лет. Базовые и вспомогательные планы имеют фиксированный интерактивный срок хранения 30 дней.

Примечание.

Вы можете уменьшить интерактивный период хранения таблиц Аналитики до 4 дней с помощью API или CLI. Однако, поскольку 31 дней интерактивного хранения включены в цену приема, снижение срока хранения ниже 31 дней не снижает затраты.

Чтобы сохранить данные в той же таблице за пределами интерактивного периода хранения, продлить общий срок хранения таблицы до 12 лет. В конце интерактивного периода хранения данные остаются в таблице на оставшуюся часть настраиваемого периода хранения. В течение этого периода — долгосрочный период хранения — запустите задание поиска, чтобы получить определенные данные, необходимые из таблицы, и сделать его доступным для интерактивных запросов в таблице результатов поиска.

Как работают изменения хранения

При сокращении общего срока хранения таблицы журналы Azure Monitor ожидают 30 дней до удаления данных, чтобы восстановить изменение и избежать потери данных при возникновении ошибки в конфигурации.

При увеличении общего срока хранения новый период хранения применяется ко всем данным, которые уже были приема в таблицу и еще не удалены.

При изменении параметров долгосрочного хранения таблицы с существующими данными изменения вступает в силу немедленно.

Пример:

• У вас есть таблица Аналитики с 180 днями интерактивного хранения и без долгосрочного хранения.
• Интерактивное хранение изменяется на 90 дней, не изменяя общий срок хранения 180 дней.
• Azure Monitor автоматически обрабатывает оставшиеся 90 дней общего хранения как низкое, долгосрочное хранение, чтобы данные, которые 90-180 дней не были потеряны.

Требуемые разрешения

Действие	Требуемые разрешения
Настройка интерактивного хранения для таблиц Аналитики по умолчанию в рабочей области Log Analytics	Microsoft.OperationalInsights/workspaces/write и microsoft.operationalinsights/workspaces/tables/write разрешения для рабочей области Log Analytics, как указано встроенной ролью Участника Log Analytics, например
Получение параметра хранения по таблице для рабочей области Log Analytics	Microsoft.OperationalInsights/workspaces/tables/readразрешения на рабочую область Log Analytics, как указано встроенной ролью Log Analytics Reader, например

Настройка интерактивного периода хранения таблиц Аналитики по умолчанию

Период интерактивного хранения всех таблиц в рабочей области Log Analytics по умолчанию составляет 30 дней. Интерактивный период таблиц Аналитики по умолчанию можно изменить до двух лет, изменив параметр хранения данных на уровне рабочей области. Базовые и вспомогательные таблицы имеют фиксированный интерактивный срок хранения 30 дней.

Изменение параметра хранения данных на уровне рабочей области по умолчанию автоматически влияет на все таблицы Аналитики, к которым по-прежнему применяется параметр по умолчанию в рабочей области. Если вы уже изменили интерактивное хранение определенной таблицы, эта таблица не затрагивается при изменении параметра хранения данных по умолчанию рабочей области.

Внимание

Рабочие области с 30-дневным хранением могут хранить данные в течение 31 дней. Если необходимо хранить данные только в течение 30 дней, чтобы соответствовать политике конфиденциальности, настройте срок хранения рабочей области по умолчанию до 30 дней с помощью API и обновите immediatePurgeDataOn30Days свойство рабочей области до true. Эта операция в настоящее время поддерживается только с помощью рабочих областей — API обновления.

Портал

Чтобы задать интерактивный период хранения таблиц Аналитики по умолчанию в рабочей области Log Analytics:

1. В меню рабочих областей Log Analytics в портал Azure выберите рабочую область.

2. На панели слева выберите пункт Использование и ожидаемые затраты.

3. В верхней части страницы выберите Хранение данных.

   

4. Воспользуйтесь ползунком, чтобы увеличить или уменьшить количество дней, а затем нажмите кнопку ОК.

API

Чтобы задать интерактивный период хранения таблиц Аналитики по умолчанию в рабочей области Log Analytics, вызовите рабочие области — создание или обновление API:

PATCH https://management.azure.com/subscriptions/{subscriptionId}/resourcegroups/{resourceGroupName}/providers/Microsoft.OperationalInsights/workspaces/{workspaceName}?api-version=2023-09-01

Текст запроса

Текст запроса содержит значения, приведенные в следующей таблице.

Имя.	Тип	Описание
properties.retentionInDays	integer	Хранение данных рабочей области в днях. Допустимые значения — на тарифный план. Дополнительные сведения см. в документации по ценовой категории.
location	строка	Географическое расположение ресурса.
immediatePurgeDataOn30Days	boolean	Флаг, указывающий, удаляются ли данные сразу через 30 дней и не могут быть удалены. Применимо только в том случае, если срок хранения рабочей области имеет значение 30 дней.

Пример

В этом примере срок хранения рабочей области устанавливается на 30 дней по умолчанию и гарантирует, что данные немедленно удаляются через 30 дней и не будут удалены.

Запросить

PATCH https://management.azure.com/subscriptions/{subscriptionId}/resourcegroups/{resourceGroupName}/providers/Microsoft.OperationalInsights/workspaces/{workspaceName}?api-version=2023-09-01

{
  "properties": {
    "retentionInDays": 30,
    "features": {"immediatePurgeDataOn30Days": true}
    },
"location": "australiasoutheast"
}

**Response**

Status code: 200

```http
{
  "properties": {
    ...
    "retentionInDays": 30,
    "features": {
      "legacy": 0,
      "searchVersion": 1,
      "immediatePurgeDataOn30Days": true,
      ...
    },
    ...

CLI

Чтобы задать интерактивный период хранения таблиц Аналитики по умолчанию в рабочей области Log Analytics, выполните команду az monitor log-analytics workspace update и передайте --retention-time параметр.

В этом примере для интерактивного хранения таблицы задано значение 30 дней:

az monitor log-analytics workspace update --resource-group myresourcegroup --retention-time 30 --workspace-name myworkspace

PowerShell

Используйте командлет Set-AzOperationalInsightsWorkspace, чтобы задать интерактивный период хранения таблиц Аналитики по умолчанию в рабочей области Log Analytics. В этом примере для интерактивного периода хранения по умолчанию устанавливается значение 30 дней:

Set-AzOperationalInsightsWorkspace -ResourceGroupName "myResourceGroup" -Name "MyWorkspace" -RetentionInDays 30

Настройка хранения на уровне таблицы

По умолчанию все таблицы с планом данных Аналитики наследуют параметры интерактивного хранения рабочей области Log Analytics по умолчанию и не имеют долгосрочного хранения. Вы можете увеличить интерактивный период хранения таблиц Аналитики до 730 дней за дополнительную плату.

Чтобы добавить долгосрочное хранение в таблицу с любым планом данных, установите общий срок хранения до 12 лет (4383 дня). Вспомогательный план таблицы в настоящее время находится в общедоступной предварительной версии, в течение которого общий срок хранения плана фиксирован в течение 365 дней.

Примечание.

В настоящее время можно настроить общее хранение до 12 лет через портал Azure и API. Интерфейс командной строки и PowerShell ограничены 7 годами; будет поддерживаться 12 лет.

Портал

Чтобы изменить параметр хранения таблицы в портал Azure, выполните следующие действия.

1. В меню рабочих областей Log Analytics выберите "Таблицы".

   На экране "Таблицы" перечислены все таблицы в рабочей области.

2. Выберите контекстное меню для таблицы, которую вы хотите настроить, и щелкните Управление таблицей.

   

3. Настройте интерактивные параметры хранения и общих параметров хранения в разделе параметров хранения данных на экране конфигурации таблицы.

   

API

Чтобы изменить параметр хранения таблицы, вызовите API обновления таблиц:

PATCH https://management.azure.com/subscriptions/{subscriptionId}/resourcegroups/{resourceGroupName}/providers/Microsoft.OperationalInsights/workspaces/{workspaceName}/tables/{tableName}?api-version=2022-10-01

Можно использовать либо PUT, либо PATCH, со следующим отличием.

• API PUT задает retentionInDays и totalRetentionInDays значение по умолчанию, если не заданы значения, отличные от NULL.
• API PATCH не изменяет retentionInDays значения или totalRetentionInDays значения, если вы не указываете значения.

Текст запроса

Текст запроса содержит значения, приведенные в следующей таблице.

Имя.	Тип	Описание
properties.retentionInDays	integer	Срок хранения данных в таблице в днях. Значение может находиться в диапазоне от 4 до 730. Если для этого свойства задано значение NULL, применяется период хранения рабочей области. Для базовой таблицы журналов значение всегда равно 8.
properties.totalRetentionInDays	integer	Общее хранение данных таблицы, включая долгосрочное хранение. Это значение может быть от 4 до 730; или 1095, 1460, 1826, 2191, 2556, 2922, 3288, 3653, 4018 или 4383. Задайте для этого свойства значение NULL, если не требуется долгосрочное хранение.

Пример

В этом примере для интерактивного хранения таблицы задано значение по умолчанию 30 дней, а общий срок хранения — два года, что означает, что срок хранения составляет 23 месяца.

Запросить

PATCH https://management.azure.com/subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/CustomLog_CL?api-version=2022-10-01

Текст запроса

{
    "properties": {
        "retentionInDays": null,
        "totalRetentionInDays": 730
    }
}

Response

Код состояния: 200.

{
    "properties": {
        "retentionInDays": 30,
        "totalRetentionInDays": 730,
        "archiveRetentionInDays": 700,
        ...        
    },
   ...
}

CLI

Чтобы изменить параметры хранения таблицы, выполните команду az monitor log-analytics workspace update и передайте --retention-time параметры.--total-retention-time

В этом примере для интерактивного хранения таблицы задано значение 30 дней, а общий срок хранения — два года, что означает, что срок хранения составляет 23 месяца:

az monitor log-analytics workspace table update --subscription ContosoSID --resource-group ContosoRG --workspace-name ContosoWorkspace --name AzureMetrics --retention-time 30 --total-retention-time 730

Чтобы повторно применить к таблице значение интерактивного хранения рабочей области по умолчанию и сбросить общий срок хранения до 0, выполните команду az monitor log-analytics workspace table update с параметрами --retention-time и --total-retention-time, для которых установите значение -1.

Например:

az monitor log-analytics workspace table update --subscription ContosoSID --resource-group ContosoRG --workspace-name ContosoWorkspace --name Syslog --retention-time -1 --total-retention-time -1

PowerShell

Используйте командлет Update-AzOperationalInsightsTable для изменения параметров хранения таблицы. В этом примере для интерактивного хранения таблицы задано значение 30 дней, а общий срок хранения — два года, что означает, что срок хранения составляет 23 месяца:

Update-AzOperationalInsightsTable -ResourceGroupName ContosoRG -WorkspaceName ContosoWorkspace -TableName AzureMetrics -RetentionInDays 30 -TotalRetentionInDays 730

Чтобы повторно применить значение интерактивного хранения рабочей области по умолчанию к таблице и сбросить его общее хранение до 0, выполните командлет Update-AzOperationalInsightsTable с -RetentionInDays заданными -1параметрами.-TotalRetentionInDays

Например:

Update-AzOperationalInsightsTable -ResourceGroupName ContosoRG -WorkspaceName ContosoWorkspace -TableName Syslog -RetentionInDays -1 -TotalRetentionInDays -1

Получение параметров хранения по таблице

Портал

Чтобы просмотреть параметры хранения таблицы в портал Azure, в меню рабочих областей Log Analytics выберите "Таблицы".

На экране "Таблицы " показаны интерактивные сроки хранения и общее количество периодов хранения для всех таблиц в рабочей области.

API

Чтобы получить параметр хранения определенной таблицы (в этом примере), SecurityEventвызовите таблицу — Get API:

GET /subscriptions/00000000-0000-0000-0000-00000000000/resourceGroups/MyResourceGroupName/providers/Microsoft.OperationalInsights/workspaces/MyWorkspaceName/Tables/SecurityEvent?api-version=2022-10-01

Чтобы получить все параметры хранения на уровне таблицы в рабочей области, не устанавливайте имя таблицы.

Например:

GET /subscriptions/00000000-0000-0000-0000-00000000000/resourceGroups/MyResourceGroupName/providers/Microsoft.OperationalInsights/workspaces/MyWorkspaceName/Tables?api-version=2022-10-01

CLI

Чтобы получить параметр хранения определенной таблицы, выполните команду az monitor log-analytics workspace table show .

Например:

az monitor log-analytics workspace table show --subscription ContosoSID --resource-group ContosoRG --workspace-name ContosoWorkspace --name SecurityEvent

PowerShell

Чтобы получить параметр хранения определенной таблицы, выполните командлет Get-AzOperationalInsightsTable .

Например:

Get-AzOperationalInsightsTable -ResourceGroupName ContosoRG -WorkspaceName ContosoWorkspace -tableName SecurityEvent

Что происходит с данными при удалении таблицы в рабочей области Log Analytics?

Рабочая область Log Analytics может содержать несколько типов таблиц. Что происходит при удалении таблицы по-разному для каждого из них:

Тип таблицы	Хранение данных	Рекомендации
Таблица Azure	Таблица Azure содержит журналы из ресурса Или данных Azure, необходимых службе Или решению Azure, и их нельзя удалить. При остановке потоковой передачи данных из ресурса, службы или решения данные остаются в рабочей области до конца периода хранения, определенного для таблицы.	Чтобы свести к минимуму расходы, установите срок хранения на уровне таблицы на четыре дня, прежде чем прекратить потоковую передачу журналов в таблицу.
Настраиваемая таблица журналов (table_CL)	Обратимое удаление таблицы до конца срока хранения на уровне таблицы или срока хранения рабочей области по умолчанию. В период обратимого удаления вы продолжаете платить за хранение данных и сможете воссоздать таблицу и получить доступ к данным, настроив таблицу с тем же именем и схемой. Через 10 дней после удаления настраиваемой таблицы Azure Monitor удаляет конфигурацию хранения на уровне таблицы и применяет хранение рабочей области по умолчанию.	Чтобы свести к минимуму расходы, установите срок хранения на уровне таблицы четыре дня перед удалением таблицы.
Таблица результатов поиска (table_SRCH)	Удаляет таблицу и данные немедленно и окончательно.
Восстановленная таблица (table_RST)	Удаляет горячий кэш, подготовленный для восстановления, но данные исходной таблицы не удаляются.

Таблицы журналов с 90-дневным хранением по умолчанию

По умолчанию таблицы Usage AzureActivity хранят данные не менее 90 дней без платы. При увеличении срока хранения рабочей области до более 90 дней также увеличивается срок хранения этих таблиц. Плата за прием данных для этих таблиц также не взимается.

Таблицы, связанные с ресурсами Application Insights, также хранят данные в течение 90 дней без оплаты. Вы можете настроить хранение каждой из этих таблиц по отдельности:

• AppAvailabilityResults
• AppBrowserTimings
• AppDependencies
• AppExceptions
• AppEvents
• AppMetrics
• AppPageViews
• AppPerformanceCounters
• AppRequests
• AppSystemEvents
• AppTraces

Модель ценообразования

Плата за добавление интерактивного хранения и долгосрочного хранения вычисляется на основе объема данных, которые вы храните, в ГБ, а также количество или дни, для которых хранятся данные. Данные журнала, которые _IsBillable == false не подлежат приему или сбору за хранение.

Дополнительные сведения см. на странице цен на Azure Monitor.

Следующие шаги

Дополнительные сведения:

• Управление личными данными в журналах Azure Monitor
• Создание задания поиска для получения вспомогательных данных, соответствующих определенным критериям
• Восстановление данных из вспомогательного уровня для определенного диапазона времени