Конфигурация доставки журнала диагностики

В этой статье описывается, как включить доставку журналов диагностики для рабочих областей Azure Databricks.

Примечание.

Для журналов диагностики требуется план Premium.

  1. Войдите на портал Azure как владелец или участник рабочей области Azure Databricks и выберите ресурс службы Azure Databricks.

  2. В разделе «Мониторинг» боковой панели перейдите на вкладку Параметры диагностики.

  3. Щелкните Включить диагностику.

    Azure Databricks turn on diagnostics

  4. На странице «Параметры диагностики» укажите следующую конфигурацию:

    Имя

    Введите имя для создаваемых журналов.

    Архивировать в учетной записи хранения.

    Чтобы использовать этот параметр, необходима учетная запись хранения для подключения. Чтобы создать учетную запись хранения на портале, ознакомьтесь со статьей Об учетных записях хранения Azure и следуйте инструкциям по созданию учетной записи общего назначения Azure Resource Manager. Затем на портале вернитесь на эту страницу, чтобы выбрать учетную запись хранения. Возможно, потребуется подождать несколько минут, пока созданная учетная запись хранения отобразится в раскрывающемся меню. Сведения о дополнительных затратах, возникающих при записи в учетную запись хранения, см. в статье Цены служба хранилища Azure.

    Передать в концентратор событий.

    Чтобы использовать этот параметр, вам понадобится пространство имен Центров событий и концентратор событий для подключения. Чтобы создать пространство имен Центров событий, ознакомьтесь со статьей Создание пространства имен Центров событий и концентратора событий с помощью портала Azure. Затем вернитесь на эту страницу на портале, чтобы выбрать пространство имен Центров событий и имя политики. Сведения о дополнительных затратах, возникающих при записи в концентратор событий, см. в статье Цены Центров событий Azure.

    Отправить в Log Analytics.

    Чтобы использовать этот параметр, воспользуйтесь одной из имеющихся рабочих областей Log Analytics или создайте рабочую область, следуя инструкциям в статье Создание рабочей области на портале. Сведения о дополнительных затратах на отправку журналов в Log Analytics см. в статье Цены Azure Monitor.

    Azure Databricks Diagnostics settings

  5. Выберите службы, для которыми нужны журналы диагностики.

  6. Выберите Сохранить.

  7. Если появится сообщение об ошибке "Не удалось обновить диагностика.<workspace name> Подписка <subscription id> не зарегистрирована для использования microsoft.insights, выполните инструкции по устранению неполадок, Диагностика Azure, чтобы зарегистрировать учетную запись, а затем повторить эту процедуру.

  8. Если вы хотите изменить способ сохранения журналов диагностики в дальнейшем, вернитесь на эту страницу, чтобы изменить параметры журнала диагностики для своей учетной записи.

Примечание.

Если вы хотите задать политики хранения хранилища, настройте политику управления жизненным циклом Azure.

Включение ведения журнала с помощью PowerShell

  1. Запустите сеанс Azure PowerShell и войдите в учетную запись Azure, используя следующую команду:

     Connect-AzAccount
    

    Сведения о входе в учетную запись Azure в качестве пользователя см. в статье "Вход в PowerShell" с учетной записью пользователя Azure Databricks. Чтобы войти в учетную запись Azure в качестве субъекта-службы, ознакомьтесь с именем входа PowerShell с помощью субъекта-службы Идентификатора Microsoft Entra.

    Если у вас еще нет Azure PowerShell, используйте следующие команды для установки Azure PowerShell.

     Install-Module -Name Az -AllowClobber
    
  2. Во всплывающем окне браузера введите имя пользователя и пароль учетной записи Azure. Azure PowerShell получает все подписки, связанные с этой учетной записью, и по умолчанию использует первую из них.

    Если у вас несколько подписок, может потребоваться указать конкретную подписку, которая использовалась для создания Azure Key Vault. Чтобы увидеть подписки для своей учетной записи, введите следующую команду:

    Get-AzSubscription
    

    Укажите подписку, связанную с учетной записью Azure Databricks, данные которой будут регистрироваться. Для этого введите следующую команду:

    Set-AzContext -SubscriptionId <subscription ID>
    
  3. Установите имя ресурса Log Analytics для переменной logAnalytics, где ResourceName — имя рабочей области Log Analytics.

    $logAnalytics = Get-AzResource -ResourceGroupName <resource group name> -ResourceName <resource name> -ResourceType "Microsoft.OperationalInsights/workspaces"
    
  4. Установите имя ресурса службы Azure Databricks для переменной databricks, где ResourceName — имя службы Azure Databricks.

    $databricks = Get-AzResource -ResourceGroupName <your resource group name> -ResourceName <your Azure Databricks service name> -ResourceType "Microsoft.Databricks/workspaces"
    
  5. Чтобы включить ведение журнала для Azure Databricks, используйте командлет New-AzDiagnosticSetting с переменными для новой учетной записи хранения, службы Azure Databricks и категорию, чтобы включить ведение журнала. Выполните следующую команду, задав для флага -Enabled значение $true:

    New-AzDiagnosticSetting -ResourceId $databricks.ResourceId -WorkspaceId $logAnalytics.ResourceId -Enabled $true -name "<diagnostic setting name>" -Category <comma separated list>
    

Включите ведение журнала с помощью Azure CLI

  1. Откройте средство PowerShell.

  2. Подключитесь к учетной записи Azure, выполнив следующую команду:

    az login
    

    Чтобы подключиться с помощью субъекта-службы Идентификатора Microsoft Entra, ознакомьтесь с именем входа Azure CLI с субъектом-службой Идентификатора Microsoft Entra.

    Сведения о подключении с помощью учетной записи пользователя Azure Databricks см. в статье azure CLI для входа с учетной записью пользователя Azure Databricks.

  3. Выполните следующую команду параметра диагностики:

    az monitor diagnostic-settings create --name <diagnostic name>
    --resource-group <log analytics workspace resource group>
    --workspace <log analytics name or object ID>
    --resource <target resource object ID>
    --logs '[
    {
     \"category\": <category name>,
      \"enabled\": true
    }
    ]'
    

REST API

Используйте API LogSettings.

Запросить

PUT https://management.azure.com/{resourceUri}/providers/microsoft.insights/diagnosticSettings/{name}?api-version=2017-05-01-preview

Текст запроса

{
    "properties": {
    "workspaceId": "<log analytics resourceId>",
    "logs": [
      {
        "category": "<category name>",
        "enabled": true,
        "retentionPolicy": {
          "enabled": false,
          "days": 0
        }
      }
    ]
  }
}

Задержка журнала диагностики

После включения ведения журнала для учетной записи Azure Databricks автоматически отправляет журналы диагностики в расположение доставки. Журналы обычно доступны в течение 15 минут после активации. События Azure Databricks с возможностью аудита, обычно, отображаются в журналах диагностики в течение 15 минут в коммерческих регионах Azure.

Журналы входа по SSH доставляются с большой задержкой.

Примечание.

Хотя большинство журналов, как ожидается, будут доставлены в течение 15 минут, Azure Databricks не гарантирует срок доставки журналов.