Расширенный мониторинг безопасности
В этой статье описывается функция расширенного мониторинга безопасности и настройка ее в рабочей области или учетной записи Azure Databricks.
Если вы включите эту функцию, вы будете взиматься за надстройку повышенной безопасности и соответствия требованиям, как описано на странице ценообразования.
Обзор расширенного мониторинга безопасности
Расширенный мониторинг безопасности Azure Databricks предоставляет расширенный образ жесткого диска и дополнительные агенты мониторинга безопасности, которые создают строки журналов, которые можно просматривать с помощью журналов диагностики.
Улучшения безопасности применяются только к вычислительным ресурсам в классической плоскости вычислений, например кластерам и несерверным хранилищам SQL.
Бессерверные ресурсы вычислительной плоскости, такие как бессерверные хранилища SQL, не имеют дополнительного мониторинга при включении расширенного мониторинга безопасности.
Примечание.
Большинство типов экземпляров Azure поддерживаются, но виртуальные машины на основе Arm64 поколения 2-го поколения не поддерживаются. Azure Databricks не разрешает запуск вычислений с этими типами экземпляров при включении расширенного мониторинга безопасности.
Расширенный мониторинг безопасности включает:
Расширенный защищенный образ операционной системы на основе преимущества Ubuntu.
Преимущество Ubuntu — это пакет корпоративной безопасности и поддержки инфраструктуры и приложений открытый код, включающих образ уровня 1 CIS.
Агент антивирусного мониторинга, создающий журналы, которые можно просмотреть.
Агент мониторинга целостности файлов, создающий журналы, которые можно просмотреть.
Агенты мониторинга в образах плоскости вычислений Azure Databricks
Несмотря на включение расширенного мониторинга безопасности, существуют дополнительные агенты мониторинга безопасности, в том числе два предварительно установленных в расширенном образе плоскости вычислений. Вы не можете отключить агенты мониторинга, которые находятся на расширенном образе диска плоскости вычислений.
| Агент мониторинга | Расположение | Description | Получение выходных данных |
|---|---|---|---|
| Мониторинг целостности файлов | Расширенный образ плоскости вычислений | Отслеживает нарушения целостности файлов и границ безопасности. Этот агент мониторинга запускается на рабочей виртуальной машине в кластере. | Включите таблицу системы аудита и просмотрите журналы для новых строк. |
| Антивирусная программа и обнаружение вредоносных программ | Расширенный образ плоскости вычислений | Сканирует файловую систему для вирусов ежедневно. Этот агент мониторинга выполняется на виртуальных машинах в вычислительных ресурсах, таких как кластеры и классические хранилища SQL. Агент обнаружения вредоносных программ и антивирусной программы сканирует всю файловую систему ОС узла и файловую систему контейнера Databricks Runtime. Все, что находится за пределами виртуальных машин кластера, находится вне его сканирования область. | Включите таблицу системы аудита и просмотрите журналы для новых строк. |
| Сканер уязвимостей | Сканирование происходит в репрезентативных образах в средах Azure Databricks. | Проверяет узел контейнера (виртуальная машина) на наличие определенных известных уязвимостей и cvEs. | Запросите отчеты проверки на образ из команды учетной записи Azure Databricks. |
Чтобы получить последние версии агентов мониторинга, можно перезапустить кластеры. Если в рабочей области используется автоматическое обновление кластера, по умолчанию кластеры перезапускается при необходимости во время запланированных периодов обслуживания. Если профиль безопасности соответствия включен в рабочей области, автоматическое обновление кластера постоянно включено в этой рабочей области.
Мониторинг целостности файлов
Расширенный образ плоскости вычислений включает службу мониторинга целостности файлов, которая обеспечивает видимость среды выполнения и обнаружение угроз для вычислительных ресурсов (рабочих ролей кластера) в классической вычислительной плоскости в рабочей области.
Выходные данные монитора целостности файлов создаются в журналах аудита, к которым можно получить доступ с помощью системных таблиц. См. статью "Мониторинг использования с системными таблицами". Схема JSON для новых событий аудита, относящихся к мониторингу целостности файлов, см. в разделе "События мониторинга целостности файлов".
Внимание
Вы несете ответственность за просмотр этих журналов. Databricks может, по своему усмотрению, просматривать эти журналы, но не принимать на себя обязательство сделать это. Если агент обнаруживает вредоносное действие, это ваша ответственность за выполнение этих событий и открытие запроса в службу поддержки с Databricks, если разрешение или исправление требует действия Databricks. Databricks может принять меры на основе этих журналов, включая приостановку или завершение ресурсов, но не принимает никаких обязательств к этим действиям.
Антивирусная программа и обнаружение вредоносных программ
Расширенный образ плоскости вычислений включает антивирусную программу для обнаружения троянов, вирусов, вредоносных программ и других вредоносных угроз. Антивирусный монитор сканирует всю файловую систему ОС узла и файловую систему контейнера Databricks Runtime. Все, что находится за пределами виртуальных машин кластера, находится вне его сканирования область.
Выходные данные антивирусного монитора создаются в журналах аудита, к которым можно получить доступ с помощью системных таблиц (общедоступная предварительная версия). Схема JSON для новых событий аудита, относящихся к антивирусной мониторингу, см. в разделе "События мониторинга антивирусной программы".
При создании нового образа виртуальной машины обновленные файлы подписи включаются в него.
Внимание
Вы несете ответственность за просмотр этих журналов. Databricks может, по своему усмотрению, просматривать эти журналы, но не принимать на себя обязательство сделать это. Если агент обнаруживает вредоносное действие, это ваша ответственность за выполнение этих событий и открытие запроса в службу поддержки с Databricks, если разрешение или исправление требует действия Databricks. Databricks может принять меры на основе этих журналов, включая приостановку или завершение ресурсов, но не принимает никаких обязательств к этим действиям.
После создания нового образа AMI обновленные файлы подписи включаются в новый образ AMI.
Сканер уязвимостей
Агент монитора уязвимостей выполняет сканирование уязвимостей узла контейнера (VM) для определенных известных cvEs. Сканирование выполняется в репрезентативных образах в средах Azure Databricks. Вы можете запросить отчеты проверки уязвимостей от команды учетной записи Azure Databricks.
При обнаружении уязвимостей с этим агентом Databricks отслеживает их в соответствии с соглашением об уровне обслуживания по управлению уязвимостями и освобождает обновленный образ при наличии.
Управление и обновление агентов мониторинга
Дополнительные агенты мониторинга, используемые для вычислительных ресурсов в классической плоскости вычислений, являются частью стандартного процесса Azure Databricks для обновления систем:
- Классический образ базового диска уровня вычислений (AMI) принадлежит, управляется и исправлением Databricks.
- Databricks предоставляет и применяет исправления безопасности, выпуская новые образы дисков AMI. Расписание доставки зависит от новых функциональных возможностей и обслуживания об уровне обслуживания для обнаруженных уязвимостей. Типичная доставка составляет каждые две до четырех недель.
- Базовая операционная система для плоскости вычислений — преимущество Ubuntu.
- Кластеры Azure Databricks и классические хранилища SQL по умолчанию являются временными. После запуска кластеры и классические хранилища SQL используют последний доступный базовый образ. Старые версии, которые могут иметь уязвимости безопасности, недоступны для новых кластеров.
- Вы регулярно отвечаете за перезапуск кластеров (с помощью пользовательского интерфейса или API), чтобы обеспечить использование последних исправленных образов виртуальных машин узла.
Мониторинг завершения агента
Если агент мониторинга на рабочей виртуальной машине не запущен из-за сбоя или другого завершения, система попытается перезапустить агент.
Политика хранения данных для мониторинга данных агента
Журналы мониторинга отправляются в таблицу системы журналов аудита, в свою подписку Azure, если настроены журналы диагностики. Хранение, прием и анализ этих журналов являются вашей ответственностью.
Отчеты и журналы проверки уязвимостей хранятся по крайней мере в течение одного года Databricks. Вы можете запросить отчеты об уязвимостях из группы учетных записей Azure Databricks.
Включение расширенного мониторинга безопасности Azure Databricks
- Рабочая область Azure Databricks должна находиться на уровне "Премиум" или "Корпоративный".
Сведения о включении расширенного мониторинга безопасности в рабочей области см. в статье "Использование портал Azure для включения параметров в новой рабочей области".
Обновления может занять до шести часов для распространения во всех средах и в подчиненные системы, такие как выставление счетов. Рабочие нагрузки, которые активно выполняются, продолжают работать с параметрами, которые были активными во время запуска кластера или другого вычислительного ресурса, а новые параметры начнут применяться при следующем запуске этих рабочих нагрузок.