Настройка сети для приложений Databricks

Databricks Apps поддерживает детальное сетевое управление, чтобы обеспечить безопасность и управление взаимодействием приложения с Интернетом и внутренними ресурсами. Вы можете настроить правила для входящего и исходящего трафика с помощью сочетания списков IP-доступа, приватного подключения на уровне переднего интерфейса и сетевых политик.

Сетевая архитектура

Azure Databricks развертывает приложения на бессерверной вычислительной плоскости, где они получают трафик напрямую. Это аналогично другим службам, оптимизированным для маршрутов, таким как обслуживание моделей и векторный поиск.

Процесс подключения работает следующим образом:

1. Первоначальные запросы пользователей к приложению Azure Databricks инициируют проверку подлинности OAuth с помощью плоскости управления для проверки сеанса и авторизации доступа к приложению.
2. При успешной проверке подлинности все последующие запросы направляются непосредственно в бессерверную плоскость вычислений без обхода плоскости управления.

Политики безопасности сети, настроенные для бессерверной вычислительной плоскости, применяются к трафику Databricks Apps. Сюда входят списки IP-доступа и конфигурации частного подключения для пользовательского интерфейса.

Механизмы контроля входящего трафика

Используйте следующие функции, чтобы ограничить доступ к рабочей области Azure Databricks и приложениям из общедоступного Интернета.

• Списки IP-доступа: Ограничение доступа к рабочей области и приложению к известным и доверенным диапазонам IP-адресов путем включения списков IP-доступа на уровне рабочей области. Разрешен только трафик из настроенных диапазонов IP-адресов. Дополнительные сведения см. в разделе "Настройка списков IP-доступа для рабочих областей".

• Частное подключение на стороне клиента: Маршрутизация входящего трафика через соединение Azure Private Link для безопасного доступа к приложениям в вашей виртуальной сети.

  Чтобы обеспечить надлежащее разрешение имен через частное подключение, необходимо настроить условное перенаправление DNS для databricksapps.com домена. В противном случае DNS-запросы для домена приложения могут разрешаться на общедоступные IP-адреса вместо частной конечной точки. Инструкции по настройке см. в разделе "Настройка внешнего приватного канала".

Контроль исходящих данных

Чтобы контролировать исходящий трафик из приложения, создайте конфигурацию сетевого подключения (NCC) и примените политики сети к рабочей области, входящей в приложение.

Конфигурации сетевого подключения

Используйте конфигурацию сетевого подключения для безопасного подключения приложения к службам Azure. NCC предоставляют стабильные идентификаторы подсетей, которые можно добавить в брандмауэр учетной записи хранилища, чтобы явно разрешить доступ из вашего приложения и других бессерверных вычислительных решений.

Чтобы дополнительно ограничить исходящий трафик в частные назначения, настройте бессерверные частные конечные точки для ресурсов Azure или маршрутизировать трафик через подсистему балансировки нагрузки Azure в виртуальной сети.

Политики сети

Используйте политики сети для принудительного применения ограничений исходящего трафика для приложений Databricks и других бессерверных рабочих нагрузок. Это полезно, если необходимо соответствовать организационным или регламентным требованиям для управления исходящим подключением.

Замечание

Политики сети доступны только на уровне "Премиум".

Примените политику сети, если приложение:

• Должен ограничить доступ к определенному набору утвержденных внешних доменов
• Необходимо предотвратить случайное извлечение данных
• Должен соответствовать стандартам безопасности или соответствия требованиям, ограничивающим исходящий интернет-трафик

Рекомендации по настройке политик сети

Следуйте этим рекомендациям, чтобы избежать непредвиденных сбоев и убедиться, что приложения могут получить доступ к необходимым ресурсам:

• Разрешить только необходимые пункты назначения. Добавьте полные доменные имена (FQDN) для общедоступных или частных ресурсов, необходимых приложению.
• Включите репозитории пакетов по мере необходимости. Если приложение устанавливает общедоступные пакеты Python или Node.js, можно разрешить домены, такие как pypi.org Python или registry.npmjs.org Node. Приложению могут потребоваться дополнительные или разные домены в зависимости от конкретных зависимостей. Без этих репозиториев сборка приложений, зависящих от requirements.txt или package.json, может завершиться неудачно.
• Используйте режим сухого запуска для проверки политики сети. Этот режим имитирует применение политики без блокировки трафика.
• Просмотрите отклонённые попытки подключения, используя таблицу system.access.outbound_network. Это помогает определить домены, которые могут потребоваться разрешить. См. раздел "Проверка журналов отказа".

• Добавьте все необходимые внешние домены, например доверенные API или учетные записи хранения Azure, не зарегистрированные в каталоге Unity.

Шифрование и маршрутизация трафика

Databricks Apps использует выделенные пути маршрутизации и несколько уровней шифрования для защиты сетевых коммуникаций и защиты данных.

Маршрутизация трафика

Трафик между плоскости управления Azure Databricks, плоскости вычислений, другими ресурсами Azure Databricks и облачными службами перемещается по глобальной сети поставщика облачных служб и не проходит через общедоступный Интернет.

Трафик между пользователями и databricksapps.com может проходить через общедоступный Интернет в зависимости от сетевого расположения пользователя. Чтобы избежать общедоступной маршрутизации через Интернет, настройте интерфейсное частное подключение.

Шифрование при передаче

Все сетевые подключения к приложениям и из них шифруются:

• Трафик пользователей: Обмен данными между пользователями и databricksapps.com осуществляется с использованием шифрования Transport Layer Security (TLS) 1.3.
• Трафик плоскости управления: Обмен данными между плоскостью управления Azure Databricks и вычислительной плоскостью использует взаимную аутентификацию (mTLS) для управляющих операций, включая создание, обновление и удаление приложений.

Шифрование неактивных данных

Databricks Apps шифрует сохраненные данные с помощью следующих методов:

• Код приложения: Azure Databricks хранит код приложения в файлах рабочей области и использует то же шифрование, что и записные книжки и другие файлы рабочей области.
• Вычислительное хранилище: Приложения используют временные диски операционной системы узла, зашифрованные с помощью AES-256 и реализации шифрования по умолчанию поставщика облачных служб.