Сеть

В этой статье представлены конфигурации сети для развертывания и управления учетными записями и рабочими областями Azure Databricks.

Замечание

Плата за сеть Azure Databricks взимается при подключении бессерверных рабочих нагрузок к ресурсам клиентов. Ознакомьтесь с разделом "Общие сведения о затратах на бессерверные сети Databricks".

Обзор архитектуры Azure Databricks

Azure Databricks работает из плоскости управления и вычислительной плоскости.

• Уровень управления включает внутренние службы, которыми управляет Azure Databricks в учетной записи Azure Databricks. Веб-приложение находится в плоскости управления.
• Плоскость вычислений — это место обработки данных. Существует два типа вычислительных плоскостей в зависимости от используемого вычислительных ресурсов.
  • Для классических вычислений Azure Databricks вычислительные ресурсы находятся в подписке Azure в том, что называется классической вычислительной плоскости. Это относится к сети в подписке Azure и ее ресурсах. Классические ресурсы плоскости вычислений находятся в регионе, в который находится ваша рабочая область.
  • Для бессерверных вычислений бессерверные вычислительные ресурсы выполняются в бессерверной вычислительной плоскости в учетной записи Azure Databricks. Бессерверные ресурсы плоскости вычислений находятся в том же облачном регионе, что и классическая плоскость вычислений рабочей области. Этот регион выбирается при создании рабочей области.

Дополнительные сведения о классических вычислениях и бессерверных вычислениях см. в статье "Вычисления". Дополнительные сведения об архитектуре см. в разделе "Высокоуровневая архитектура".

Безопасное подключение к сети

Azure Databricks предоставляет безопасную сетевую среду по умолчанию, но если у вашей организации есть дополнительные потребности, можно настроить функции сетевого подключения между различными сетевыми подключениями, показанными на схеме ниже.

1. Пользователи и приложения в Azure Databricks. Вы можете настроить функции для управления доступом и предоставления частного подключения между пользователями и рабочими областями Azure Databricks. Ознакомьтесь с пользователями в сети Azure Databricks.
2. Плоскость управления и классическая плоскость вычислений: классические вычислительные ресурсы, такие как кластеры, развертываются в подписке Azure и подключаются к плоскости управления. Классические функции сетевого подключения можно использовать для развертывания классических ресурсов плоскости вычислений в собственных виртуальных сетях и обеспечения частного подключения из кластеров к плоскости управления. См. сведения о классической сети плоскости вычислений.
3. Бессерверная плоскость вычислений и хранилище. Вы можете настроить частные и выделенные подключения от бессерверных вычислений к хранилищу. См. сведения о сети бессерверных вычислительных плоскостей.

Вы можете настроить сетевые функции хранилища Azure, такие как частные конечные точки, чтобы защитить подключение между классической вычислительной плоскостей и ресурсами Azure. Смотрите «Предоставление доступа к рабочей области Azure Databricks для Azure Data Lake Storage» и «Сетевые рекомендации для Федерации Lakehouse».

Вы также можете включить поддержку брандмауэра для учетной записи хранения рабочей области, чтобы ограничить доступ к учетной записи из авторизованных сетей и подключений. См. раздел "Включение поддержки брандмауэра для учетной записи хранения рабочей области".

Подключение между плоскости управления и бессерверным вычислительным уровнем всегда осуществляется через магистраль сети Azure, а не через общедоступный Интернет.

Начало работы

Изучите архитектуру сети Databricks и изучите основные понятия.

Тема	Description
Общие сведения об архитектуре Databricks	Узнайте об архитектуре плоскости управления и плоскости вычислений, которая формирует основу сети Databricks.
Приватный канал Azure	Установите частные подключения между сетью и Databricks с помощью Приватного канала Azure для повышения безопасности.
Общие сведения о затратах на передачу данных и подключение	Узнайте о ценах на передачу данных и оптимизации затрат на функции сетевого подключения.

Connectivity

Настройте безопасные сетевые подключения для входящего доступа к рабочим областям и исходящего подключения из вычислительных ресурсов.

Тема	Description
Интерфейсные сети	Настройте элементы управления доступом к сети для пользователей, подключающихся к рабочим областям Databricks с помощью веб-интерфейса и API.
Внешний приватный канал	Включите частное подключение из корпоративной сети к рабочим областям Databricks с помощью Приватного канала Azure.
Сетевые взаимодействия в плоскости бессерверных вычислений	Настройте безопасный сетевой доступ между бессерверными вычислительными ресурсами и источниками данных и службами.
Частное подключение к ресурсам Azure	Установите частные подключения из бессерверных вычислений в службу хранилища Azure, базы данных SQL и других служб Azure.
Частное подключение к ресурсам в виртуальной сети	Подключение бессерверных вычислений к ресурсам, работающим в собственной виртуальной сети, с помощью частных конечных точек.
Управлять правилами частных конечных точек	Настройте правила частной конечной точки и управляйте ими для бессерверных вычислительных подключений.
Классическая сеть плоскости вычислений	Узнайте о параметрах сети для классических вычислительных ресурсов, развернутых в виртуальной сети.
Развертывание Azure Databricks в виртуальной сети	Размещайте кластеры Databricks в собственной виртуальной сети Azure для усиленного управления сетью (интеграция VNet).
Одноранговые виртуальные сети	Подключите виртуальную сеть Databricks к другим виртуальным сетям в подписке Azure, чтобы получить доступ к дополнительным ресурсам.
Подключение рабочей области к локальной сети	Расширение корпоративной сети в Databricks с помощью VPN или Azure ExpressRoute.
Серверная приватная ссылка	Установите частное подключение между классическими вычислительными ресурсами и контрольной плоскостью Databricks.
Параметры определяемого пользователем маршрута	Настройте определяемые пользователем маршруты (UDR) для управления потоком трафика из кластеров Databricks.
Обновление конфигурации сети рабочей области	Измените конфигурации сети для существующих рабочих областей.
Безопасное подключение к кластеру	Обеспечьте только исходящее подключение из кластеров к контрольной плоскости без открытых входящих портов.

Сетевая безопасность

Реализуйте элементы управления безопасностью для ограничения и мониторинга сетевого доступа.

Тема	Description
Что такое контроль исходящего трафика в бессерверной архитектуре?	Ограничить исходящие сетевые подключения от бессерверных вычислительных ресурсов, чтобы предотвратить кражу данных и обеспечить соответствие требованиям.
Управление политиками сети для управления бессерверным исходящим трафиком	Создайте политики сети, определяющие разрешенные подключения исходящего трафика из бессерверных вычислений.
Обзор списков IP-доступа	Узнайте, как использовать списки доступа к IP-адресам для управления доступом к рабочим областям Databricks.
Списки IP-доступа для рабочих областей	Настройте элементы управления IP-доступом на уровне рабочей области, чтобы ограничить доступ из утвержденных сетей.
Списки IP-доступа для консоли учетной записи	Задайте ограничения IP-адресов на уровне учетной записи, применяемые в нескольких рабочих областях для централизованного управления безопасностью.
Настройка политик конечной точки службы для доступа к хранилищу	Используйте конечные точки службы Azure для защиты подключения между Databricks и учетными записями Azure Storage.
Включите поддержку брандмауэра для аккаунта хранения вашей рабочей области	Настройте правила брандмауэра службы хранилища Azure, чтобы разрешить доступ из классических вычислительных ресурсов Databricks.
Настройка брандмауэра службы хранилища Azure для бессерверного доступа к вычислительным ресурсам	Используйте стабильные теги службы для настройки правил брандмауэра службы хранилища Azure для бессерверного подключения к вычислительным ресурсам.
Правила брандмауэра доменных имен	Настройте правила брандмауэра, основанные на доменах, чтобы разрешить доступ услугам Databricks через сетевые средства безопасности.
Шаблон ARM для поддержки брандмауэра	Используйте шаблоны Azure Resource Manager для автоматизации конфигурации брандмауэра для учетных записей хранения рабочей области.