Обзор архитектуры Azure Databricks

В этой статье представлен общий обзор архитектуры Azure Databricks, включая ее корпоративную архитектуру в сочетании с Azure.

Высокоуровневая архитектура

Azure Databricks работает из плоскости управления и вычислительной плоскости.

• Уровень управления включает внутренние службы, которыми управляет Azure Databricks в учетной записи Azure Databricks. Веб-приложение находится в плоскости управления.
• Плоскость вычислений — это место обработки данных. Существует два типа вычислительных плоскостей в зависимости от используемого вычислительных ресурсов.
  • Для бессерверных вычислений бессерверные вычислительные ресурсы выполняются в бессерверной вычислительной плоскости в учетной записи Azure Databricks.
  • Для классических вычислений Azure Databricks вычислительные ресурсы находятся в подписке Azure в том, что называется классической вычислительной плоскости. Это относится к сети в подписке Azure и ее ресурсах.

На следующей схеме описана общая архитектура Azure Databricks.

Бессерверная плоскость вычислений

В бессерверной вычислительной плоскости вычислительные ресурсы Azure Databricks выполняются в вычислительном слое в учетной записи Azure Databricks. Azure Databricks создает бессерверную плоскость вычислений в том же регионе Azure, что и классическая плоскость вычислений рабочей области.

Чтобы защитить данные клиентов в плоскости бессерверных вычислений, бессерверные вычисления выполняются в пределах сетевой границы рабочей области с различными уровнями безопасности для изоляции различных рабочих областей клиентов Azure Databricks и дополнительных сетевых элементов управления между кластерами одного и того же клиента.

Дополнительные сведения о сети в бессерверной вычислительной плоскости— сети бессерверных вычислений.

Классическая плоскость вычислений

В классической вычислительной плоскости вычислительные ресурсы Azure Databricks выполняются в подписке Azure. Новые вычислительные ресурсы создаются в виртуальной сети каждой рабочей области в подписке Azure клиента.

Классическая плоскость вычислений имеет естественную изоляцию, так как она выполняется в собственной подписке Azure каждого клиента. Дополнительные сведения о сети в классической плоскости вычислений см. в статье "Классические сети плоскости вычислений".

Сведения о региональной поддержке см. в регионах Azure Databricks.