Начало работы с Azure Databricks

  • 3 мин

Чтобы использовать Azure Databricks, необходимо создать рабочую область Azure Databricks в подписке Azure. Рабочая область — это развертывание Azure Databricks в учетной записи облачной службы. Она предоставляет единую среду для работы с ресурсами Azure Databricks для указанного набора пользователей.

Вы можете создать рабочую область Azure Databricks, выполнив следующие действия.

  • Использование пользовательского интерфейса портала Azure.
  • Использование шаблона Azure Resource Manager (ARM), Bicep или Terraform.
  • Использование командлета Azure PowerShell New-AzDatabricksWorkspace.
  • Используя рабочую область az databricks, создайте команду интерфейса командной строки Azure (CLI).

При создании рабочей области необходимо указать следующее:

  • Имя рабочей области.
  • Выберите доступный регион. Для получения информации о доступных регионах см. службы Azure, доступные по регионам.
  • Ценовая категория:
    • Стандартный — основные возможности Apache Spark с интеграцией идентификатора Microsoft Entra.
    • Premium — управление доступом на основе ролей и другие функции корпоративного уровня.
    • Пробная версия — 14-дневная бесплатная пробная версия рабочей области уровня "Премиум"
  • Имя управляемой группы ресурсов (необязательно): автоматически созданная группа ресурсов, в которой Azure подготавливает ресурсы инфраструктуры, необходимые для рабочей области Databricks, и управляет ими.

Снимок экрана: Azure Databricks на портале Azure.

Если вы решите создать развертывание Azure Databricks с помощью Azure CLI, это будет команда az databricks workspace, которую необходимо запомнить.

az databricks workspace create
    --resource-group myresourcegroup \
    --name mydatabricksws  \
    --location westus2  \
    --sku standard

Командлет PowerShell, который является эквивалентом New-AzDatabricksWorkspace:

New-AzDatabricksWorkspace -Name mydatabricksws -ResourceGroupName myresourcegroup -Location westus2 -ManagedResourceGroupName databricks-group -Sku standard

После подготовки рабочей области Azure Databricks можно использовать пользовательский интерфейс рабочей области для работы с данными и вычислительными ресурсами. Пользовательский интерфейс рабочей области — это веб-интерфейс, в котором можно создавать ресурсы рабочей области и управлять ими, например кластерами Spark, и использовать записные книжки и запросы для работы с данными в файлах и таблицах.

Снимок экрана: пользовательский интерфейс рабочей области Azure Databricks.

Домашняя страница предоставляет сочетания клавиш для распространенных задач и объектов рабочей области, которые помогут вам приступить к работе. Вы можете импортировать данные, создать записную книжку, создать запрос и настроить эксперимент AutoML.

На боковой панели показаны общие категории Databricks (Рабочая область, Последние, Каталог, Задания и конвейеры, Вычисления, Рынок). Затем это распределяется по категориям продуктов:

  • SQL: редактор SQL, запросы, панели мониторинга, Genie, оповещения, журнал запросов, хранилища SQL
  • Проектирование данных: запуски заданий, прием данных
  • Машинное обучение: детская площадка, эксперименты, функции, модели, обслуживание

Выберите +Создать :

  • Создайте объекты рабочей области , такие как записные книжки, запросы, репозитории, панели мониторинга, оповещения, задания, конвейеры, эксперименты, модели и конечные точки обслуживания.
  • Создайте вычислительные ресурсы , такие как кластеры, хранилища SQL и конечные точки машинного обучения.

Используйте верхнюю панель для поиска таких объектов рабочей области, как записные книжки, запросы, панели мониторинга, оповещения, файлы, папки, библиотеки, таблицы, зарегистрированные в каталоге Unity, заданиях и репозиториях в одном месте. Вы также можете получить доступ к недавно просмотранным объектам в строке поиска.

Рабочая область доступна на нескольких языках. Чтобы изменить язык рабочей области, выберите имя пользователя в верхней панели навигации, выберите "Параметры " и перейдите на вкладку "Настройки ".

Получите помощь от помощника Databricks

Databricks Assistant — это средство программирования на основе искусственного интеллекта и средства поддержки, которое помогает эффективнее работать в Databricks, создавая, объясняя и исправляя код или запросы непосредственно в записных книжках, панелях мониторинга и файлах.

Снимок экрана помощника Azure Databricks.

Он может помочь с широким спектром задач, включая выявление и исправление ошибок, создание визуализаций данных, диагностику проблем задания и фильтрацию или анализ данных с помощью запросов естественного языка. Помощник может получить соответствующие рекомендации из документации по Azure Databricks.

Используя метаданные каталога Unity, он персонализирует свои ответы на основе ресурсов данных вашей организации — таблиц, столбцов и описаний, что упрощает изучение и работу с данными.