Краткое руководство. Создание бессерверного пула Apache Spark с помощью портал Azure

  • Статья

Azure Synapse Analytics предлагает различные механизмы аналитики, упрощающие прием, преобразование, моделирование, анализ и распространение данных. Пул Apache Spark предлагает возможности для вычислений больших данных с открытым кодом. После создания пула Apache Spark в рабочей области Synapse данные можно загружать, моделировать, обрабатывать и распространять для ускорения анализа.

В этом кратком руководстве вы узнаете, как использовать портал Azure для создания пула Apache Spark в рабочей области Synapse.

Внимание

Экземпляры Spark оплачиваются пропорционально за каждую минуту, независимо от их использования. Не забудьте завершить работу экземпляра Spark после его использования или задайте короткое время ожидания. Дополнительные сведения см. в разделе Очистка ресурсов этой статьи.

Если у вас нет подписки Azure, создайте бесплатную учетную запись, прежде чем приступить к работе.

Необходимые компоненты

Войдите на портал Azure

Войдите на портал Azure

  1. Перейдите к рабочей области Synapse, в которой будет создан пул Apache Spark, введя имя службы (или напрямую имя ресурса) в строке поиска. Screenshot of the Azure portal search bar with Synapse workspaces typed in.

  2. В списке рабочих областей введите имя (или часть имени) рабочей области, которую нужно открыть. В этом примере используется рабочая область с именем contosoanalytics. Screenshot from the Azure portal of the list of Synapse workspaces filtered to show those containing the name Contoso.

Создание пула Apache Spark

Внимание

Среда выполнения Azure Synapse для Apache Spark 2.4 устарела и официально не поддерживается с сентября 2023 года. Учитывая, что в Spark 3.1 и Spark 3.2 также объявлено о прекращении поддержки, мы рекомендуем клиентам перейти на Spark 3.3.

  1. В рабочей области Synapse, в которой необходимо создать пул Apache Spark, выберите Новый пул Apache Spark. Screenshot from the Azure portal of a Synapse workspace with a red box around the command to create a new Apache Spark pool.

  2. Введите следующие сведения на вкладке Основные сведения:

    Параметр Предлагаемое значение Описание
    Имя пула Apache Spark Допустимое имя пула, например contosospark Это имя, которое будет у пула Apache Spark.
    Размер узла "Small (4 vCPU / 32 GB)" (Малый (4 виртуальных ЦП / 32 ГБ)) Задайте минимальный размер, чтобы сократить затраты по работе в рамках этого краткого руководства.
    Автомасштабирование Выключено Для этого краткого руководства автомасштабирование не требуется
    Количество узлов 5 Задайте минимальный размер, чтобы сократить затраты на выполнение этого краткого руководства.

    Screenshot from the Azure portal of the Apache Spark pool create flow - basics tab.

    Внимание

    Существуют определенные ограничения для имен, которые могут использовать пулы Apache Spark. Имя должно содержать только буквы и цифры, его длина не должна превышать 15 символов. Имя должно начинаться с буквы, быть уникальными в рабочей области, но не должно содержать зарезервированные слова.

  3. Щелкните Далее: дополнительные параметры и проверьте предложенные по умолчанию параметры. Не изменяйте параметры по умолчанию. Screenshot from the Azure portal that shows the 'Create Apache Spark pool' page with the 'Additional settings' tab selected.

  4. Выберите Далее: теги. Рассмотрите возможность использования тегов Azure. Например, тег "Владелец" или "CreatedBy", чтобы определить, кто создал ресурс, и тег "Среда", чтобы определить, находится ли этот ресурс в рабочей среде, разработке и т. д. Дополнительные сведения см. в статье "Разработка стратегии именования и тегов для ресурсов Azure". Screenshot from the Azure portal of Apache Spark pool create flow - additional settings tab.

  5. Выберите Review + create (Просмотреть и создать).

  6. Убедитесь, что подробные сведения на основе ранее введенных данных указаны правильно, и щелкните Создать. Screenshot from the Azure portal of Apache Spark pool create flow - review settings tab.

  7. На этом этапе запустится поток подготовки ресурсов, а затем проинформирует о своем завершении. Screenshot from the Azure portal of that shows the 'Overview' page with a 'Your deployment is complete' message displayed.

  8. После завершения подготовки в рабочей области будет показана новая запись для созданного пула Apache Spark. Screenshot from the Azure portal of Apache Spark pool create flow - resource provisioning.

  9. На этом этапе нет работающих ресурсов, плата за Spark не взимается. Вы создали метаданные об экземплярах Spark, которые вам необходимо создать.

Очистка ресурсов

Ниже описано, как удалить пул Apache Spark из рабочей области.

Предупреждение

При удалении пула Apache Spark аналитический модуль будет удален из рабочей области. Вы больше не сможете подключиться к пулу, а все запросы, конвейеры и записные книжки, использующие этот пул Apache Spark, перестанут работать.

Если вы хотите удалить пул Apache Spark, сделайте следующее:

  1. Перейдите к области пулов Apache Spark в рабочей области.
  2. Выберите пул Apache Spark для удаления (в нашем примере это contosospark).
  3. Выберите команду Удалить. Screenshot from the Azure portal of a list of Apache Spark pools, with the recently created pool selected.
  4. Подтвердите удаление и нажмите кнопку "Удалить ". Screenshot from the Azure portal of the Confirmation dialog to delete the selected Apache Spark pool.
  5. После успешного завершения процесса пул Apache Spark больше не будет указываться в ресурсах рабочей области.

Связанный контент