Создание рабочей области Azure Synapse Analytics
Первым шагом в развертывании Azure Synapse Analytics является развертывание рабочей области Azure Synapse Analytics. В ходе этого процесса создается несколько ресурсов, в том числе учетная запись Azure Data Lake Storage 2-го поколения, которая выступает в качестве основного хранилища и контейнера для размещения данных рабочей области. В рабочей области данные хранятся в таблицах Apache Spark. Журналы приложений Spark также сохраняются в папке с именем /synapse/workspacename. Создаются конечные точки, которые можно использовать для подключения к службе SQL по запросу и рабочей области Azure Synapse Analytics.
Azure Synapse Analytics позволяет создавать в рабочей области пулы SQL или Spark, которые можно легко комбинировать и сопоставлять в соответствии с существующими требованиями. Это можно сделать с использованием общих метаданных Azure Synapse Analytics, что позволяет различным подсистемам совместно использовать базы данных и таблицы.
Например, общая система метаданных, совместимая с Hive, позволяет легко использовать в Spark или Hive таблицы, определенные для файлов в озере данных. SQL и Spark могут напрямую изучать и анализировать файлы Parquet, CSV, TSV и JSON, хранящиеся в озере данных. Также реализуется быстро масштабируемая загрузка и выгрузка данных, передаваемых между базами данных SQL и Spark.
Эта возможность позволяет использовать шаблоны рабочей нагрузки современного хранилища данных и предоставляет ядру SQL рабочей области доступ к базам данных и таблицам, созданным с помощью Spark. Совместный доступ также позволяет ядрам SQL создавать собственные объекты, которые не используются совместно с другими системами.
Рабочая область Azure Synapse Analytics — это центральное расположение, в котором можно просмотреть сведения об этих ресурсах и подключиться к ним с портала Azure. Начальная конфигурация выглядит следующим образом.
Если доступны бессерверная конечная точка SQL по запросу и учетная запись Azure Data Lake Storage 2-го поколения (ADLS 2-го поколения), вы можете сразу же оценить преимущества продукта, отправляя файлы в озеро данных и используя бессерверную службу SQL по запросу для их подготовки и просмотра.
Кроме того, вы можете управлять некоторыми аспектами службы на портале Azure. Для этого рекомендуется подключиться к Azure Synapse Studio для выполнения требуемых действий.