Анализируйте данные в учетной записи хранения
В этом учебнике вы узнаете, как анализировать данные в учетной записи хранения.
Обзор
До сих пор были рассмотрены ситуации, когда данные находятся в базах данных в рабочей области. Теперь мы покажем, как работать с файлами в учетных записях хранения. В этом сценарии мы будем использовать основную учетную запись хранения для рабочей области и контейнера, которые мы указали при создании рабочей области.
- Имя учетной записи хранения: contosolake
- Имя контейнера в учетной записи хранения: пользователи
Создание файлов CSV и Parquet в учетной записи хранения
Выполните приведенный ниже код в записной книжке в новой ячейке кода. Он создает CSV-файл и Parquet-файл в учетной записи хранения.
%%pyspark
df = spark.sql("SELECT * FROM nyctaxi.passengercountstats")
df = df.repartition(1) # This ensures we'll get a single file during write()
df.write.mode("overwrite").csv("/NYCTaxi/PassengerCountStats_csvformat")
df.write.mode("overwrite").parquet("/NYCTaxi/PassengerCountStats_parquetformat")
Анализируйте данные в учетной записи хранения
Вы можете проанализировать данные в учетной записи ADLS 2-го поколения по умолчанию для рабочей области или связать учетную запись ADLS 2-го поколения или хранилища BLOB-объектов с рабочей областью, выбрав Управление>Связанные службы>Создать (приведенные ниже действия относятся к основной учетной записи ADLS 2-го поколения).
В Synapse Studio перейдите в центр Данные, а затем выберите команду Связанный.
Выберите Azure Data Lake Storage 2-го поколения>myworkspace (основная — contosolake) .
Выберите Пользователи (Основной) . Вы увидите папку NYCTaxi. Внутри вы увидите две папки: PassengerCountStats_csvformat и PassengerCountStats_parquetformat.
Откройте папку PassengerCountStats_parquetformat. Внутри вы увидите PARQUET-файл следующего вида
part-00000-2638e00c-0790-496b-a523-578da9a15019-c000.snappy.parquet.Щелкните правой кнопкой мыши файл Parquet, а затем последовательно выберите элементы Новая записная книжка и Load to DataFrame (Загрузить в DataFrame). Будет создана записная книжка с примерно такой ячейкой:
%%pyspark abspath = 'abfss://users@contosolake.dfs.core.windows.net/NYCTaxi/PassengerCountStats_parquetformat/part-00000-1f251a58-d8ac-4972-9215-8d528d490690-c000.snappy.parquet' df = spark.read.load(abspath, format='parquet') display(df.limit(10))Подключитесь к пулу Spark с именем Spark1. Запустите эту ячейку. Если возникает ошибка, связанная с отсутствием ядер, этот пул Spark может использоваться другим сеансом. Отмените все существующие сеансы и повторите попытку.
Снова выберите папку users. Щелкните правой кнопкой мыши файл Parquet и последовательно выберите элементы New SQL script (Новый скрипт SQL)>SELECT TOP 100 rows (Выбрать первые 100 строк) . Он создает скрипт SQL таким образом:
SELECT TOP 100 * FROM OPENROWSET( BULK 'https://contosolake.dfs.core.windows.net/users/NYCTaxi/PassengerCountStats_parquetformat/part-00000-1f251a58-d8ac-4972-9215-8d528d490690-c000.snappy.parquet', FORMAT='PARQUET' ) AS [result]В окне скрипта проверьте, указано ли в поле Подключить к значение встроенного бессерверного пула SQL.
Выполните скрипт.