Разработка скриптов U-SQL с помощью средств Data Lake для Visual Studio

Средства Azure Data Lake и Stream Analytics включают функции, близкие к функциям двух служб Azure: Azure Data Lake Analytics и Azure Stream Analytics. Подробнее о сценариях работы с Azure Stream Analytics см. в статье Установка средств Azure Stream Analytics для Visual Studio.

В этой статье описывается, как использовать Visual Studio для создания учетных записей Azure Data Lake Analytics. Задания можно определить в формате U-SQL и отправить в службу Data Lake Analytics. Дополнительные сведения о Data Lake Analytics см. в обзоре Azure Data Lake Analytics.

Важно!

Мы рекомендуем обновить средства Azure Data Lake для Visual Studio до версии 2.3.3000.4 или выше. Предыдущие версии являются устаревшими и недоступными для скачивания.

  1. Проверьте, не используете ли вы Средства Azure Data Lake для Visual Studio более ранней версии, чем 2.3.3000.4.

    Check tool version

  2. Если у вас более ранняя версия, чем 2.3.3000.4, обновите Средства Azure Data Lake для Visual Studio, посетив сайт центра загрузки:

Предварительные требования

Установка средств Azure Data Lake для Visual Studio

Для работы с этим руководством необходимо установить Data Lake Tools для Visual Studio. Дополнительные сведения см. в статье Установка средств Data Lake для Visual Studio.

Подключение к учетной записи Azure Data Lake Analytics

  1. Запустите Visual Studio.

  2. Откройте Обозреватель Data Lake Analytics, выбрав Вид>Обозреватель Data Lake Analytics.

  3. Щелкните правой кнопкой Azure и выберите Подключиться к подписке Microsoft Azure. В разделе Вход в учетную запись следуйте инструкциям.

  4. В разделе Обозреватель серверов выберите Azure>Data Lake Analytics. Отобразится список учетных записей Data Lake Analytics.

Создание первого скрипта U-SQL

Ниже приводится простой скрипт U-SQL. Он определяет небольшой набор данных и по умолчанию записывает его в хранилище Data Lake Store как файл с именем /data.csv.

USE DATABASE master;
USE SCHEMA dbo;
@a  = 
    SELECT * FROM 
        (VALUES
            ("Contoso", 1500.0),
            ("Woodgrove", 2700.0)
        ) AS 
              D( customer, amount );
OUTPUT @a
    TO "/data.csv"
    USING Outputters.Csv();

Отправка задания аналитики озера данных

  1. В Visual Studio выберите Файл>Создать>Проект.

  2. Выберите тип Проект U-SQL и нажмите кнопку Далее. В разделе Настроить новый проект нажмите кнопку Создать.

    В Visual Studio создастся решение, которое содержит файл Script.usql.

  3. Вставьте скрипт из раздела Создание первого скрипта U-SQL в окно Script.usql.

  4. В Обозревателе решений щелкните правой кнопкой Script.usql и выберите Отправить скрипт.

  5. В разделе Отправить задание выберите учетную запись Data Lake Analytics и нажмите кнопку Отправить.

    Submit U-SQL Visual Studio project

После отправки задания откроется вкладка Представление задания, на которой отображается ход выполнения задания.

  • В окне Сводные данные задания представлена сводка задания.
  • В окне Граф задания визуализируется ход выполнения задания.
  • В окне Операции с метаданными представлены сведения обо всех действиях, выполненных в каталоге U-SQL.
  • В окне Данные отображаются все входные и выходные данные.
  • Состояние журнала отображает сведения о временной шкале и состоянии.
  • Анализ единиц использования аналитики показывает, какое количество таких единиц использовано в задании, и моделирует разные стратегии выделения единиц использования аналитики.
  • В окне Диагностика представлены данные расширенного анализа для выполнения задания и оптимизации производительности.

U-SQL Visual Studio Data Lake Analytics job performance graph

Чтобы отобразить сведения о текущем состоянии задания и обновить экран, щелкните Обновить.

Проверка состояния задания

  1. В разделе Обозреватель серверов выберите Azure>Data Lake Analytics.

  2. Разверните окно имени учетной записи Data Lake Analytics.

  3. Дважды щелкните Задания.

  4. Выберите задание, отправленное ранее.

Просмотр выходных данных задания

  1. В Обозревателе серверов перейдите к отправленному заданию.

  2. Перейдите на вкладку Данные.

  3. На вкладке Job Outputs (Выходные данные задания) выберите файл "/data.csv".

Дальнейшие действия