Бөлісу құралы:

Краткое руководство. Прием данных одним щелчком (предварительная версия)

  • Мақала

Прием данных одним щелчком упрощает этот процесс, делая его быстрым и интуитивно понятным. С помощью приема данных одним щелчком вы можете легко принимать данные, создавать таблицы базы данных и сопоставлять структуры. Вы можете выбирать данные из разных источников в разных форматах и принимать их однократно или в рамках непрерывного процесса.

Преимущества приема данных одним щелчком:

  • интуитивно понятный процесс, управляемый мастером приема;
  • прием данных всего за несколько минут;
  • прием данных из разных источников (локальный файл, большие двоичные объекты и контейнеры, содержащие до 10 тыс. больших двоичных объектов);
  • прием данных в разных форматах;
  • прием данных в новые или существующие таблицы;
  • вам предлагаются сопоставления таблиц и схемы, которые можно легко изменить;

Возможность приема данных одним щелчком особенно полезна при первом приеме данных или в случае, когда схема данных вам незнакома.

Предварительные требования

  • Подписка Azure. Создайте бесплатную учетную запись Azure.

  • Создать пул Data Explorer с помощью Synapse Studio или портала Azure

  • Создать базу данных Data Explorer.

    1. В Synapse Studio в области слева выберите элемент Данные.

    2. Выберите + (Добавить новый ресурс) >Пул Data Explorer, а затем используйте следующие сведения:

      Параметр Рекомендуемое значение Описание
      Имя пула contosodataexplorer Имя пула Data Explorer, который вы будете использовать.
      Имя TestDatabase Имя базы данных должно быть уникальным в пределах кластера.
      Срок хранения по умолчанию 365. Интервал времени (в днях), в течение которого данные будут гарантированно доступны для запросов. Интервал времени измеряется с момента приема данных.
      Период кэширования по умолчанию 31 Интервал времени (в днях), в течение которого необходимо хранить часто запрашиваемые данные в хранилище SSD или ОЗУ, а не в долговременном хранилище.

    3. Чтобы создать базу данных, выберите Создать. Создание обычно занимает меньше минуты.

  • Создание таблицы

    1. В Synapse Studio в области слева выберите элемент Разработка.
    2. В разделе Скрипты KQL выберите + (Добавить новый ресурс) >Скрипт KQL. В области справа можно присвоить имя вашему сценарию.
    3. В меню Подключение к выберите contosodataexplorer.
    4. В меню Использование базы данных выберите TestDatabase.
    5. Вставьте следующую команду и выберите Выполнить, чтобы создать таблицу.
    .create table StormEvents (StartTime: datetime, EndTime: datetime, EpisodeId: int, EventId: int, State: string, EventType: string, InjuriesDirect: int, InjuriesIndirect: int, DeathsDirect: int, DeathsIndirect: int, DamageProperty: int, DamageCrops: int, Source: string, BeginLocation: string, EndLocation: string, BeginLat: real, BeginLon: real, EndLat: real, EndLon: real, EpisodeNarrative: string, EventNarrative: string, StormSummary: dynamic)

    Совет

    Убедитесь, что таблица была успешно создана. В области слева выберите Данные, откройте дополнительное меню contosodataexplorer и выберите Обновить. В разделе contosodataexplorer разверните элемент Таблицы и убедитесь, что в списке присутствует таблица StormEvents.

Доступ к мастеру приема данных одним щелчком

Мастер приема данных одним щелчком помогает выполнить прием данных одним щелчком.

  • Чтобы получить доступ к мастеру из Azure Synapse, выполните приведенные ниже действия.

    1. В Synapse Studio в области слева выберите элемент Данные.

    2. В разделе Data Explorer Databases (Базы данных Data Explorer) щелкните правой кнопкой мыши соответствующую базу данных, а затем выберите Open in Azure Data Explorer (Открыть в Azure Data Explorer).

      Снимок экрана: Azure Synapse Studio, открытие Azure Data Explorer в контексте определенного пула.

    3. Щелкните правой кнопкой мыши соответствующий пул, а затем выберите Ingest new data (Принять новые данные).

  • Чтобы получить доступ к мастеру с портала Azure, выполните приведенные ниже действия.

    1. На портале Azure найдите и выберите соответствующую рабочую область Synapse.

    2. В разделе Data Explorer pools (Пулы Data Explorer) выберите соответствующий пул.

    3. На начальном экране Welcome to Data Explorer pool (Добро пожаловать в пул Data Explorer) выберите Ingest new data (Принять новые данные).

      Снимок экрана: портал Azure, открытие Azure Data Explorer в контексте определенного пула.

  • Чтобы получить доступ к мастеру из пользовательского веб-интерфейса Azure Data Explorer, выполните приведенные ниже действия.

    1. Прежде чем начать, выполните приведенные ниже действия, чтобы получить конечные точки для приема запросов и данных.

      1. В Synapse Studio в области навигации слева выберите Управление>Пулы Data Explorer.

      2. Выберите пул Data Explorer, сведения о котором нужно просмотреть.

        Снимок экрана: экран

      3. Запишите конечные точки запроса и приема данных. Используйте конечную точку запроса в качестве кластера при настройке подключений к пулу Data Explorer. При настройке пакетов SDK для приема данных используйте конечную точку приема данных.

        Снимок экрана: панель свойств пулов Data Explorer с адресами универсального кода ресурса запроса и приема данных.

    2. В пользовательском веб-интерфейсе Azure Data Explorer добавьте подключение к конечной точке запроса.
    3. В меню слева выберите элемент Запрос, щелкните правой кнопкой мыши имя базы данных или таблицы и выберите элемент Ingest new data (Прием новых данных).

Мастер приема данных одним щелчком

Примечание

В этом разделе описан мастер, в котором в качестве источника данных используется концентратор событий. Эти действия также можно использовать для приема данных из большого двоичного объекта, файла, контейнера больших двоичных объектов и контейнера ADLS 2-го поколения.

Замените примеры значений фактическими значениями для своей рабочей области Synapse.

  1. На вкладке Назначение выберите базу данных и таблицу для приема данных.

    Снимок экрана: выбор базы данных и таблицы с помощью мастера приема данных одним щелчком в Azure Data Explorer.

  2. На вкладке Источник:

    1. Выберите Концентратор событий в качестве типа источника для приема данных.

      Снимок экрана: выбор типа источника с помощью мастера приема данных одним щелчком в Azure Data Explorer.

    2. Укажите сведения о подключении к данным концентратора событий, используя приведенную ниже информацию.

      Параметр Пример значения Описание
      Имя подключения к данным ContosoDataConnection Имя подключения к данным концентратора событий
      Подписка Contoso_Synapse Подписка, в которой находится концентратор событий.
      Пространство имен концентратора событий contosoeventhubnamespace Пространство имен концентратора событий.
      Группа потребителей contosoconsumergroup Имя группы потребителей концентратора событий.

      Снимок экрана: сведения о подключении к концентратору событий, отображающиеся в мастере приема данных одним щелчком в Azure Data Explorer.

    3. Выберите Далее.

Сопоставление схем

Служба автоматически создает схему и свойства приема, которые можно изменить. Вы можете использовать существующую структуру сопоставления или создать новую в зависимости от того, принимаете ли вы данные в новую или существующую таблицу.

На вкладке Схема нужно сделать следующее:

  1. подтвердить автоматически выбранный тип сжатия;
  2. выбрать формат данных. Разные форматы поддерживают возможность дальнейших изменений.
  3. Измените сопоставление в окне редактора.

Форматы файлов

Прием данных одним щелчком — это прием данных из источника данных во всех форматах, поддерживаемых Azure Data Explorer для приема.

Окно редактора

В окне редактора на вкладке Схема можно нужным образом настроить столбцы таблицы.

Изменения, которые вы можете внести в таблицу, зависят от следующих параметров:

  • Тип таблицы — новая или существующая.
  • Тип сопоставления — новое или существующее.
Тип таблицы Тип сопоставления Доступные корректировки
Новая таблица Новое сопоставление "Изменить тип данных", "Переименовать столбец", "Создать столбец", "Удалить столбец", "Обновить столбец", "Сортировать по возрастанию", "Сортировать по убыванию"
Существующая таблица Новое сопоставление "Создать столбец" (который можно переименовать и обновить либо выполнить изменение данных для него),
"Обновить столбец", "Сортировать по возрастанию", "Сортировать по убыванию"
Существующее сопоставление "Сортировать по возрастанию", "Сортировать по убыванию"

Примечание

При добавлении нового столбца или обновлении существующего можно изменить преобразования сопоставления. Дополнительные сведения см. в разделе Преобразования сопоставлений.

Преобразования сопоставлений

Некоторые сопоставления форматов данных (Parquet, JSON и Avro) поддерживают простые преобразования во время приема. Чтобы применить преобразования сопоставлений, создайте или обновите столбец в окне редактора.

Преобразования сопоставлений можно выполнять для столбца типа string или datetime. При этом тип данных источника — int или long. Поддерживаются следующие преобразования сопоставлений:

  • DateTimeFromUnixSeconds;
  • DateTimeFromUnixMilliseconds;
  • DateTimeFromUnixMicroseconds;
  • DateTimeFromUnixNanoseconds.

Прием данных

После завершения сопоставления схемы и операций со столбцами мастер приема начнет прием данных.

  • Прием данных из источников, не являющихся контейнерами, происходит мгновенно.

  • Если источник данных является контейнером:

    • Политика пакетной обработки Azure Data Explorer выполнит агрегирование данных.
    • После приема вы сможете скачать отчет о приеме и просмотреть данные о производительности каждого принятого большого двоичного объекта.

Первоначальное изучение данных

После приема мастер предоставляет возможность использовать быстрые команды для первоначального изучения данных.

Дальнейшие действия