Получение данных из хранилища Azure

  • Статья

Прием данных — это процесс, используемый для загрузки данных из одного или нескольких источников в таблицу в Azure Data Explorer. После принятия данные становятся доступными для запроса. Из этой статьи вы узнаете, как получить данные из хранилища Azure (контейнер ADLS 2-го поколения, контейнер BLOB-объектов или отдельные большие двоичные объекты) в новую или существующую таблицу.

Прием можно выполнять как одноразовую операцию или как непрерывный метод. Непрерывный прием можно настроить только на портале.

Общие сведения о приеме данных см. в статье Общие сведения о приеме данных в Azure Data Explorer.

Предварительные требования

Получение данных

  1. В меню слева выберите Запрос.

  2. Щелкните правой кнопкой мыши базу данных, в которой вы хотите принять данные. Выберите Получить данные.

    Снимок экрана: вкладка запроса с щелчком правой кнопкой мыши на базе данных и открытым диалоговым окном получения параметров.

Source

В окне Получение данных выбрана вкладка Источник .

Выберите источник данных из списка доступных. В этом примере вы будете принимать данные из службы хранилища Azure.

Снимок экрана: окно получения данных с выбранной вкладкой

Configure

  1. Выберите целевую базу данных и таблицу. Если вы хотите принять данные в новую таблицу, выберите + Новая таблица и введите имя таблицы.

    Примечание

    Имена таблиц могут содержать до 1024 символов, включая пробелы, буквы и цифры, дефисы и символы подчеркивания. Специальные символы не поддерживаются.

  2. Чтобы добавить источник, выберите Выбрать контейнер или Добавить URI.

    1. Если вы выбрали Выбрать контейнер, заполните следующие поля:

      Снимок экрана: вкладка

      Параметр Описание поля
      Подписка Идентификатор подписки, в которой находится учетная запись хранения.
      Учетная запись хранения Имя, идентифицирующее учетную запись хранения.
      Контейнер Контейнер хранилища, который вы хотите принять.
      Фильтры файлов (необязательно)
      Путь к папке Фильтрует данные для приема файлов с определенным путем к папке.
      Расширение файла Фильтрует данные для приема файлов только с определенным расширением.

    2. Если вы выбрали Добавить URI, вставьте строка подключения хранилища для контейнера BLOB-объектов или отдельных файлов в поле URI, а затем выберите +.

      Примечание

      • Можно добавить до 10 отдельных BLOB-объектов. Каждый большой двоичный объект может быть не более 1 ГБ без сжатия.
      • Вы можете принять до 5000 больших двоичных объектов из одного контейнера.

      Снимок экрана: вкладка

  3. Щелкните Далее.

Изучение

Откроется вкладка Проверка с предварительным просмотром данных.

Чтобы завершить процесс приема, нажмите кнопку Готово.

Снимок экрана: вкладка проверки.

При необходимости

Изменить столбцы

Примечание

  • Для табличных форматов (CSV, TSV, PSV) невозможно сопоставить столбец дважды. Чтобы сопоставить существующий столбец, сначала удалите новый столбец.
  • Нельзя изменить тип существующего столбца. При попытке выполнить сопоставление для столбца, имеющего другой формат, могут отобразиться пустые столбцы.

Изменения, которые вы можете внести в таблицу, зависят от следующих параметров:

  • Тип таблицы — новая или существующая.
  • Тип сопоставления — новое или существующее.
Тип таблицы Тип сопоставления Доступные корректировки
Новая таблица Новое сопоставление Переименование столбца, изменение типа данных, изменение источника данных, преобразование сопоставления, добавление столбца, удаление столбца
Существующая таблица Новое сопоставление Добавление столбца (в котором затем можно изменить тип данных, переименовать и обновить)
Существующая таблица Существующее сопоставление нет

Снимок экрана: столбцы, открытые для редактирования.

Преобразования сопоставлений

Некоторые сопоставления форматов данных (Parquet, JSON и Avro) поддерживают простые преобразования во время приема. Чтобы применить преобразования сопоставления, создайте или обновите столбец в окне Изменение столбцов .

Преобразования сопоставления могут выполняться для столбца типа string или datetime, при этом источник имеет тип данных int или long. Поддерживаются следующие преобразования сопоставлений:

  • DateTimeFromUnixSeconds;
  • DateTimeFromUnixMilliseconds;
  • DateTimeFromUnixMicroseconds;
  • DateTimeFromUnixNanoseconds.

Дополнительные параметры на основе типа данных

Табличный (CSV, TSV, PSV):

  • При приеме табличных форматов в существующей таблице можно выбрать Дополнительно>Сохранить текущую схему таблицы. Табличные данные не обязательно включают имена столбцов, которые используются для сопоставления исходных данных с существующими столбцами. Если этот параметр установлен, сопоставление выполняется по порядку, а схема таблицы остается прежней. Если этот флажок снят, для входящих данных создаются новые столбцы независимо от структуры данных.

  • Чтобы использовать первую строку в качестве имен столбцов, выберите Дополнительно Первая>строка является заголовком столбца.

    Снимок экрана: дополнительные параметры CSV.

JSON:

  • Чтобы определить разделение данных JSON по столбцам, выберите Расширенные>вложенные уровни от 1 до 100.

  • Если выбран параметр Дополнительно>Игнорировать ошибки формата данных, данные будут приниматься в формате JSON. Если оставить этот проверка флажок не выбран, данные будут приниматься в формате multijson.

    Снимок экрана: дополнительные параметры JSON.

Сводка

В окне Подготовка данных все три шага помечаются зеленым проверка по завершении приема данных. Вы можете просмотреть команды, которые использовались для каждого шага, или выбрать карта для запроса, визуализации или удаления данных.

Снимок экрана: страница сводки с успешным приемом.

См. также