Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Прием данных — это процесс, используемый для загрузки данных из одного или нескольких источников в таблицу в Azure Data Explorer. После принятия данные становятся доступными для запроса. В этой статье вы узнаете, как получить данные из хранилища Azure (контейнер ADLS 2-го поколения, контейнер BLOB-объектов или отдельные BLOB-объекты) в новую или существующую таблицу.
Общие сведения о приеме данных см. в обзоре приема данных в Azure Data Explorer.
Предупреждение
Мастер получения данных не поддерживает прием из службы хранилища Azure через частные конечные точки или управляемые частные конечные точки. Следуйте инструкциям, чтобы получить данные с помощью команды приема .ingest .
Необходимые компоненты
- Учетная запись Майкрософт или удостоверение пользователя Microsoft Entra. Подписка Azure не обязательна.
- Войдите в веб-интерфейс Azure Data Explorer.
- Кластер и база данных Azure Data Explorer. Создайте кластер и базу данных.
- Учетная запись хранения.
Получить данные
В меню слева выберите "Запрос".
Щелкните правой кнопкой мыши базу данных, в которой необходимо принять данные. Выберите Получить данные.
Исходный код
В окне "Получение данных" выбрана вкладка "Источник".
Выберите источник данных из доступного списка. В этом примере вы используете данные из хранилища Azure.
Настройка
Выберите целевую базу данных и таблицу. Если вы хотите принять данные в новую таблицу, нажмите кнопку +Создать таблицу и введите имя таблицы.
Примечание.
Имена таблиц могут содержать до 1024 символов, включая пробелы, буквенно-цифровые символы, дефисы и символы подчеркивания. Специальные символы не поддерживаются.
Чтобы добавить источник, выберите " Выбрать контейнер " или "Добавить URI".
Если выбран контейнер Select, заполните следующие поля:
Параметр Описание поля Отток подписок Идентификатор подписки, в которой находится учетная запись хранения. учетная запись хранения Имя, определяющее учетную запись хранения. Контейнер Контейнер хранилища, который требуется принять. Фильтры файлов (необязательно) Путь к папке Фильтрует данные для приема файлов с определенным путем к папке. Расширение файла Фильтрует данные для приема файлов только с определенным расширением файла. Если вы выбрали добавить URI:
В учетной записи хранения сгенерируйте SAS URL-адрес для контейнера или отдельных BLOB-объектов, которые вы хотите импортировать. Задайте разрешения для чтения и списка для контейнеров или чтения для отдельных BLOB-объектов. Дополнительные сведения см. в статье Создание маркера SAS.
Вставьте URL-адрес в поле URI, а затем выберите "плюс" (+). Можно добавить несколько URI для отдельных блобов или один URI для контейнера.
Примечание.
- Вы можете добавить до 10 отдельных BLOB-объектов. Каждый большой двоичный объект может быть максимум 1 ГБ без сжатия.
- Вы можете загрузить до 5000 больших двоичных объектов из одного контейнера.
- Вы не можете получать отдельные большие двоичные объекты и контейнеры в одном приеме.
Выберите Далее
Проверка
Откроется вкладка "Проверка " с предварительным просмотром данных.
Чтобы завершить процесс приема, нажмите кнопку Готово.
Необязательно.
- Используйте раскрывающийся список файла определения схемы, чтобы изменить файл, из который выводится схема.
- Измените автоматически выведенный формат данных, выбрав нужный формат из раскрывающегося списка. Сведения о приеме см . в форматах данных, поддерживаемых Azure Data Explorer.
- Изменение столбцов.
- Изучите дополнительные параметры на основе типа данных.
Изменить столбцы
Примечание.
- Для табличных форматов (CSV, TSV, PSV) невозможно сопоставить столбец дважды. Чтобы сопоставить существующий столбец, сначала удалите новый столбец.
- Нельзя изменить тип существующего столбца. При попытке выполнить сопоставление для столбца, имеющего другой формат, могут отобразиться пустые столбцы.
Изменения, которые вы можете внести в таблицу, зависят от следующих параметров:
- Тип таблицы — новая или существующая.
- Тип сопоставления — новое или существующее.
| Тип таблицы | Тип сопоставления | Доступные корректировки |
|---|---|---|
| Новая таблица | Создать сопоставление | Переименование столбца, изменение типа данных, изменение источника данных, преобразование сопоставления, добавление столбца, удаление столбца |
| Существующая таблица | Создать сопоставление | Добавьте столбец (в котором можно изменить тип данных, переименовать и обновить) |
| Существующая таблица | Существующее сопоставление | ничего |
Преобразования сопоставлений
Некоторые сопоставления форматов данных (Parquet, JSON и Avro) поддерживают простые преобразования во время приема. Чтобы применить преобразования сопоставления, создайте или обновите столбец в окне "Изменение столбцов ".
Преобразования сопоставления можно выполнять в столбце строки типа или даты и времени с источником с типом данных int или long. Поддерживаются следующие преобразования сопоставлений:
- DateTimeFromUnixSeconds;
- DateTimeFromUnixMilliseconds;
- DateTimeFromUnixMicroseconds;
- DateTimeFromUnixNanoseconds.
Дополнительные параметры на основе типа данных
Табличные (CSV, TSV, PSV):
Если вы используете табличные форматы в существующей таблице, можно выбрать расширеннуюсхему текущей >. Табличные данные не обязательно включают имена столбцов, которые используются для сопоставления исходных данных с существующими столбцами. При проверке этого параметра сопоставление выполняется по порядку, а схема таблицы остается той же. Если этот параметр снят, для входящих данных создаются новые столбцы независимо от структуры данных.
Чтобы использовать первую строку в качестве имен столбцов, выберите "Дополнительно>первая строка" — заголовок столбца.
JSON:
Чтобы определить деление данных JSON, выберите расширенные>вложенные уровни от 1 до 100.
Если выбраны ошибки расширенного>формата пропуска данных, данные будут приема в формате JSON. Если этот флажок не выбран, данные будут приема в формате multijson.
Итоги
В окне Сводки все три шага помечаются зелеными галочками, когда прием данных завершается успешно. Вы можете просмотреть команды, которые использовались для каждого шага, или выбрать карточку для запроса, визуализации или удаления данных приема.
