Копирование данных в Azure Data Explorer с помощью фабрики данных Azure

Статья
03/21/2023

Важно!

Этот соединитель можно использовать в аналитике в режиме реального времени в Microsoft Fabric. Используйте инструкции в этой статье со следующими исключениями:

При необходимости создайте базы данных с помощью инструкций из статьи Создание базы данных KQL.
При необходимости создайте таблицы с помощью инструкций из статьи Создание пустой таблицы.
Получите URI запроса или приема с помощью инструкций в разделе Копирование URI.
Выполнение запросов в наборе запросов KQL.

Azure Data Explorer — это быстрая, полностью управляемая служба анализа данных. Он предлагает анализ в реальном времени больших объемов данных, которые поступают из многих источников, таких как приложения, веб-сайты и устройства Интернета вещей. С помощью Azure Data Explorer вы можете итеративно исследовать данные и выявлять закономерности и аномалии для улучшения продуктов, повышения качества обслуживания клиентов, мониторинга устройств и ускорения операций. Это поможет вам изучить новые вопросы и получить ответы за считанные минуты.

Фабрика данных Azure — это полностью управляемая облачная служба интеграции данных. Вы можете использовать ее для заполнения базы данных Azure Data Explorer данными из существующей системы. Это поможет вам сэкономить время при создании аналитических решений.

При загрузке данных в Azure Data Explorer фабрика данных предоставляет следующие преимущества.

Простая настройка: получите интуитивно понятный мастер из пяти шагов, не требующий написания сценариев.
Расширенная поддержка хранилищ данных: получите встроенную поддержку для широкого набора локальных и облачных хранилищ данных. Подробный список см. в таблице Поддерживаемые хранилища данных и форматы.
Безопасность и соответствие требованиям: данные передаются по HTTPS или Azure ExpressRoute. Наличие глобальной службы гарантирует, что ваши данные никогда не покинут заданных географических границ.
Высокая производительность: скорость загрузки данных в Azure Data Explorer составляет до 1 гигабайта в секунду (ГБ/с). Дополнительные сведения см. в статье Производительность операции копирования.

В этой статье вы используете инструмент копирования данных фабрики данных для загрузки данных из Amazon Simple Storage Service (S3) в Azure Data Explorer. Вы можете выполнить аналогичный процесс для копирования данных из других хранилищ данных, например:

Предварительные требования

Подписка Azure. Создайте бесплатную учетную запись Azure.
Кластер и база данных Azure Data Explorer. Создайте кластер и базу данных.
Источник данных.

Создание фабрики данных

Войдите на портал Azure.
На левой панели выберите Создать ресурс>Аналитика>Фабрика данных.

На панели Новая фабрика данных укажите значения для полей в следующей таблице.

Панель «Новая фабрика данных»

Параметр	Значение для ввода
Название	В поле введите глобальное уникальное имя для вашей фабрики данных. Если вы получаете сообщение об ошибке, Имя фабрики данных LoadADXDemo недоступно, введите другое имя для фабрики данных. Правила именования артефактов фабрики данных см. в разделе Правила именования фабрики данных.
подписка	В раскрывающемся списке выберите подписку Azure, в которой нужно создать фабрику данных.
Группа ресурсов	Выберите Создать и введите имя новой группы ресурсов. Если у вас уже есть группа ресурсов, выберите Использовать существующую.
Version	В раскрывающемся списке выберите V2.
Расположение	В раскрывающемся списке выберите расположение фабрики данных. В списке отображаются только поддерживаемые местоположения. Хранилища данных, используемые фабрикой данных, могут существовать в других местах или регионах.

Щелкните Создать.
Чтобы отслеживать процесс создания, выберите Уведомления на панели инструментов. После того как вы создали фабрику данных, выберите ее.

Откроется панель Фабрики данных.
Чтобы открыть приложение на отдельной панели, выберите плитку Автор и Мониторинг.

Загрузить данные в Azure Data Explorer

В Azure Data Explorer можно загружать данные из многих типов хранилищ данных. В этой статье рассказывается, как загрузить данные из Amazon S3.

Вы можете загрузить свои данные одним из следующих способов.

В пользовательском интерфейсе фабрики данных Azure на левой панели щелкните значок Автор. Это показано в разделе «Создание фабрики данных» статьи Создание фабрики данных с помощью пользовательского интерфейса фабрики данных Azure.
В средстве копирования данных фабрики данных Azure, как показано в разделе Использование средства копирования данных для копирования данных.

Скопируйте данные из Amazon S3 (источник)

На панели Давайте приступим откройте инструмент «Копировать данные», выбрав Копировать данные.
На панели Свойства в поле Имя задачи введите имя и нажмите Далее.
На панели Исходное хранилище данных выберите Создать новое соединение.
Выберите Amazon S3, а затем нажмите Продолжить.
На панели Новая связанная служба (Amazon S3) выполните следующие действия.

a. В поле Имя введите имя новой связанной службы.

b. В раскрывающемся списке Подключиться через среду выполнения интеграции выберите значение.

c. В поле Идентификатор ключа доступа введите значение.

Примечание

В Amazon S3, чтобы найти ключ доступа, выберите свое имя пользователя Amazon на панели навигации, а затем выберите Мои учетные данные безопасности.

d. В поле Секретный ключ доступа введите значение.

д) Чтобы проверить созданное вами соединение связанной службы, выберите Проверить соединение.

е) Нажмите кнопку Завершить.

На панели хранилища исходных данных отображается ваше новое соединение с AmazonS31.
Выберите Далее.
На панели Выберите входной файл или папку выполните следующие действия.

a. Найдите файл или папку, которые вы хотите скопировать, а затем выберите их.

b. Выберите желаемое поведение копирования. Убедитесь, что флажок Двоичное копирование снят.

c. Выберите Далее.
На панели настроек формата файла выберите соответствующие настройки для вашего файла, а затем выберите Далее.

Скопируйте данные в Azure Data Explorer (назначение)

Новая связанная служба Azure Data Explorer создается для копирования данных в целевую таблицу (приемник) Azure Data Explorer, указанную в этом разделе.

Примечание

Используйте действие команды Фабрика данных Azure для выполнения команд управления Azure Data Explorer и используйте любой из приемов из команд запроса, например .set-or-replace.

Создание связанной службы Azure Data Explorer

Чтобы создать связанную службу Azure Data Explorer, выполните следующие действия.

Чтобы использовать существующее соединение с хранилищем данных или указать новое хранилище данных, на панели Целевое хранилище данных выберите Создать новое соединение.
В области Новая связанная служба выберите Azure Data Explorer, а затем нажмите Продолжить.
На панели Новая связанная служба (Azure Data Explorer) выполните следующие действия.
1. В поле Имя введите имя связанной службы Azure Data Explorer.
2. В поле Способ проверки подлинности выберите Управляемое удостоверение, назначаемое системой или Субъект-служба.
  - Для проверки подлинности с помощью управляемого удостоверения предоставьте ему доступ к базе данных, используя Имя управляемого удостоверения или Идентификатор объекта управляемого удостоверения.
  - Для проверки подлинности с помощью субъекта-службы сделайте следующее:
    1. В поле Клиент введите имя клиента.
    2. В поле Идентификатор субъекта-службы введите идентификатор субъекта-службы.
    3. Выберите Ключ субъекта-службы, а затем в поле Ключ субъекта-службы введите значение ключа.
  Примечание
  - Субъект-служба используется фабрикой данных Azure для доступа к службе Azure Data Explorer. Чтобы создать субъект-службу, перейдите к разделу Создание Microsoft Entra субъекта-службы.
  - Сведения о назначении разрешений управляемому удостоверению или субъекту-службе см. в статье об управлении разрешениями.
  - Не используйте способ с Azure Key Vault или управляемое удостоверение, назначаемое пользователем.
3. В разделе Метод выбора учетной записи выберите один из следующих вариантов.
  - Выберите Из подписки Azure, а затем в раскрывающихся списках выберите подписку Azure и свой Кластер.
    Примечание
    - В раскрывающемся списке Кластер перечислены только кластеры, связанные с вашей подпиской.
    - Ваш кластер должен иметь соответствующий SKU для максимальной производительности.
  - Выберите Ввести вручную, а затем введите свою Конечную точку.
4. В раскрывающемся списке База данных выберите имя своей базы данных. Или установите флажок Изменить и введите имя базы данных.
5. Чтобы проверить созданное вами соединение связанной службы, выберите Проверить соединение. Если вы можете подключиться к связанной службе, на панели отобразится зеленая галочка и сообщение Соединение успешно.
6. Чтобы проверить созданное вами соединение связанной службы, выберите Проверить соединение. Если вы можете подключиться к связанной службе, на панели отобразится зеленая галочка и сообщение Соединение успешно.
7. Выберите Создать, чтобы завершить создание связанной службы.

Настройка подключения к данным Azure Data Explorer

После создания связанного подключения к службе откроется панель Целевое хранилище данных, а созданное подключение станет доступным для использования. Чтобы настроить подключение, выполните следующие действия.

Выберите Далее.
На панели Сопоставление таблиц задайте имя целевой таблицы, а затем нажмите кнопку Далее.
На панели Сопоставления столбцов выполняются следующие сопоставления.

a. Первое сопоставление выполняется фабрикой данных Azure в соответствии с сопоставлением схемы фабрики данных Azure. Выполните следующие действия.
- Задайте Сопоставления столбцов для целевой таблицы фабрики данных Azure. Отображение по умолчанию отображается из источника в целевую таблицу фабрики данных Azure.
- Отмените выбор столбцов, которые вам не нужны для определения сопоставления столбцов.
b. Второе сопоставление происходит, когда эти табличные данные загружаются в Azure Data Explorer. Сопоставление выполняется в соответствии с правилами сопоставления CSV. Даже если исходные данные не в формате CSV, фабрика данных Azure преобразует данные в табличный формат. Следовательно, сопоставление CSV — единственное подходящее сопоставление на данном этапе. Выполните следующие действия.
- (Необязательно.) В Свойствах приемника Azure Data Explorer (Kusto) добавьте соответствующее Имя сопоставления приема, чтобы можно было использовать сопоставление столбцов.
- Если Имя сопоставления приема не указано, будет использоваться порядок сопоставления по имени, определенный в разделе Сопоставления столбцов. Если сопоставление по имени не удается, Azure Data Explorer пытается принять данные в порядке расположения столбцов (т. е. сопоставление выполняется по положению по умолчанию).
- Выберите Далее.
На панели Настроек выполните следующие действия.

a. В разделе Настройки отказоустойчивости введите соответствующие настройки.

b. В разделе Параметры производительности параметр Включить промежуточное хранение не применяется, а в Дополнительных настройках учитывается стоимость. Если у вас нет особых требований, оставьте эти настройки как есть.

c. Выберите Далее.
На панели Сводка проверьте параметры и нажмите кнопку Далее.
На панели Развертывание завершено выполните следующие действия.

a. Чтобы переключиться на вкладку Монитор и просмотреть состояние конвейера (то есть ход выполнения, ошибки и поток данных), выберите Монитор.

b. Чтобы изменить связанные сервисы, наборы данных и конвейеры, выберите Редактировать конвейер.

c. Нажмите Готово, чтобы завершить задачу копирования данных.