Получение данных из службы хранилища Azure

Из этой статьи вы узнаете, как получить данные из хранилища Azure (контейнер ADLS 2-го поколения, контейнер BLOB-объектов или отдельные BLOB-объекты). Вы можете загружать данные в таблицу непрерывно или единоразово. После принятия данные становятся доступными для запроса.

• Непрерывное поглощение (предварительная версия): непрерывное поглощение включает в себя настройку конвейера приема данных, который позволяет событийному центру прослушивать события службы хранилища Azure. Конвейер уведомляет хранилище событий о том, чтобы получить сведения при возникновении подписываемых событий. События : BlobCreated и BlobRenamed.

  Это важно

  Эта функция доступна в предварительной версии.

  Заметка

  Поток непрерывного приема может повлиять на ваши счета. Дополнительные сведения см. в разделе "Eventhouse" и "Использование базы данных KQL".

• Однократный прием: используйте этот метод для извлечения данных из службы хранилища Azure как одноразовую операцию.

Необходимые условия

• Рабочая область с емкостью , поддерживающей Microsoft Fabric.
• База данных KQL с разрешениями на редактирование.
• Учетная запись хранения.

Для непрерывного приема также требуется:

• Идентификатор рабочей области. Моя рабочая область не поддерживается. При необходимости создайте новую рабочую область.

• Включите иерархическое пространство имен в учетной записи хранения.

  

• Роль читателя данных BLOB-объектов хранилища, назначенная удостоверению рабочей области.

• Контейнер для хранения файлов данных.

• Файл данных, отправленный в контейнер. Структура файла данных используется для определения схемы таблицы. Дополнительные сведения см. в форматах данных, поддерживаемыханалитикой Real-Time.

  Заметка

  Необходимо отправить файл данных:

  • Перед настройкой конфигурации , чтобы определить схему таблицы во время настройки.
  • После настройки для активации непрерывного приема данных для предварительного просмотра данных и проверки подключения.

Добавьте назначение роли удостоверения рабочей области в учетную запись хранения

1. Скопируйте идентификатор рабочей области из параметров рабочей области в Fabric.

   

2. На портале Azure перейдите к учетной записи хранения Azure и выберите "Управление доступом" (IAM)>Добавить>назначение ролей.

3. Выберите средство чтения данных BLOB-объектов хранилища.

4. В диалоговом окне "Добавление назначения ролей " выберите +Выбрать участников.

5. Вставьте идентификатор удостоверения рабочей области, выберите приложение и нажмите кнопку ">Проверить и назначить".

Создание контейнера с файлом данных

1. В учетной записи хранения выберите контейнеры.

2. Выберите +Контейнер, введите имя контейнера и нажмите кнопку "Сохранить".

3. Введите контейнер, выберите отправку и отправьте файл данных, подготовленный ранее.

   Дополнительные сведения см. в поддерживаемых форматах и поддерживаемых сжатиях.

4. В контекстном меню [...], выберите свойства контейнера и скопируйте URL-адрес в входные данные во время настройки.

   

Источник

Задайте источник для получения данных.

1. В рабочей области откройте EventHouse и выберите базу данных.

2. На ленте базы данных KQL выберите "Получить данные".

3. Выберите источник данных из доступного списка. В этом примере вы получаете данные из хранилища Azure.

   

Настройка

Непрерывное прием

1. Выберите целевую таблицу. Если вы хотите принять данные в новую таблицу, выберите + Создать таблицу и введите имя таблицы.

   Заметка

   Имена таблиц могут содержать до 1024 символов, включая пробелы, буквенно-цифровые символы, дефисы и символы подчеркивания. Специальные символы не поддерживаются.

2. В конфигурации подключения к хранилищу BLOB по хранению Azure убедитесь, что включен непрерывный ввод данных. Он включен по умолчанию.

3. Настройте подключение, создав новое подключение или используя существующее подключение.

   Чтобы создать новое подключение, выполните приведенные действия.

   1. Выберите "Подключиться к учетной записи хранения".

      

   2. Чтобы заполнить поля, используйте следующие описания.

      настройка	описание поля
      Подписка	Подписка на учетную запись хранения.
      Учетная запись Blob-хранилища	Имя учетной записи хранения.
      Контейнер	Контейнер хранилища, содержащий файл, который требуется импортировать.

   3. В поле "Подключение" откройте раскрывающийся список и нажмите кнопку +Создать подключение, а затем сохраните>закрытие. Параметры подключения уже заполнены.

   Заметка

   Создание нового подключения приводит к созданию нового потока событий. Имя определяется как <storate_account_name>_eventstream. Убедитесь, что не удаляйте поток событий непрерывного приема из рабочей области.

   Чтобы использовать существующее подключение:

   1. Выберите существующую учетную запись хранения.

      

   2. Чтобы заполнить поля, используйте следующие описания.

      настройка	описание поля
      RTAStorageAccount	Поток событий, подключенный к вашей учетной записи хранения из Fabric.
      Контейнер	Контейнер хранилища, содержащий файл, который требуется импортировать.
      Подключение	Это поле предварительно заполнено строкой подключения

   3. В поле "Подключение" откройте раскрывающийся список и выберите существующую строку подключения из списка. Затем нажмите кнопку "Сохранить>закрыть".

4. При необходимости разверните фильтры файлов и укажите следующие фильтры:

   настройка	описание поля
   Путь к папке	Фильтрует данные для импорта файлов с конкретным путем к папке.
   Расширение файла	Фильтрует данные для приема файлов только с определенным расширением файла.

5. В разделе «Параметры Eventstream» вы можете выбрать события для мониторинга в расширенных параметрах>типы событий. По умолчанию выбрано создание Blob. Вы также можете выбрать переименованный BLOB-объект.

   

6. Нажмите «Далее», чтобы просмотреть данные.

Однократное прием

1. Выберите целевую таблицу. Если вы хотите принять данные в новую таблицу, выберите + Создать таблицу и введите имя таблицы.

   Заметка

   Имена таблиц могут содержать до 1024 символов, включая пробелы, буквенно-цифровые символы, дефисы и символы подчеркивания. Специальные символы не поддерживаются.

2. В настройках подключения к хранилищу BLOB-объектов Azure убедитесь, что непрерывный прием данных отключен. Он включен по умолчанию.

3. Чтобы создать новое подключение, создайте новое подключение или используйте существующее подключение.

   Чтобы создать новое подключение, выполните приведенные действия.

   1. Выберите "Подключиться к учетной записи хранения".

      

   2. Чтобы заполнить поля, используйте следующие описания.

   настройка	описание поля
   Подписка	Имя подписки, в которой находится учетная запись хранения.
   Учетная запись Blob-хранилища	Имя, определяющее учетную запись хранения. Если учетная запись переименована в Azure, необходимо обновить подключение, выбрав новое имя.
   Контейнер	Контейнер хранилища, содержащий файл, который требуется импортировать.

   Чтобы подключить существующую учетную запись, выполните приведенные действия.

   1. Чтобы создать подключение с помощью URL-адреса SAS, выберите "Использовать SAS URL" для получения данных из учетной записи хранения.

      

   2. Вставьте строку подключения к хранилищу в поле Enter SAS Url, а затем выберите +.

      Строка состоит из URI блоба с маркером SAS или ключом учетной записи. В следующей таблице перечислены поддерживаемые методы проверки подлинности и разрешения, необходимые для приема данных из службы хранилища Azure.

      Метод проверки подлинности	Отдельный большой двоичный объект	BLOB-контейнер	Azure Data Lake Storage 2-го поколения
      маркера общего доступа (SAS)	Чтение и запись	Прочитать и перечислить	Прочитать и перечислить
      [Ключ доступа к учетной записи хранения](/azure/data-explorer/kusto/api/connection-strings/storage-connection-strings#storage-account-access-key?context=/fabric/context#storage-account-access-key)

   Заметка

   • Вы можете добавить до 10 отдельных BLOB-объектов или принять до 5000 BLOB-объектов из одного контейнера. Вы не можете принимать оба одновременно.
   • Каждый blob может быть не более 1 ГБ в несжатом виде.

4. При необходимости разверните фильтры файлов и укажите следующие фильтры:

   настройка	описание поля
   Путь к папке	Фильтрует данные для импорта файлов с конкретным путем к папке.
   Расширение файла	Фильтрует данные для приема файлов только с определенным расширением файла.

5. Нажмите «Далее», чтобы просмотреть данные.

Инспектировать

Откроется вкладка "Проверка" с предварительным просмотром данных.

Чтобы завершить процесс приема, нажмите кнопку Готово.

Заметка

Чтобы обеспечить непрерывное потребление и предварительный просмотр данных, убедитесь, что после настройки вы добавили новый большой двоичный объект хранилища.

Необязательно:

• Используйте раскрывающийся список файла определения схемы, чтобы изменить файл, из который выводится схема.

• Используйте раскрывающийся список типов файлов для изучения дополнительных параметров на основе типа данных.

• Используйте раскрывающийся список Table_mapping для определения нового сопоставления.

• Выберите <или> откройте средство просмотра команд, чтобы просмотреть и скопировать автоматические команды, созданные из входных данных. Вы также можете открыть команды в наборе запросов.

• Щелкните значок карандаша, чтобы изменить столбцы.

Изменение столбцов

Заметка

• Для табличных форматов (CSV, TSV, PSV) невозможно сопоставить столбец дважды. Чтобы сопоставить данные с существующим столбцом, сначала удалите новый столбец.
• Невозможно изменить существующий тип столбца. При попытке выполнить сопоставление для столбца, имеющего другой формат, могут отобразиться пустые столбцы.

Изменения, которые можно внести в таблицу, зависят от следующих параметров:

• тип таблицы является новым или существующим
• Тип сопоставления является новым или существующим

Тип таблицы	Тип сопоставления	Доступные корректировки
Новая таблица	Новое картирование	Переименовать столбец, изменить тип данных, изменить источник данных, трансформация сопоставления , добавить столбец, удалить столбец.
Существующая таблица	Новое картирование	Добавьте столбец (в котором можно изменить тип данных, переименовать и обновить)
Существующая таблица	Текущая карта	никакой

Трансформации картирования

Некоторые сопоставления форматов данных (Parquet, JSON и Avro) поддерживают простые преобразования на этапе загрузки данных. Чтобы применить преобразования маппинга, создайте или обновите столбец в окне Редактирование столбцов.

Преобразования сопоставления можно выполнять в столбце типа string или datetime, если источник имеет тип данных int или long. Дополнительные сведения см. в полном списке поддерживаемых трансформаций отображения .

Дополнительные параметры на основе типа данных

таблица (CSV, TSV, PSV):

• При приеме табличных форматов в существующей таблице можно выбрать Расширенные возможности>. Табличные данные не обязательно включают имена столбцов, которые используются для сопоставления исходных данных с существующими столбцами. При проверке этого параметра сопоставление выполняется по порядку, а схема таблицы остается той же. Если этот параметр снят, для входящих данных создаются новые столбцы независимо от структуры данных.

  

• Табличные данные не обязательно включают имена столбцов, которые используются для сопоставления исходных данных с существующими столбцами. Чтобы использовать первую строку в качестве имен столбцов, выберите Первая строка — это заголовок столбца.

  

таблица (CSV, TSV, PSV):

• При приеме табличных форматов в существующей таблице можно выбрать Table_mapping>Использовать существующую схему. Табличные данные не обязательно включают имена столбцов, которые используются для сопоставления исходных данных с существующими столбцами. При проверке этого параметра сопоставление выполняется по порядку, а схема таблицы остается той же. Если этот параметр снят, для входящих данных создаются новые столбцы независимо от структуры данных.

• Чтобы использовать первую строку в качестве имен столбцов, выберите заголовок первой строки.

  

JSON:

• Чтобы определить деление данных JSON по уровням вложенности, выберите вложенные уровни от 1 до 100.

  

Сводка

В окне сводки все шаги помечаются зелеными галочками, когда прием данных завершается успешно. Вы можете выбрать карточку, чтобы изучить данные, удалить загруженные данные или создать панель мониторинга с ключевыми метриками.

Непрерывное прием

При закрытии окна вы увидите подключение на вкладке "Обозреватель" в разделе "Потоки данных". Здесь можно отфильтровать потоки данных и удалить поток данных.

Однократное прием

Связанное содержимое

• Сведения об управлении базой данных см. в статье Управление данными
• Сведения о создании, хранении и экспорте запросов см. в разделе Запрос данных в наборе запросов KQL