Скопируйте таблицу lakehouse OneLake в Машинное обучение Azure через пользовательский интерфейс

В этой статье показано, как сделать данные типа table в Microsoft Fabric OneLake (/Tables) доступными в Машинное обучение Azure, скопировав их в учетную запись Azure Data Lake Storage (ADLS) и создав хранилище данных на основе этой копии. Вы выполняете всю задачу в пользовательском интерфейсе студии.

Машинное обучение Azure может подключаться непосредственно к данным типа файла OneLake (/Files) через хранилище данных OneLake без копирования. Хранилище данных без копирования не поддерживает таблицы Lakehouse, как показано на следующем снимке экрана, поэтому в этой статье рассматривается обходное решение на основе пользовательского интерфейса для данных таблиц.

Снимок экрана: таблица в Microsoft Fabric.

Note

Эта процедура копирует данные в Azure Data Lake Storage. Скопированные данные — это моментальный снимок, а не прямая ссылка, поэтому повторно запустите копию при изменении исходной таблицы. Если вам не нужен рабочий процесс только для пользовательского интерфейса, сначала рассмотрите варианты без копирования: хранилище данных OneLake (Microsoft Fabric) для /Files данных или прямой доступ из вычислительных ресурсов. Общие сведения обо всех вариантах интеграции OneLake см. в разделе "Интеграция OneLake с Машинное обучение Azure".

Когда следует использовать этот подход

Используйте метод на основе копирования в этой статье, если оба из этих условий являются истинными:

  • Ваши данные относятся к типу таблицы OneLake (/Tables), и хранилище данных OneLake не может ссылаться на них напрямую.
  • Вы хотите полностью создать подключение в Студия машинного обучения Azure без интерфейса командной строки или пакета SDK.

Если вам нужен оперативный доступ, доступ без копирования или ваши данные находятся в разделе Lakehouse/Files, используйте вместо этого хранилище OneLake.

Предпосылки

Как работает рабочий процесс копирования

Этот обходной путь состоит из трех частей:

  1. Создайте и настройте учетную запись Data Lake Storage на портале Azure.
  2. Используйте конвейер данных Fabric для копирования данных таблицы из OneLake в Azure Data Lake Storage.
  3. Создайте хранилище данных Машинное обучение Azure через контейнер Azure Data Lake Storage.

На следующей схеме показан общий поток:

Снимок экрана: общий поток решения.

Important

Так как этот подход копирует данные, хранилище данных Машинное обучение Azure хранит моментальный снимок на определенный момент времени. Повторно запустите копию при изменении исходной таблицы Lakehouse. Копия также создаёт дубликат хранилища, что приводит к дополнительным затратам, и не сохраняет ни модель управления OneLake, ни происхождение данных.

Настройка учетной записи хранения Озеро данных на портале Azure

Назначьте роли участника данных BLOB-объектов хранилища и привилегированного участника файлов хранилища удостоверению пользователя или субъекту-службе, чтобы предоставить доступ к плоскости данных и разрешение на создание контейнеров. Доступ к ключу учетной записи управляется отдельно с помощью параметра "Разрешить доступ к ключу учетной записи хранения ", который вы включите на следующем шаге. Чтобы назначить роли идентификатору пользователя:

  1. Откройте портал Microsoft Azure.

  2. Выберите службу учетных записей хранения .

    Снимок экрана: выбор службы учетных записей хранения.

  3. На странице учетных записей хранения выберите учетную запись Data Lake Storage, созданную на этапе предварительных требований. Откроется страница со свойствами учетной записи хранения.

    Снимок экрана, показывающий страницу свойств учетной записи хранилища озера данных.

  4. Выберите ключи Access на левой панели и запишите ключ. Это значение потребуется на следующем шаге.

  5. Выберите и включите параметр Разрешить доступ к ключу учетной записи хранилища, как показано на следующем скриншоте.

    Подсказка

    Для рабочих нагрузок используйте проверку подлинности на основе удостоверений (Идентификатор Microsoft Entra) вместо ключей учетных записей. Дополнительные сведения см. в разделе "Создание хранилищ данных".

    Снимок экрана, показывающий, как включить ключевой доступ к учетной записи хранения озера данных на портале Azure.

  6. Выберите контроль доступа (IAM) на панели слева и назначьте субъекту-службе роли Storage Blob Data Contributor и Storage File Data Privileged Contributor.

    Снимок экрана, показывающий, как назначить роли для учетной записи хранения хранилища данных (Data Lake) на портале Azure.

  7. Создайте контейнер в учетной записи хранения. Присвойте ему имя onelake-table.

    Снимок экрана, показывающий создание контейнера учетной записи хранилища для Data Lake в портале Azure.

Использование конвейера данных Fabric для копирования данных в учетную запись Azure Data Lake Storage

Подсказка

Можно также использовать задание копирования Fabric, которое обеспечивает более простой интерфейс для сценариев копирования данных.

  1. На портале Fabric выберите конвейер данных на странице "Создать элемент".

    Снимок экрана: выбор конвейера данных на странице создания элемента Fabric.

  2. Выберите помощник по копированию данных.

    Снимок экрана: выбор помощника по копированию данных.

  3. В помощнике по копированию данных выберите BLOB-объекты Azure:

    Снимок экрана, показывающий выбор блобов Azure в помощнике копирования данных Fabric.

  4. Чтобы создать подключение к учетной записи хранения Azure Data Lake, выберите тип проверки подлинности: ключ учетной записи и далее:

    Снимок экрана: создание подключения в конвейере данных Fabric.

    Подсказка

    Чтобы избежать ключей учетной записи, выберите тип проверки подлинности на основе удостоверений, например учетную запись организации, и создайте хранилище данных Машинное обучение Azure с доступом на основе удостоверений. Этот подход использует роли плоскости данных, назначенные ранее, и не требует включения доступа с использованием ключа учетной записи.

  5. Выберите назначение данных и нажмите кнопку "Далее".

    Снимок экрана: выбор назначения данных.

  6. Подключитесь к назначению данных и нажмите кнопку "Далее".

    Снимок экрана, показывающий подключение к пункту назначения данных.

  7. Этот шаг автоматически запускает задание копирования данных:

    Снимок экрана, показывающий, что действие копирования запланировано.

    Этот шаг может занять некоторое время. Он непосредственно приводит к следующему шагу.

  8. Убедитесь, что задание копирования данных успешно завершено:

    Снимок экрана: операция копирования выполнена успешно.

Создание хранилища данных Машинное обучение Azure через контейнер Azure Data Lake Storage

Теперь, когда данные находится в ресурсе хранилища Azure Data Lake, вы можете создать хранилище данных Машинного обучения Azure.

  1. В учетной записи хранения Azure контейнер , как показано слева, содержит данные, как показано справа:

    Снимок экрана: проверка данных в контейнере учетной записи хранения Azure.

  2. В Студия машинного обучения Azure создайте ресурс данных. Чтобы решить тип, откройте контейнер onelake-table и проверьте, создана ли копия одного файла или папки файлов. Выберите файл (uri_file) для одного файла или папки (uri_folder) для папки файлов, обычной при экспорте таблицы в виде нескольких файлов:

    Снимок экрана: выбор типа ресурса данных.

  3. Выберите из хранилища Azure:

    Снимок экрана: выбор хранилища Azure.

  4. Используя значение ключа учетной записи из предыдущего шага создания подключения к учетной записи хранения Azure Data Lake , создайте новое хранилище данных:

    Снимок экрана: создание хранилища данных в Машинном обучении Azure.

  5. Вы также можете напрямую создать хранилище данных в Студии машинного обучения Azure:

    Снимок экрана: создание хранилища данных в Машинном обучении Azure.

  6. Вы можете просмотреть сведения о созданном хранилище данных:

    Снимок экрана: сведения о созданном хранилище данных.

  7. Просмотр данных в хранилище данных

    Снимок экрана: доступ к хранилищу данных в Машинном обучении Azure.

Теперь, когда вы успешно создали хранилище данных в Машинном обучении Azure, его можно использовать в упражнениях машинного обучения.

Troubleshooting

  • Назначение роли еще не вступило в силу: назначения ролей Azure могут вступать в силу в течение нескольких минут. Если задание копирования или создание хранилища данных завершается ошибкой авторизации, подождите несколько минут и повторите попытку.
  • Доступ к ключу учетной записи отключен: если вы не можете получить ключ учетной записи или воспользоваться им, убедитесь, что для учетной записи хранения включен параметр Разрешить доступ с помощью ключа учетной записи хранения.
  • Сбой подключения к Fabric: проверьте имя учетной записи хранения и ключ доступа, а также убедитесь, что контейнер onelake-table существует.
  • Снимок устарел: копирование создает снимок на определенный момент времени. Чтобы поддерживать актуальность данных, настройте регулярный запуск конвейера данных Fabric.

Ссылки