Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
В этой статье показано, как сделать данные типа table в Microsoft Fabric OneLake (/Tables) доступными в Машинное обучение Azure, скопировав их в учетную запись Azure Data Lake Storage (ADLS) и создав хранилище данных на основе этой копии. Вы выполняете всю задачу в пользовательском интерфейсе студии.
Машинное обучение Azure может подключаться непосредственно к данным типа файла OneLake (/Files) через хранилище данных OneLake без копирования. Хранилище данных без копирования не поддерживает таблицы Lakehouse, как показано на следующем снимке экрана, поэтому в этой статье рассматривается обходное решение на основе пользовательского интерфейса для данных таблиц.
Note
Эта процедура копирует данные в Azure Data Lake Storage. Скопированные данные — это моментальный снимок, а не прямая ссылка, поэтому повторно запустите копию при изменении исходной таблицы. Если вам не нужен рабочий процесс только для пользовательского интерфейса, сначала рассмотрите варианты без копирования: хранилище данных OneLake (Microsoft Fabric) для /Files данных или прямой доступ из вычислительных ресурсов. Общие сведения обо всех вариантах интеграции OneLake см. в разделе "Интеграция OneLake с Машинное обучение Azure".
Когда следует использовать этот подход
Используйте метод на основе копирования в этой статье, если оба из этих условий являются истинными:
- Ваши данные относятся к типу таблицы OneLake (
/Tables), и хранилище данных OneLake не может ссылаться на них напрямую. - Вы хотите полностью создать подключение в Студия машинного обучения Azure без интерфейса командной строки или пакета SDK.
Если вам нужен оперативный доступ, доступ без копирования или ваши данные находятся в разделе Lakehouse/Files, используйте вместо этого хранилище OneLake.
Предпосылки
- Подписка Azure; Если у вас нет подписки Azure, создайте бесплатную учетную запись перед началом работы.
- Рабочая область Машинного обучения Azure. Посетите страницу "Создание ресурсов рабочей области".
- Учетная запись хранения Azure Data Lake Storage (ADLS). Посетите страницу создания учетной записи хранения Azure Data Lake Storage (ADLS).
- Знание назначения ролей в учетной записи хранения Azure.
- Доступ к рабочей области Microsoft Fabric с озером данных, содержащим данные в виде таблиц.
- Разрешение на создание конвейера данных в рабочей области Fabric, например роль участника или члена рабочей области.
Как работает рабочий процесс копирования
Этот обходной путь состоит из трех частей:
- Создайте и настройте учетную запись Data Lake Storage на портале Azure.
- Используйте конвейер данных Fabric для копирования данных таблицы из OneLake в Azure Data Lake Storage.
- Создайте хранилище данных Машинное обучение Azure через контейнер Azure Data Lake Storage.
На следующей схеме показан общий поток:
Important
Так как этот подход копирует данные, хранилище данных Машинное обучение Azure хранит моментальный снимок на определенный момент времени. Повторно запустите копию при изменении исходной таблицы Lakehouse. Копия также создаёт дубликат хранилища, что приводит к дополнительным затратам, и не сохраняет ни модель управления OneLake, ни происхождение данных.
Настройка учетной записи хранения Озеро данных на портале Azure
Назначьте роли участника данных BLOB-объектов хранилища и привилегированного участника файлов хранилища удостоверению пользователя или субъекту-службе, чтобы предоставить доступ к плоскости данных и разрешение на создание контейнеров. Доступ к ключу учетной записи управляется отдельно с помощью параметра "Разрешить доступ к ключу учетной записи хранения ", который вы включите на следующем шаге. Чтобы назначить роли идентификатору пользователя:
Откройте портал Microsoft Azure.
Выберите службу учетных записей хранения .
На странице учетных записей хранения выберите учетную запись Data Lake Storage, созданную на этапе предварительных требований. Откроется страница со свойствами учетной записи хранения.
Выберите ключи Access на левой панели и запишите ключ. Это значение потребуется на следующем шаге.
Выберите и включите параметр Разрешить доступ к ключу учетной записи хранилища, как показано на следующем скриншоте.
Подсказка
Для рабочих нагрузок используйте проверку подлинности на основе удостоверений (Идентификатор Microsoft Entra) вместо ключей учетных записей. Дополнительные сведения см. в разделе "Создание хранилищ данных".
Выберите контроль доступа (IAM) на панели слева и назначьте субъекту-службе роли Storage Blob Data Contributor и Storage File Data Privileged Contributor.
Создайте контейнер в учетной записи хранения. Присвойте ему имя onelake-table.
Использование конвейера данных Fabric для копирования данных в учетную запись Azure Data Lake Storage
Подсказка
Можно также использовать задание копирования Fabric, которое обеспечивает более простой интерфейс для сценариев копирования данных.
На портале Fabric выберите конвейер данных на странице "Создать элемент".
Выберите помощник по копированию данных.
В помощнике по копированию данных выберите BLOB-объекты Azure:
Чтобы создать подключение к учетной записи хранения Azure Data Lake, выберите тип проверки подлинности: ключ учетной записи и далее:
Подсказка
Чтобы избежать ключей учетной записи, выберите тип проверки подлинности на основе удостоверений, например учетную запись организации, и создайте хранилище данных Машинное обучение Azure с доступом на основе удостоверений. Этот подход использует роли плоскости данных, назначенные ранее, и не требует включения доступа с использованием ключа учетной записи.
Выберите назначение данных и нажмите кнопку "Далее".
Подключитесь к назначению данных и нажмите кнопку "Далее".
Этот шаг автоматически запускает задание копирования данных:
Этот шаг может занять некоторое время. Он непосредственно приводит к следующему шагу.
Убедитесь, что задание копирования данных успешно завершено:
Создание хранилища данных Машинное обучение Azure через контейнер Azure Data Lake Storage
Теперь, когда данные находится в ресурсе хранилища Azure Data Lake, вы можете создать хранилище данных Машинного обучения Azure.
В учетной записи хранения Azure контейнер , как показано слева, содержит данные, как показано справа:
В Студия машинного обучения Azure создайте ресурс данных. Чтобы решить тип, откройте контейнер onelake-table и проверьте, создана ли копия одного файла или папки файлов. Выберите файл (uri_file) для одного файла или папки (uri_folder) для папки файлов, обычной при экспорте таблицы в виде нескольких файлов:
Выберите из хранилища Azure:
Используя значение ключа учетной записи из предыдущего шага создания подключения к учетной записи хранения Azure Data Lake , создайте новое хранилище данных:
Вы также можете напрямую создать хранилище данных в Студии машинного обучения Azure:
Вы можете просмотреть сведения о созданном хранилище данных:
Просмотр данных в хранилище данных
Теперь, когда вы успешно создали хранилище данных в Машинном обучении Azure, его можно использовать в упражнениях машинного обучения.
Troubleshooting
- Назначение роли еще не вступило в силу: назначения ролей Azure могут вступать в силу в течение нескольких минут. Если задание копирования или создание хранилища данных завершается ошибкой авторизации, подождите несколько минут и повторите попытку.
- Доступ к ключу учетной записи отключен: если вы не можете получить ключ учетной записи или воспользоваться им, убедитесь, что для учетной записи хранения включен параметр Разрешить доступ с помощью ключа учетной записи хранения.
- Сбой подключения к Fabric: проверьте имя учетной записи хранения и ключ доступа, а также убедитесь, что контейнер onelake-table существует.
- Снимок устарел: копирование создает снимок на определенный момент времени. Чтобы поддерживать актуальность данных, настройте регулярный запуск конвейера данных Fabric.
Связанные материалы
- Создание хранилищ данных
- Создание хранилища данных OneLake (Microsoft Fabric) (предварительная версия)
- Создание ресурсов данных
- Интеграция OneLake с Машинное обучение Azure
Ссылки
- Чтение из указанной таблицы из Lakehouse в одной рабочей области с помощью записной книжки в другой рабочей области
- Таблицы Delta Lake для оптимальной производительности Direct Lake в записной книжке Python Fabric
- Соединитель Spark для хранилища данных Microsoft Fabric
- Демонстрация «AML и OneLake и Fabric лучше вместе»