Azure Data Lake Storage 2-го поколения

Статья
02/24/2024

Итоги

Позиция	Description
Состояние выпуска	Общая доступность
Продукты	Power BI (семантические модели) Power BI (потоки данных) Fabric (Dataflow 2-го поколения) Power Apps (потоки данных) Dynamics 365 Customer Insights Службы Analysis Services
Поддерживаемые типы проверки подлинности	Учетная запись организации Ключ учетной записи Ключ подписанного URL-адреса (SAS) Субъект-служба
Справочная документация по функциям	Azure служба хранилища. DataLake Azure служба хранилища. DataLakeContents

Примечание.

Некоторые возможности могут присутствовать в одном продукте, но не другие из-за расписаний развертывания и возможностей для конкретного узла.

Необходимые компоненты

Подписка Azure. Перейдите на сайт бесплатной пробной версии Azure.
Учетная запись хранения с иерархическим пространством имен. Следуйте инструкциям по созданию учетной записи хранения. В этой статье предполагается, что вы создали учетную запись хранения с именем myadlsg2.
Убедитесь, что для учетной записи хранения предоставлена одна из следующих ролей: средство чтения данных BLOB-объектов, участник данных BLOB-объектов или владелец данных BLOB-объектов.
Пример файла данных с именем Drivers.txt , расположенного в учетной записи хранения. Этот пример можно скачать из репозитория Azure Data Lake Git, а затем отправить этот файл в учетную запись хранения.

Поддерживаемые возможности

Import
Представление файловой системы
Представление папки CDM

Подключение Azure Data Lake Storage 2-го поколения из Power Query Desktop

Выберите Azure Data Lake Storage 2-го поколения в интерфейсе получения данных. Взаимодействие с данными в Power Query Desktop зависит от приложений. Дополнительные сведения об использовании Power Query Desktop для вашего приложения см. в раздел " Где получить данные".
В диалоговом окне Azure Data Lake Storage 2-го поколения укажите URL-адрес учетной записи Azure Data Lake Storage 2-го поколения, контейнера или вложенной папки с помощью формата конечной точки контейнера. URL-адреса для Data Lake Storage 2-го поколения имеют следующий шаблон:

<https:// accountname.dfs.core.windows.net/<> container/<subfolder>>

Вы также можете выбрать, следует ли использовать представление файловой системы или представление папки Common Data Model.

Для продолжения выберите ОК.
Если это первый раз, когда вы используете этот URL-адрес, вам будет предложено выбрать метод проверки подлинности.

Если выбрать метод учетной записи организации, нажмите кнопку "Войти" , чтобы войти в учетную запись хранения. Вы будете перенаправлены на страницу входа вашей организации. Следуйте инструкциям для входа в учетную запись. После входа нажмите кнопку Подключить.

Если выбрать метод ключа учетной записи, введите ключ учетной записи и выберите Подключение.
В диалоговом окне "Навигатор" отображаются все файлы в указанном URL-адресе. Проверьте сведения и выберите преобразование данных для преобразования данных в Power Query или Load для загрузки данных.

Подключение Azure Data Lake Storage 2-го поколения из Power Query Online

Выберите параметр Azure Data Lake Storage 2-го поколения в интерфейсе получения данных. Различные приложения имеют различные способы получения данных в Power Query Online. Дополнительные сведения о том, как получить данные в Power Query Online из приложения, перейдите к разделу " Где получить данные".
В Подключение в источник данных введите URL-адрес учетной записи Azure Data Lake Storage 2-го поколения. Ознакомьтесь с ограничениями , чтобы определить используемый URL-адрес.
Выберите, следует ли использовать представление файловой системы или представление папки Common Data Model.
При необходимости выберите локальный шлюз данных в шлюзе данных.
Выберите вход, чтобы войти в учетную запись Azure Data Lake Storage 2-го поколения. Вы будете перенаправлены на страницу входа вашей организации. Следуйте инструкциям по входу в учетную запись.
После успешного входа нажмите кнопку "Далее".
На странице "Выбор данных " отображаются все файлы в url-адресе, который вы указали. Проверьте сведения и выберите "Преобразовать данные ", чтобы преобразовать данные в Power Query.

Ограничения

Вложенные папки или файл, не поддерживаемые в Power Query Online

В настоящее время в Power Query Online соединитель Azure Data Lake Storage 2-го поколения поддерживает только пути с контейнером, а не вложенной папкой или файлом. Например, https://< accountname.dfs.core.windows.net/<> container> будет работать, а< https:// accountname.dfs.core.windows.net/<> container>/<filename> или https://< accountname.dfs.core.windows.net/>< container/<subfolder>> завершится ошибкой.

Обновление проверки подлинности

Корпорация Майкрософт не поддерживает обновление потока данных или семантической модели с помощью проверки подлинности OAuth2, если учетная запись Azure Data Lake Storage 2-го поколения (ADLS) находится в другом клиенте. Это ограничение применяется только к ADLS, если метод проверки подлинности — OAuth2, то есть при попытке подключиться к межтенантным ADLS с помощью учетной записи идентификатора Microsoft Entra. В этом случае рекомендуется использовать другой метод проверки подлинности, который не является идентификатором OAuth2/Microsoft Entra, например методом проверки подлинности ключа.

Требования к прокси-серверу и брандмауэру

При создании потока данных с помощью шлюза может потребоваться изменить некоторые параметры прокси-сервера или порты брандмауэра для успешного подключения к озеру данных Azure. Если поток данных завершается сбоем при обновлении, привязанном к шлюзу, это может быть вызвано проблемой брандмауэра или прокси-сервера шлюза к конечным точкам хранилища Azure.

Если вы используете прокси-сервер с шлюзом, может потребоваться настроить файл Microsoft.Mashup.Container.NetFX45.exe.config в локальном шлюзе данных. Дополнительные сведения: настройка параметров прокси-сервера для локального шлюза данных.

Чтобы включить подключение из сети к озеру данных Azure, может потребоваться включить список определенных IP-адресов на компьютере шлюза. Например, если в вашей сети есть правила брандмауэра, которые могут блокировать эти попытки, необходимо разблокировать исходящие сетевые подключения для озера данных Azure. Чтобы включить список необходимых исходящих адресов, используйте тег службы AzureDataLake . Дополнительные сведения: теги службы виртуальной сети

Потоки данных также поддерживают параметр озера данных "Принести свой собственный", что означает создание собственного озера данных, управление разрешениями и явное подключение к потоку данных. В этом случае при подключении к среде разработки или рабочей среды с помощью учетной записи организации необходимо включить одну из следующих ролей для учетной записи хранения: читатель данных BLOB-объектов, участник данных BLOB-объектов или владелец данных BLOB-объектов.

Power Query Online и служба хранилища Azure находятся в одном регионе

Прямой доступ к учетной записи служба хранилища Azure с включенным брандмауэром и в том же регионе, что и Power Query Online, не поддерживается. Это ограничение возникает, так как службы Power Query при развертывании в том же регионе, что и учетная запись хранения Azure, используют частные IP-адреса Azure для связи. Дополнительные сведения см. в документации Azure по безопасности сети хранилища.

Чтобы обойти это ограничение и включить доступ к служба хранилища Azure из Power Query Online в том же регионе, используйте один из следующих методов:

Используйте локальный шлюз данных, который служит мостом между Power Query Online и служба хранилища Azure.
Используйте шлюз данных виртуальная сеть (виртуальная сеть).