Прочитать на английском

Поделиться через

Устранение неполадок с соединителями Azure Data Lake Storage в Фабрике данных Azure и Azure Synapse

  • Статья

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

В этой статье приведены рекомендации по устранению распространенных проблем с соединителями Azure Data Lake Storage 1-го и 2-го поколений, возникающих в Фабрике данных Azure и Synapse Analytics.

Хранилище Azure Data Lake Storage 1-го поколения

Сообщение об ошибке: "Базовое соединение закрыто. Не удалось установить доверительные отношения для защищенного канала SSL/TLS."

  • Симптомы. Сбой действия копирования со следующей ошибкой.

    Message: ErrorCode = UserErrorFailedFileOperation, Error Message = The underlying connection was closed: Could not establish trust relationship for the SSL/TLS secure channel.

  • Причина. Сбой проверки сертификата во время подтверждения TLS.

  • Решение. В качестве обходного решения используйте промежуточное копирование, чтобы пропустить проверку протокола TLS для Azure Data Lake Storage 1-го поколения. Необходимо воспроизвести эту ошибку и собрать трассировку сетевого монитора (netmon), а затем попросить своих специалистов по сетям проверить конфигурацию локальной сети.

    Схема подключений Azure Data Lake Storage 1-го поколения для устранения неполадок

Сообщение об ошибке: удаленный сервер вернул ошибку: (403) Запрещено

  • Симптомы: действие Copy сбой со следующей ошибкой:

    Message: The remote server returned an error: (403) Forbidden. Response details: {"RemoteException":{"exception":"AccessControlException""message":"CREATE failed with error 0x83090aa2 (Forbidden. ACL verification failed. Either the resource does not exist or the user is not authorized to perform the requested operation.)....

  • Причина. Одна из возможных причин заключается в том, что у субъекта-службы или управляемого удостоверения, которые вы используете, нет разрешения на доступ к определенным папкам или файлам.

  • Решение. Предоставьте соответствующие разрешения для всех папок и вложенных папок, которые необходимо скопировать. Дополнительные сведения см. в статье Копирование данных в хранилище Azure Data Lake Storage 1-го поколения и из него.

Сообщение об ошибке: не удалось получить маркер доступа с помощью субъекта-службы. Ошибка ADAL: service_unavailable

  • Симптомы. Сбой действия копирования со следующей ошибкой.

    Failed to get access token by using service principal. ADAL Error: service_unavailable, The remote server returned an error: (503) Server Unavailable.

  • Причина. Если сервер маркеров службы (STS), принадлежащий идентификатору Microsoft Entra ID, недоступен, это означает, что он слишком занят для обработки запросов, и возвращает ошибку HTTP 503.

  • Разрешение. Повторное выполнение действия копирования через несколько минут.

Azure Data Lake Storage 2-го поколения

Код ошибки: ADLSGen2OperationFailed

  • Сообщение. ADLS Gen2 operation failed for: %adlsGen2Message;.%exceptionData;.

  • Причины и рекомендации. К этой ошибке могут привести различные причины. Ниже приведен список возможных причин и соответствующие рекомендации.

    Анализ причин Рекомендация
    Azure Data Lake Storage 2-го поколения выдает ошибку, указывающую на сбой операции. Проверьте подробное сообщение об ошибке, выдаваемое Azure Data Lake Storage 2-го поколения. Если ошибка временная, повторите операцию. За дополнительной помощью обратитесь в службу поддержки службы хранилища Azure и укажите идентификатор запроса в сообщении об ошибке.
    Если в сообщении об ошибке есть слово "Запрещено", возможно, у субъекта-службы или управляемого удостоверения, которые вы используете, недостаточно разрешений на доступ к Azure Data Lake Storage 2-го поколения. Сведения об устранении этой ошибки см. в статье Копирование данных в Azure Data Lake Storage 2-го поколения и их преобразование.
    Если в сообщении об ошибке есть слово InternalServerError, ошибка возвращается Azure Data Lake Storage 2-го поколения. Эта ошибка может быть вызвана временным сбоем. Если это так, повторите операцию. Если проблема сохраняется, обратитесь в службу поддержки службы хранилища Azure и укажите идентификатор запроса в сообщении об ошибке.
    Если отображается сообщение об ошибке Unable to read data from the transport connection: An existing connection was forcibly closed by the remote host, значит, в среде выполнения интеграции возникли проблемы с сетью при подключении к Azure Data Lake Storage 2-го поколения. Убедитесь, что в параметре правила брандмауэра Azure Data Lake Storage 2-го поколения IP-адреса Фабрики данных Azure находятся в списке разрешенных. Дополнительные сведения см. в статье Настройка брандмауэров службы хранилища Azure и виртуальных сетей.
    Если появится сообщение об ошибке This endpoint does not support BlobStorageEvents or SoftDelete, значит, вы используете связанную службу Azure Data Lake Storage 2-го поколения для подключения к учетной записи Хранилища BLOB-объектов Azure, которая активирует события хранилища BLOB-объектов или обратимое удаление. Попробуйте сделать следующее:
    1. Если вы по-прежнему хотите использовать связанную службу Azure Data Lake Storage 2-го поколения, обновите Хранилище BLOB-объектов Azure до Azure Data Lake Storage 2-го поколения. Подробнее см. в статье Обновление Хранилища BLOB-объектов Azure с помощью возможностей Azure Data Lake Storage 2-го поколения.
    2. Переключите связанную службу на Хранилище BLOB-объектов Azure.
    3. Отключите события хранилища BLOB-объектов или обратимое удаление в учетной записи Хранилища BLOB-объектов Azure.

При выполнении запроса к учетной записи Azure Data Lake Storage 2-го истекло время ожидания

  • Сообщение:

    • Код ошибки: UserErrorFailedBlobFSOperation
    • Сообщение об ошибке: BlobFS operation failed for: A task was canceled.

  • Причина. Проблема вызвана ошибкой времени ожидания приемника Azure Data Lake Storage 2-го поколения, которая обычно возникает на компьютере с локальной средой выполнения интеграции (IR).

  • Рекомендация.

    • По возможности размещайте компьютер с локальной средой IR и целевую учетную запись Azure Data Lake Storage 2-го поколения в одном регионе. Это поможет избежать случайных ошибок времени ожидания и повысить производительность.

    • Проверьте наличие особых параметров сети, например ExpressRoute, и убедитесь в том, что пропускная способность сети достаточна. Если общая пропускная способность мала, рекомендуем уменьшить число параллельных заданий в локальной среде IR. Это позволит избежать состязания за сетевые ресурсы между несколькими параллельными заданиями.

    • При умеренном или небольшом размере файла используйте блоки меньшего размера при недвоичном копировании, чтобы избежать таких ошибок времени ожидания. Дополнительные сведения см. в статье Операция Put Block в Хранилище BLOB-объектов.

      Чтобы указать пользовательский размер блока, измените свойство в редакторе файлов JSON, как показано ниже.

      "sink": {
    "type": "DelimitedTextSink",
    "storeSettings": {
        "type": "AzureBlobFSWriteSettings",
        "blockSizeInMB": 8
    }
}

Действие копирования не может выбрать файлы из Azure Data Lake Storage 2-го поколения

  • Симптомы. Действие копирования не может выбрать файлы из Azure Data Lake Storage 2-го поколения, если имя файла — Asset_Metadata. Проблема возникает только в наборе данных типа Parquet. Другие типы наборов данных с таким именем файла работают правильно.

  • Причина. Для обратной совместимости _metadata в имени файла рассматривается как зарезервированная (служебная) подстрока.

  • Рекомендация. Измените имя файла, чтобы оно не содержало следующих зарезервированных подстрок из списка для Parquet:

    1. имя файла содержит _metadata;
    2. имя файла начинается с точки (.).

Код ошибки: ADLSGen2ForbiddenError

  • Сообщение. ADLS Gen2 failed for forbidden: Storage operation % on % get failed with 'Operation returned an invalid status code 'Forbidden'.

  • Причина: существуют две возможные причины.

    1. Среда выполнения интеграции блокируется сетевым доступом в параметрах брандмауэра учетной записи хранения Azure.
    2. Субъект-служба или управляемое удостоверение не имеет достаточно разрешений для доступа к данным.

  • Рекомендация.

    1. Проверьте параметры сети учетной записи хранения Azure, чтобы узнать, отключен ли доступ к общедоступной сети. При отключении используйте среду выполнения интеграции управляемой виртуальной сети и создайте частную конечную точку для доступа. Дополнительные сведения см. в статье "Управляемая виртуальная сеть " и создание конвейера копирования с помощью управляемых виртуальных сетей и частных конечных точек.

    2. Если вы включили выбранные виртуальные сети и IP-адреса в параметре сети учетной записи хранения Azure:

      1. Возможно, так как некоторые диапазоны IP-адресов среды выполнения интеграции запрещены параметрами брандмауэра учетной записи хранения. Добавьте IP-адреса среды выполнения интеграции Azure или IP-адрес локальной среды выполнения интеграции в брандмауэр учетной записи хранения. Ip-адреса среды выполнения интеграции Azure см. в разделе "IP-адреса среды выполнения интеграции Azure" и сведения о добавлении диапазонов IP-адресов в брандмауэр учетной записи хранения, см. в статье "Управление правилами сети IP-адресов".

      2. Если вы разрешаете доверенным службам Azure доступ к этой учетной записи хранения в брандмауэре, необходимо использовать проверку подлинности управляемого удостоверения в действии копирования .

      Дополнительные сведения о параметрах брандмауэров учетной записи хранения Azure см. в разделе "Настройка служба хранилища Azure брандмауэров и виртуальных сетей".

    3. При использовании субъекта-службы или проверки подлинности управляемого удостоверения предоставьте субъекту-службе или управляемому удостоверению соответствующие разрешения для копирования. Для источника по крайней мере роль чтения данных BLOB-объектов хранилища. Для приемника по крайней мере роль участника данных BLOB-объектов хранилища. Дополнительные сведения см. в разделе "Копирование и преобразование данных" в Azure Data Lake Storage 2-го поколения.

Связанный контент

Для получения дополнительных сведений об устранении неполадок воспользуйтесь следующими ресурсами: