Az Azure Data Lake Storage-összekötők hibaelhárítása az Azure Data Factoryben és az Azure Synapse-ban

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Ez a cikk javaslatokat tartalmaz az Azure Data Factory és az Azure Synapse Azure Data Lake Storage Gen1 és Gen2 összekötőivel kapcsolatos gyakori problémák elhárításához.

1. generációs Azure Data Lake Storage

Hibaüzenet: A mögöttes kapcsolat lezárult: Nem sikerült megbízhatósági kapcsolatot létesíteni az SSL/TLS biztonságos csatornához.

• Tünetek: Copy tevékenység a következő hibával meghiúsul:

  Message: ErrorCode = UserErrorFailedFileOperation, Error Message = The underlying connection was closed: Could not establish trust relationship for the SSL/TLS secure channel.

• Ok: A tanúsítvány érvényesítése sikertelen volt a TLS-kézfogás során.

• Megoldás: Kerülő megoldásként használja a szakaszos másolatot az Azure Data Lake Storage Gen1 Transport Layer Security (TLS) érvényesítésének kihagyásához. Reprodukálnia kell ezt a problémát, és be kell gyűjtenie a hálózatfigyelő (netmon) nyomkövetését, majd fel kell vennie a hálózati csapat segítségét a helyi hálózati konfiguráció ellenőrzéséhez.

  

Hibaüzenet: A távoli kiszolgáló hibát adott vissza: (403) Tiltott

• Tünetek: Copy tevékenység a következő hibával hiúsul meg:

  Message: The remote server returned an error: (403) Forbidden. Response details: {"RemoteException":{"exception":"AccessControlException""message":"CREATE failed with error 0x83090aa2 (Forbidden. ACL verification failed. Either the resource does not exist or the user is not authorized to perform the requested operation.)....

• Ok: Az egyik lehetséges ok az, hogy a használt szolgáltatásnév vagy felügyelt identitás nem rendelkezik engedéllyel bizonyos mappákhoz vagy fájlokhoz való hozzáféréshez.

• Megoldás: Adjon megfelelő engedélyeket a másolandó mappákhoz és almappákhoz. További információ: Adatok másolása az Azure Data Lake Storage Gen1-be vagy onnan.

Hibaüzenet: Nem sikerült lekérni a hozzáférési jogkivonatot a szolgáltatásnév használatával. ADAL-hiba: service_unavailable

• Tünetek: Copy tevékenység a következő hibával meghiúsul:

  Failed to get access token by using service principal. ADAL Error: service_unavailable, The remote server returned an error: (503) Server Unavailable.

• Ok: Ha a Microsoft Entra ID tulajdonában lévő szolgáltatásjogkivonat-kiszolgáló (STS) nem érhető el, az azt jelenti, hogy túl elfoglalt a kérések kezeléséhez, és 503-os HTTP-hibát ad vissza.

• Megoldás: Néhány perc elteltével futtassa újra a másolási tevékenységet.

Azure Data Lake Storage Gen2

Hibakód: ADLSGen2OperationFailed

• Üzenet: ADLS Gen2 operation failed for: %adlsGen2Message;.%exceptionData;.

• Okok és javaslatok: Különböző okok vezethetnek ehhez a hibához. Tekintse meg az alábbi lista lehetséges okelemzését és a kapcsolódó javaslatokat.

  Okelemzés	Ajánlás
  Ha az Azure Data Lake Storage Gen2 hibát jelez, amely azt jelzi, hogy egy művelet meghiúsult.	Tekintse meg az Azure Data Lake Storage Gen2 által megjelenő részletes hibaüzenetet. Ha a hiba átmeneti hiba, próbálkozzon újra a művelettel. További segítségért forduljon az Azure Storage ügyfélszolgálatához, és adja meg a kérés azonosítóját a hibaüzenetben.
  Ha a hibaüzenet a "Tiltott" sztringet tartalmazza, előfordulhat, hogy a használt szolgáltatásnév vagy felügyelt identitás nem rendelkezik elegendő engedéllyel az Azure Data Lake Storage Gen2 eléréséhez.	A hiba elhárításához tekintse meg az Adatok másolása és átalakítása az Azure Data Lake Storage Gen2-ben című témakört.
  Ha a hibaüzenet az "InternalServerError" sztringet tartalmazza, a hibát az Azure Data Lake Storage Gen2 adja vissza.	A hibát átmeneti hiba okozhatja. Ha mégis, próbálja meg újra elvégezni a műveletet. Ha a probléma továbbra is fennáll, forduljon az Azure Storage ügyfélszolgálatához, és adja meg a kérés azonosítóját a hibaüzenetből.
  Ha a hibaüzenet az Unable to read data from the transport connection: An existing connection was forcibly closed by the remote host, az integrációs modul hálózati problémát tapasztal az Azure Data Lake Storage Gen2-hez való csatlakozás során.	Az Azure Data Lake Storage Gen2 tűzfalszabály-beállításában győződjön meg arról, hogy az Azure Data Factory IP-címei szerepelnek az engedélyezett listában. További információ: Azure Storage-tűzfalak és virtuális hálózatok konfigurálása.
  Ha a hibaüzenet az This endpoint does not support BlobStorageEvents or SoftDelete, egy Azure Data Lake Storage Gen2 társított szolgáltatást használ egy Olyan Azure Blob Storage-fiókhoz való csatlakozáshoz, amely lehetővé teszi a Blob Storage-eseményeket vagy a helyreállítható törlést.	Próbálja ki a következő lehetőségeket: 1. Ha továbbra is azure Data Lake Storage Gen2 társított szolgáltatást szeretne használni, frissítse az Azure Blob Storage-t az Azure Data Lake Storage Gen2-re. További információ: Azure Blob Storage frissítése Az Azure Data Lake Storage Gen2 képességeivel. 2. Kapcsolja át a társított szolgáltatást az Azure Blob Storage-ra. 3. Tiltsa le a Blob Storage-eseményeket vagy a helyreállítható törlést az Azure Blob Storage-fiókjában.

Időtúllépési hibát okozott az Azure Data Lake Storage Gen2-fiókra irányuló kérés

• Üzenet:

  • Hibakód = UserErrorFailedBlobFSOperation
  • Hibaüzenet = BlobFS operation failed for: A task was canceled.

• Ok: A problémát az Azure Data Lake Storage Gen2 fogadó időtúllépési hibája okozza, amely általában a helyi integrációs modul (IR) gépén fordul elő.

• Javaslat:

  • Helyezze a saját üzemeltetésű integrációs modult futtató gépét, és helyezze el az Azure Data Lake Storage Gen2-fiókot ugyanabban a régióban, ha lehetséges. Ez segít elkerülni a véletlenszerű időtúllépési hibát, és jobb teljesítményt eredményez.

  • Ellenőrizze, hogy van-e speciális hálózati beállítás, például az ExpressRoute, és győződjön meg arról, hogy a hálózat elegendő sávszélességet biztosít. Javasoljuk, hogy csökkentse a helyi integrációs modul egyidejű feladatainak beállítását, ha a teljes sávszélesség alacsony. Ezzel elkerülheti a hálózati erőforrások versenyét több egyidejű feladat között.

  • Ha a fájl mérete közepes vagy kicsi, használjon kisebb blokkméretet a nem kötött másoláshoz az ilyen időtúllépési hibák elhárításához. További információ: Blob Storage Put Block.

    Az egyéni blokkméret megadásához szerkessze a tulajdonságot a JSON-fájlszerkesztőben az itt látható módon:

    "sink": {
        "type": "DelimitedTextSink",
        "storeSettings": {
            "type": "AzureBlobFSWriteSettings",
            "blockSizeInMB": 8
        }
    }
    

A másolási tevékenység nem tud fájlokat választani az Azure Data Lake Storage Gen2-ből

• Tünetek: A másolási tevékenység nem tud fájlokat választani az Azure Data Lake Storage Gen2-ből, ha a fájl neve "Asset_Metadata". A probléma csak a Parquet típusú adathalmazban fordul elő. Az azonos fájlnévvel rendelkező más típusú adathalmazok megfelelően működnek.

• Ok: A visszamenőleges kompatibilitás _metadata érdekében a rendszer fenntartott részstringként kezeli a fájlnévben.

• Javaslat: Módosítsa a fájlnevet, hogy elkerülje az alábbi Parquet fenntartott listáját:

  1. A fájlnév tartalmazza a fájlt _metadata.
  2. A fájlnév a következővel . kezdődik: (pont).

Hibakód: ADLSGen2ForbiddenError

• Üzenet: ADLS Gen2 failed for forbidden: Storage operation % on % get failed with 'Operation returned an invalid status code 'Forbidden'.

• Ok: Két lehetséges ok van:

  1. Az integrációs modult a hálózati hozzáférés blokkolja az Azure Storage-fiók tűzfalbeállításaiban.
  2. A szolgáltatásnév vagy a felügyelt identitás nem rendelkezik elegendő engedéllyel az adatok eléréséhez.

• Javaslat:

  1. Ellenőrizze az Azure Storage-fiók hálózati beállításait, és ellenőrizze, hogy a nyilvános hálózati hozzáférés le van-e tiltva. Ha le van tiltva, használjon felügyelt virtuális hálózati integrációs modult, és hozzon létre egy privát végpontot a hozzáféréshez. További információ: Felügyelt virtuális hálózat és másolási folyamat létrehozása felügyelt virtuális hálózatok és privát végpontok használatával.

  2. Ha engedélyezte a kiválasztott virtuális hálózatokat és IP-címeket az Azure Storage-fiók hálózati beállításában:

     1. Ez azért lehetséges, mert a tárfiók tűzfalbeállításai nem engedélyezik az integrációs modul egyes IP-címtartományait. Adja hozzá az Azure integrációs modul IP-címét vagy a saját üzemeltetésű integrációs modul IP-címét a tárfiók tűzfalához. Az Azure-integrációs futtatókörnyezeti IP-címekről lásd az Azure Integration Runtime IP-címeit, és ha szeretné megtudni, hogyan adhat hozzá IP-tartományokat a tárfiók tűzfalához, olvassa el az IP-hálózati szabályok kezelése című témakört.

     2. Ha engedélyezi, hogy a megbízható Azure-szolgáltatások hozzáférjenek ehhez a tárfiókhoz a tűzfalon, felügyelt identitáshitelesítést kell használnia a másolási tevékenységben.

     Az Azure Storage-fiók tűzfalbeállításairól további információt az Azure Storage-tűzfalak és virtuális hálózatok konfigurálása című témakörben talál.

  3. Ha szolgáltatásnév- vagy felügyelt identitáshitelesítést használ, adjon meg a szolgáltatásnévnek vagy a felügyelt identitásnak megfelelő engedélyeket a másoláshoz. A forrás esetében legalább a Storage Blob Data Reader szerepkör. Fogadó esetén legalább a Storage Blob Data Közreműködő szerepköre. További információ: Adatok másolása és átalakítása az Azure Data Lake Storage Gen2-ben.

Kapcsolódó tartalom

További hibaelhárítási segítségért próbálja ki az alábbi erőforrásokat:

• Összekötők hibaelhárítási útmutatója
• Data Factory-blog
• Data Factory-funkciókérések
• Azure-videók
• Microsoft Q&A lap
• Stack Overflow fórum a Data Factoryhez
• Twitter-információk a Data Factoryről