Felsöka Azure Data Lake Storage-anslutningsappar i Azure Data Factory och Azure Synapse

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Dricks

Prova Data Factory i Microsoft Fabric, en allt-i-ett-analyslösning för företag. Microsoft Fabric omfattar allt från dataflytt till datavetenskap, realtidsanalys, business intelligence och rapportering. Lär dig hur du startar en ny utvärderingsversion kostnadsfritt!

Den här artikeln innehåller förslag på hur du felsöker vanliga problem med Azure Data Lake Storage Gen1- och Gen2-anslutningsappar i Azure Data Factory och Azure Synapse.

Azure Data Lake Storage Gen1

Felmeddelande: Den underliggande anslutningen stängdes: Det gick inte att upprätta en förtroenderelation för den säkra SSL/TLS-kanalen.

• Symptom: Kopieringsaktiviteten misslyckas med följande fel:

  Message: ErrorCode = UserErrorFailedFileOperation, Error Message = The underlying connection was closed: Could not establish trust relationship for the SSL/TLS secure channel.

• Orsak: Certifikatverifieringen misslyckades under TLS-handskakningen.

• Lösning: Använd den mellanlagrade kopian för att hoppa över TLS-valideringen (Transport Layer Security) för Azure Data Lake Storage Gen1. Du måste återskapa det här problemet och samla in nätverksövervakningsspårningen (netmon) och sedan kontakta nätverksteamet för att kontrollera konfigurationen av det lokala nätverket.

  

Felmeddelande: Fjärrservern returnerade ett fel: (403) Förbjudet

• Symptom: Kopieringsaktiviteten misslyckas med följande fel:

  Message: The remote server returned an error: (403) Forbidden. Response details: {"RemoteException":{"exception":"AccessControlException""message":"CREATE failed with error 0x83090aa2 (Forbidden. ACL verification failed. Either the resource does not exist or the user is not authorized to perform the requested operation.)....

• Orsak: En möjlig orsak är att tjänstens huvudnamn eller hanterade identitet som du använder inte har behörighet att komma åt vissa mappar eller filer.

• Lösning: Bevilja lämpliga behörigheter till alla mappar och undermappar som du behöver kopiera. Mer information finns i Kopiera data till eller från Azure Data Lake Storage Gen1.

Felmeddelande: Det gick inte att hämta åtkomsttoken med hjälp av tjänstens huvudnamn. ADAL-fel: service_unavailable

• Symptom: Kopieringsaktiviteten misslyckas med följande fel:

  Failed to get access token by using service principal. ADAL Error: service_unavailable, The remote server returned an error: (503) Server Unavailable.

• Orsak: När den tjänsttokenserver (STS) som ägs av Microsoft Entra-ID:t inte är tillgänglig innebär det att den är för upptagen för att hantera begäranden och returnerar HTTP-fel 503.

• Lösning: Kör kopieringsaktiviteten igen efter flera minuter.

Azure Data Lake Storage Gen2

Felkod: ADLSGen2OperationFailed

• Meddelande: ADLS Gen2 operation failed for: %adlsGen2Message;.%exceptionData;.

• Orsaker och rekommendationer: Olika orsaker kan leda till det här felet. Kontrollera listan nedan för möjlig orsaksanalys och relaterad rekommendation.

  Orsaksanalys	Rekommendation
  Om Azure Data Lake Storage Gen2 genererar ett fel som anger att en åtgärd misslyckades.	Kontrollera det detaljerade felmeddelandet som genereras av Azure Data Lake Storage Gen2. Om felet är ett tillfälligt fel försöker du utföra åtgärden igen. Om du vill ha mer hjälp kontaktar du Azure Storage-supporten och anger begärande-ID:t i felmeddelandet.
  Om felmeddelandet innehåller strängen "Förbjuden" har tjänstens huvudnamn eller hanterade identitet som du använder kanske inte tillräcklig behörighet för att få åtkomst till Azure Data Lake Storage Gen2.	Information om hur du felsöker det här felet finns i Kopiera och transformera data i Azure Data Lake Storage Gen2.
  Om felmeddelandet innehåller strängen "InternalServerError" returneras felet av Azure Data Lake Storage Gen2.	Felet kan orsakas av ett tillfälligt fel. Om den är det kan du försöka att utföra åtgärden igen. Om problemet kvarstår kontaktar du Azure Storage-supporten och anger begärande-ID:t från felmeddelandet.
  Om felmeddelandet är Unable to read data from the transport connection: An existing connection was forcibly closed by the remote hosthar integreringskörningen ett nätverksproblem vid anslutning till Azure Data Lake Storage Gen2.	I brandväggsregelinställningen för Azure Data Lake Storage Gen2 kontrollerar du att Azure Data Factory IP-adresser finns i listan över tillåtna. Mer information finns i Konfigurera Azure Storage-brandväggar och virtuella nätverk.
  Om felmeddelandet är This endpoint does not support BlobStorageEvents or SoftDeleteanvänder du en länkad Azure Data Lake Storage Gen2-tjänst för att ansluta till ett Azure Blob Storage-konto som aktiverar Blob Storage-händelser eller mjuk borttagning.	Prova följande alternativ: 1. Om du fortfarande vill använda en länkad Azure Data Lake Storage Gen2-tjänst uppgraderar du Azure Blob Storage till Azure Data Lake Storage Gen2. Mer information finns i Uppgradera Azure Blob Storage med Azure Data Lake Storage Gen2-funktioner. 2. Växla din länkade tjänst till Azure Blob Storage. 3. Inaktivera Blob Storage-händelser eller mjuk borttagning i ditt Azure Blob Storage-konto.

Begäran till Azure Data Lake Storage Gen2-kontot orsakade ett timeoutfel

• Meddelande:

  • Felkod = UserErrorFailedBlobFSOperation
  • Felmeddelande = BlobFS operation failed for: A task was canceled.

• Orsak: Problemet orsakas av timeout-felet för Azure Data Lake Storage Gen2-mottagare, som vanligtvis inträffar på den lokalt installerade IR-datorn (Integration Runtime).

• Rekommendation:

  • Placera din lokalt installerad IR-dator och rikta in dig på Azure Data Lake Storage Gen2-kontot i samma region, om möjligt. Detta kan hjälpa till att undvika ett slumpmässigt timeout-fel och ge bättre prestanda.

  • Kontrollera om det finns en särskild nätverksinställning, till exempel ExpressRoute, och se till att nätverket har tillräckligt med bandbredd. Vi rekommenderar att du sänker inställningen för lokalt installerad IR-samtidiga jobb när den totala bandbredden är låg. Detta kan bidra till att undvika konkurrens om nätverksresurser mellan flera samtidiga jobb.

  • Om filstorleken är måttlig eller liten använder du en mindre blockstorlek för icke-bindande kopiering för att undvika ett sådant timeout-fel. Mer information finns i Blob Storage Put Block.

    Om du vill ange den anpassade blockstorleken redigerar du egenskapen i JSON-filredigeraren enligt följande:

    "sink": {
        "type": "DelimitedTextSink",
        "storeSettings": {
            "type": "AzureBlobFSWriteSettings",
            "blockSizeInMB": 8
        }
    }
    

Kopieringsaktiviteten kan inte välja filer från Azure Data Lake Storage Gen2

• Symptom: Kopieringsaktiviteten kan inte välja filer från Azure Data Lake Storage Gen2 när filnamnet är "Asset_Metadata". Problemet uppstår bara i datauppsättningen av Parquet-typen. Andra typer av datauppsättningar med samma filnamn fungerar korrekt.

• Orsak: För bakåtkompatibilitet _metadata behandlas som en reserverad delsträng i filnamnet.

• Rekommendation: Ändra filnamnet för att undvika den reserverade listan för Parquet nedan:

  1. Filnamnet innehåller _metadata.
  2. Filnamnet börjar med . (punkt).

Felkod: ADLSGen2ForbiddenError

• Meddelande: ADLS Gen2 failed for forbidden: Storage operation % on % get failed with 'Operation returned an invalid status code 'Forbidden'.

• Orsak: Det finns två möjliga orsaker:

  1. Integreringskörningen blockeras av nätverksåtkomst i Azure Storage-kontots brandväggsinställningar.
  2. Tjänstens huvudnamn eller hanterade identitet har inte tillräcklig behörighet för att komma åt data.

• Rekommendation:

  1. Kontrollera nätverksinställningarna för ditt Azure Storage-konto för att se om åtkomsten till det offentliga nätverket är inaktiverad. Om du är inaktiverad använder du en integreringskörning för ett hanterat virtuellt nätverk och skapar en privat slutpunkt för åtkomst. Mer information finns i Hanterat virtuellt nätverk och Skapa en kopieringspipeline med hanterade virtuella nätverk och privata slutpunkter.

  2. Om du har aktiverat valda virtuella nätverk och IP-adresser i nätverksinställningen för ditt Azure Storage-konto:

     1. Det är möjligt eftersom vissa IP-adressintervall för din integreringskörning inte tillåts av brandväggsinställningarna för lagringskontot. Lägg till IP-adresserna för Azure Integration Runtime eller ip-adressen för integrationskörning via egen värd i brandväggen för lagringskontot. Information om IP-adresser för Azure Integration Runtime finns i IP-adresser för Azure Integration Runtime och information om hur du lägger till IP-intervall i brandväggen för lagringskontot finns i Hantera IP-nätverksregler.

     2. Om du tillåter att betrodda Azure-tjänster får åtkomst till det här lagringskontot i brandväggen måste du använda hanterad identitetsautentisering i kopieringsaktiviteten.

     Mer information om brandväggsinställningarna för Azure Storage-kontot finns i Konfigurera Azure Storage-brandväggar och virtuella nätverk.

  3. Om du använder tjänstens huvudnamn eller hanterad identitetsautentisering, beviljar du tjänstens huvudnamn eller hanterade identitet lämpliga behörigheter för kopiering. För källa, åtminstone rollen Storage Blob Data Reader . För mottagare, åtminstone rollen Storage Blob Data Contributor . Mer information finns i Kopiera och transformera data i Azure Data Lake Storage Gen2.

Relaterat innehåll

Om du vill ha mer felsökningshjälp kan du prova dessa resurser:

• Guide om felsökning av anslutningsprogram
• Data Factory-bloggen
• Data Factory-funktionsbegäranden
• Azure-videor
• Microsofts Q&A-sida
• Stack Overflow-forum för Data Factory
• X information om Data Factory