Delen via

AzCopy

AzCopy is een krachtig opdrachtregelprogramma dat is ontworpen om de overdracht van gegevens tussen Azure Storage-accounts te vergemakkelijken. Omdat Microsoft OneLake dezelfde API's, SDK's en hulpprogramma's ondersteunt als Azure Storage, kunt u AzCopy ook gebruiken om gegevens van en naar OneLake te laden. Dit artikel helpt u Bij het gebruik van AzCopy met OneLake, van het kopiëren van gegevens tussen artefacten tot het uploaden of downloaden van gegevens.

Waarom AzCopy en OneLake gebruiken?

AzCopy is geoptimaliseerd voor gegevensvlakbewerkingen op schaal en grootschalige gegevensverplaatsing. Wanneer u gegevens kopieert tussen opslagaccounts (inclusief OneLake), worden gegevens rechtstreeks van de opslagserver naar de opslagserver verplaatst, waardoor prestatieknelpunten worden geminimaliseerd. AzCopy is ook gebruiksvriendelijk en betrouwbaar, met ingebouwde mechanismen voor het afhandelen van netwerkonderbrekingen en nieuwe pogingen. Met AzCopy kunt u eenvoudig gegevens uploaden naar OneLake of gegevens uit bestaande bronnen rechtstreeks in uw items in Fabric laden.

Toegang tot vertrouwde werkruimten en AzCopy

Door toegang te krijgen tot vertrouwde werkruimten kunt u veilig toegang krijgen tot Azure Storage-accounts met ingeschakelde firewalls door een regel voor een resource-instantie te configureren op een Azure Storage-account. Met deze regel krijgt uw specifieke Fabric-werkruimte toegang tot de firewall van het opslagaccount vanuit bepaalde Fabric-ervaringen, zoals snelkoppelingen, pijplijnen en AzCopy. Door toegang tot vertrouwde werkruimten te configureren, kan AzCopy gegevens kopiëren van een Azure Storage-account met firewallfuncties naar OneLake zonder dat dit van invloed is op de firewallbeveiligingen. Meer informatie over toegang tot vertrouwde werkruimten.

Aan de slag komen

Als u geen kennis hebt met AzCopy, kunt u leren hoe u AzCopy kunt downloaden en aan de slag kunt gaan met AzCopy.

Wanneer u AzCopy met OneLake gebruikt, zijn er enkele belangrijke punten die u moet onthouden:

  1. Voeg 'fabric.microsoft.com' toe als een vertrouwd domein met behulp van de parameter --trusted-microsoft-suffixes.
  2. Selecteer het abonnement van uw Azure Storage-bronaccount wanneer u zich aanmeldt met uw Microsoft Entra-id, omdat OneLake alleen om de tenant geeft.
  3. Gebruik dubbele aanhalingstekens bij het gebruik van AzCopy in de opdrachtprompt en enkele aanhalingstekens in PowerShell.

In de voorbeelden in dit artikel wordt ook ervan uitgegaan dat uw Microsoft Entra-id over de juiste machtigingen beschikt om toegang te krijgen tot zowel de bron als de bestemmingen.

Ten slotte hebt u ten minste één bron en bestemming nodig voor uw gegevensverplaatsing: de voorbeelden op deze pagina gebruiken twee Fabric Lakehouses en één ADLS-account.

Voorbeeld: Gegevens kopiëren tussen Fabric-werkruimten

Gebruik dit voorbeeld om een bestand vanuit een lakehouse in de ene werkruimte naar een andere werkruimte te kopiëren door gebruik te maken van de opdracht azcopy copy. Vergeet niet eerst te verifiëren door eerst uit te voeren azcopy login .

Syntaxis


azcopy copy "https://onelake.dfs.fabric.microsoft.com/<source-workspace-name>/<source-item-name>/Files/<source-file-path>" "https://onelake.dfs.fabric.microsoft.com/<destination-workspace-name>/<destination-item-name>/Files/<destination-file-path>" --trusted-microsoft-suffixes "fabric.microsoft.com"

De kopieerbewerking is synchroon, dus wanneer de opdracht wordt geretourneerd, worden alle bestanden gekopieerd.

Voorbeeld: Gegevens kopiëren van ADLS naar OneLake met shared access signatures (SAS)

Een Shared Access Signature (SAS) biedt korte, gedelegeerde toegang tot Azure Storage en OneLake en is een uitstekende optie om hulpprogramma's of gebruikers tijdelijke toegang tot opslag te bieden voor eenmalige uploaden of downloads. Een SAS is ook een uitstekende optie als het Azure Storage-account zich in een andere tenant bevindt dan uw OneLake, omdat Entra-autorisatie niet werkt als de tenants verschillen.

In dit voorbeeld wordt een uniek SAS-token gebruikt om te verifiëren bij zowel Azure Storage als OneLake. Raadpleeg de volgende pagina's voor meer informatie over het genereren en gebruiken van SAS-tokens met Azure Storage en OneLake:

Opmerking

Wanneer u een SAS-token gebruikt om te verifiëren bij OneLake in AzCopy, moet u de parameter ''-s2s-preserve-access-tier' instellen op false.


azcopy copy "https://<account-name>.blob.core.windows.net/<source-container-name>/<source-file-path>?<blob-sas-token>" "https://onelake.dfs.fabric.microsoft.com/<destination-workspace-name>/<destination-item-name>/Files/<destination-file-path>?<onelake-sas-token>" --trusted-microsoft-suffixes "fabric.microsoft.com" --s2s-preserve-access-tier=false

Beperkingen

Omdat OneLake een beheerde data lake is, worden sommige bewerkingen niet ondersteund met AzCopy. U kunt bijvoorbeeld AzCopy niet gebruiken om hele items of werkruimten te verplaatsen of te kopiëren. Maak in plaats daarvan het nieuwe item op uw doellocatie met behulp van een Fabric-ervaring (zoals de portal) en gebruik vervolgens AzCopy om de inhoud van het bestaande item naar het nieuwe item te verplaatsen.

Verwante inhoud