Rozpoczynanie pracy z usługą Azure Data Lake Storage Gen1 przy użyciu Azure PowerShell

Uwaga

Azure Data Lake Storage Gen1 została wycofana. Zobacz ogłoszenie o wycofaniu tutaj. Data Lake Storage Gen1 zasoby nie są już dostępne. Jeśli potrzebujesz specjalnej pomocy, skontaktuj się z nami.

Dowiedz się, jak za pomocą Azure PowerShell utworzyć konto usługi Azure Data Lake Storage Gen1 i wykonywać podstawowe operacje, takie jak tworzenie folderów, przekazywanie i pobieranie plików danych, usuwanie konta itp. Aby uzyskać więcej informacji na temat Data Lake Storage Gen1, zobacz Omówienie Data Lake Storage Gen1.

Wymagania wstępne

Uwaga

Do interakcji z platformą Azure zalecamy używanie modułu Azure Az w programie PowerShell. Zobacz Instalowanie programu Azure PowerShell, aby rozpocząć. Aby dowiedzieć się, jak przeprowadzić migrację do modułu Az PowerShell, zobacz Migracja programu Azure PowerShell z modułu AzureRM do modułu Az.

Authentication

W tym artykule użyto prostszego podejścia do uwierzytelniania z Data Lake Storage Gen1, w którym zostanie wyświetlony monit o wprowadzenie poświadczeń konta platformy Azure. Poziom dostępu do konta Data Lake Storage Gen1 i systemu plików podlega poziomowi dostępu zalogowanego użytkownika. Istnieją jednak inne podejścia do uwierzytelniania za pomocą Data Lake Storage Gen1, które są uwierzytelnianiem użytkowników końcowych lub uwierzytelnianiem typu usługa-usługa. Instrukcje i dodatkowe informacje na temat uwierzytelniania można znaleźć w następujących artykułach: End-user authentication (Uwierzytelnianie użytkowników końcowych) lub Service-to-service authentication (Uwierzytelnianie między usługami).

Tworzenie konta usługi Data Lake Storage Gen1

  1. Z poziomu pulpitu otwórz nowe okno programu Windows PowerShell. Wprowadź poniższy fragment kodu, aby zalogować się do konta platformy Azure, ustawić subskrypcję i zarejestrować dostawcę Data Lake Storage Gen1. Po wyświetleniu monitu o zalogowanie się upewnij się, że zalogowano się jako jeden z administratorów/właściciela subskrypcji:

    # Log in to your Azure account
    Connect-AzAccount
    
    # List all the subscriptions associated to your account
    Get-AzSubscription
    
    # Select a subscription
    Set-AzContext -SubscriptionId <subscription ID>
    
    # Register for Azure Data Lake Storage Gen1
    Register-AzResourceProvider -ProviderNamespace "Microsoft.DataLakeStore"
    
  2. Konto Data Lake Storage Gen1 jest skojarzone z grupą zasobów platformy Azure. Zacznij od utworzenia grupy zasobów.

    $resourceGroupName = "<your new resource group name>"
    New-AzResourceGroup -Name $resourceGroupName -Location "East US 2"
    

    Tworzenie grupy zasobów

  3. Utwórz konto Data Lake Storage Gen1. Wybrana nazwa konta może zawierać tylko małe litery i cyfry.

    $dataLakeStorageGen1Name = "<your new Data Lake Storage Gen1 account name>"
    New-AzDataLakeStoreAccount -ResourceGroupName $resourceGroupName -Name $dataLakeStorageGen1Name -Location "East US 2"
    

    Tworzenie konta Data Lake Storage Gen1

  4. Sprawdź, czy konto zostało utworzone pomyślnie.

    Test-AzDataLakeStoreAccount -Name $dataLakeStorageGen1Name
    

    Dane wyjściowe polecenia cmdlet powinny mieć wartość True.

Tworzenie struktur katalogów

Katalogi można tworzyć na koncie Data Lake Storage Gen1, aby zarządzać danymi i przechowywać je.

  1. Określ katalog główny.

    $myrootdir = "/"
    
  2. Utwórz nowy katalog o nazwie mynewdirectory w określonym katalogu głównym.

    New-AzDataLakeStoreItem -Folder -AccountName $dataLakeStorageGen1Name -Path $myrootdir/mynewdirectory
    
  3. Sprawdź, czy nowy katalog został utworzony pomyślnie.

    Get-AzDataLakeStoreChildItem -AccountName $dataLakeStorageGen1Name -Path $myrootdir
    

    Powinny być widoczne dane wyjściowe pokazane na poniższym zrzucie ekranu:

    Weryfikowanie katalogu zweryfikuj

Przekazywanie danych

Dane można przekazać do Data Lake Storage Gen1 bezpośrednio na poziomie głównym lub do katalogu utworzonego w ramach konta. Fragmenty kodu w tej sekcji przedstawiają sposób przekazywania przykładowych danych do katalogu (mynewdirectory), który został utworzony w poprzedniej sekcji.

Jeśli szukasz przykładowych danych do przekazania, możesz pobrać folder Ambulance Data z repozytorium Git usługi Azure Data Lake. Pobierz plik i zapisz go w katalogu lokalnym na komputerze, takim jak C:\sampledata.

Import-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
   -Path "C:\sampledata\vehicle1_09142014.csv" `
   -Destination $myrootdir\mynewdirectory\vehicle1_09142014.csv

Zmienianie nazwy, pobieranie i usuwanie danych

Aby zmienić nazwę pliku, użyj następującego polecenia:

Move-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
    -Path $myrootdir\mynewdirectory\vehicle1_09142014.csv `
    -Destination $myrootdir\mynewdirectory\vehicle1_09142014_Copy.csv

Aby pobrać plik, użyj następującego polecenia.

Export-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
    -Path $myrootdir\mynewdirectory\vehicle1_09142014_Copy.csv `
    -Destination "C:\sampledata\vehicle1_09142014_Copy.csv"

Aby usunąć plik, użyj następującego polecenia:

Remove-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
    -Paths $myrootdir\mynewdirectory\vehicle1_09142014_Copy.csv

Po wyświetleniu monitu wpisz Y, aby usunąć element. Jeśli masz więcej niż jeden plik do usunięcia, możesz podać wszystkie ścieżki oddzielone przecinkami.

Remove-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
    -Paths $myrootdir\mynewdirectory\vehicle1_09142014.csv, $myrootdir\mynewdirectoryvehicle1_09142014_Copy.csv

Usuń konto

Użyj następującego polecenia, aby usunąć konto Data Lake Storage Gen1.

Remove-AzDataLakeStoreAccount -Name $dataLakeStorageGen1Name

Po wyświetleniu monitu wpisz Y, aby usunąć konto.

Następne kroki