Rozpoczynanie pracy z usługą Azure Data Lake Storage Gen1 przy użyciu Azure PowerShell
Uwaga
Azure Data Lake Storage Gen1 została wycofana. Zobacz ogłoszenie o wycofaniu tutaj. Data Lake Storage Gen1 zasoby nie są już dostępne. Jeśli potrzebujesz specjalnej pomocy, skontaktuj się z nami.
Dowiedz się, jak za pomocą Azure PowerShell utworzyć konto usługi Azure Data Lake Storage Gen1 i wykonywać podstawowe operacje, takie jak tworzenie folderów, przekazywanie i pobieranie plików danych, usuwanie konta itp. Aby uzyskać więcej informacji na temat Data Lake Storage Gen1, zobacz Omówienie Data Lake Storage Gen1.
Wymagania wstępne
Uwaga
Do interakcji z platformą Azure zalecamy używanie modułu Azure Az w programie PowerShell. Zobacz Instalowanie programu Azure PowerShell, aby rozpocząć. Aby dowiedzieć się, jak przeprowadzić migrację do modułu Az PowerShell, zobacz Migracja programu Azure PowerShell z modułu AzureRM do modułu Az.
- Subskrypcja platformy Azure. Zobacz temat Uzyskiwanie bezpłatnej wersji próbnej platformy Azure.
- Program Azure PowerShell 1.0 lub nowszy. Zobacz artykuł Instalowanie i konfigurowanie programu Azure PowerShell.
Authentication
W tym artykule użyto prostszego podejścia do uwierzytelniania z Data Lake Storage Gen1, w którym zostanie wyświetlony monit o wprowadzenie poświadczeń konta platformy Azure. Poziom dostępu do konta Data Lake Storage Gen1 i systemu plików podlega poziomowi dostępu zalogowanego użytkownika. Istnieją jednak inne podejścia do uwierzytelniania za pomocą Data Lake Storage Gen1, które są uwierzytelnianiem użytkowników końcowych lub uwierzytelnianiem typu usługa-usługa. Instrukcje i dodatkowe informacje na temat uwierzytelniania można znaleźć w następujących artykułach: End-user authentication (Uwierzytelnianie użytkowników końcowych) lub Service-to-service authentication (Uwierzytelnianie między usługami).
Tworzenie konta usługi Data Lake Storage Gen1
Z poziomu pulpitu otwórz nowe okno programu Windows PowerShell. Wprowadź poniższy fragment kodu, aby zalogować się do konta platformy Azure, ustawić subskrypcję i zarejestrować dostawcę Data Lake Storage Gen1. Po wyświetleniu monitu o zalogowanie się upewnij się, że zalogowano się jako jeden z administratorów/właściciela subskrypcji:
# Log in to your Azure account Connect-AzAccount # List all the subscriptions associated to your account Get-AzSubscription # Select a subscription Set-AzContext -SubscriptionId <subscription ID> # Register for Azure Data Lake Storage Gen1 Register-AzResourceProvider -ProviderNamespace "Microsoft.DataLakeStore"
Konto Data Lake Storage Gen1 jest skojarzone z grupą zasobów platformy Azure. Zacznij od utworzenia grupy zasobów.
$resourceGroupName = "<your new resource group name>" New-AzResourceGroup -Name $resourceGroupName -Location "East US 2"
Utwórz konto Data Lake Storage Gen1. Wybrana nazwa konta może zawierać tylko małe litery i cyfry.
$dataLakeStorageGen1Name = "<your new Data Lake Storage Gen1 account name>" New-AzDataLakeStoreAccount -ResourceGroupName $resourceGroupName -Name $dataLakeStorageGen1Name -Location "East US 2"
Sprawdź, czy konto zostało utworzone pomyślnie.
Test-AzDataLakeStoreAccount -Name $dataLakeStorageGen1Name
Dane wyjściowe polecenia cmdlet powinny mieć wartość True.
Tworzenie struktur katalogów
Katalogi można tworzyć na koncie Data Lake Storage Gen1, aby zarządzać danymi i przechowywać je.
Określ katalog główny.
$myrootdir = "/"
Utwórz nowy katalog o nazwie mynewdirectory w określonym katalogu głównym.
New-AzDataLakeStoreItem -Folder -AccountName $dataLakeStorageGen1Name -Path $myrootdir/mynewdirectory
Sprawdź, czy nowy katalog został utworzony pomyślnie.
Get-AzDataLakeStoreChildItem -AccountName $dataLakeStorageGen1Name -Path $myrootdir
Powinny być widoczne dane wyjściowe pokazane na poniższym zrzucie ekranu:
Przekazywanie danych
Dane można przekazać do Data Lake Storage Gen1 bezpośrednio na poziomie głównym lub do katalogu utworzonego w ramach konta. Fragmenty kodu w tej sekcji przedstawiają sposób przekazywania przykładowych danych do katalogu (mynewdirectory), który został utworzony w poprzedniej sekcji.
Jeśli szukasz przykładowych danych do przekazania, możesz pobrać folder Ambulance Data z repozytorium Git usługi Azure Data Lake. Pobierz plik i zapisz go w katalogu lokalnym na komputerze, takim jak C:\sampledata.
Import-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
-Path "C:\sampledata\vehicle1_09142014.csv" `
-Destination $myrootdir\mynewdirectory\vehicle1_09142014.csv
Zmienianie nazwy, pobieranie i usuwanie danych
Aby zmienić nazwę pliku, użyj następującego polecenia:
Move-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
-Path $myrootdir\mynewdirectory\vehicle1_09142014.csv `
-Destination $myrootdir\mynewdirectory\vehicle1_09142014_Copy.csv
Aby pobrać plik, użyj następującego polecenia.
Export-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
-Path $myrootdir\mynewdirectory\vehicle1_09142014_Copy.csv `
-Destination "C:\sampledata\vehicle1_09142014_Copy.csv"
Aby usunąć plik, użyj następującego polecenia:
Remove-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
-Paths $myrootdir\mynewdirectory\vehicle1_09142014_Copy.csv
Po wyświetleniu monitu wpisz Y, aby usunąć element. Jeśli masz więcej niż jeden plik do usunięcia, możesz podać wszystkie ścieżki oddzielone przecinkami.
Remove-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
-Paths $myrootdir\mynewdirectory\vehicle1_09142014.csv, $myrootdir\mynewdirectoryvehicle1_09142014_Copy.csv
Usuń konto
Użyj następującego polecenia, aby usunąć konto Data Lake Storage Gen1.
Remove-AzDataLakeStoreAccount -Name $dataLakeStorageGen1Name
Po wyświetleniu monitu wpisz Y, aby usunąć konto.
Następne kroki
- Wskazówki dotyczące dostrajania wydajności dotyczące używania programu PowerShell z usługą Azure Data Lake Storage Gen1
- Używanie Azure Data Lake Storage Gen1 na potrzeby wymagań dotyczących danych big data
- Zabezpieczanie danych w usłudze Data Lake Storage 1. generacji
- Korzystanie z usługi Azure Data Lake Analytics z Data Lake Storage Gen1
- Używanie usługi Azure HDInsight z usługą Data Lake Storage Gen1