Submit-AzSynapseSparkJob
Przesyła zadanie platformy Spark usługi Synapse Analytics.
Składnia
Submit-AzSynapseSparkJob
-WorkspaceName <String>
-SparkPoolName <String>
-Language <String>
-Name <String>
-MainDefinitionFile <String>
[-MainClassName <String>]
[-CommandLineArgument <String[]>]
[-ReferenceFile <String[]>]
-ExecutorCount <Int32>
-ExecutorSize <String>
[-Configuration <Hashtable>]
[-DefaultProfile <IAzureContextContainer>]
[-WhatIf]
[-Confirm]
[<CommonParameters>] Submit-AzSynapseSparkJob
-SparkPoolObject <PSSynapseSparkPool>
-Language <String>
-Name <String>
-MainDefinitionFile <String>
[-MainClassName <String>]
[-CommandLineArgument <String[]>]
[-ReferenceFile <String[]>]
-ExecutorCount <Int32>
-ExecutorSize <String>
[-Configuration <Hashtable>]
[-DefaultProfile <IAzureContextContainer>]
[-WhatIf]
[-Confirm]
[<CommonParameters>] Opis
Polecenie cmdlet Submit-AzSynapseSparkJob przesyła zadanie platformy Spark usługi Synapse Analytics.
Przykłady
Przykład 1
Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language Spark -Name WordCount_Java -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/wordcount.jar -MainClassName WordCount -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/result/ -ExecutorCount 2 -ExecutorSize SmallTo polecenie przesyła zadanie platformy Spark usługi Synapse Analytics.
Przykład 2
Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language SparkDotNet -Name WordCount_Dotnet -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/wordcount.zip -MainExecutableFile WordCount -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/result -ExecutorCount 2 -ExecutorSize SmallTo polecenie przesyła zadanie platformy .NET platformy Spark usługi Synapse Analytics.
Przykład 3
Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language PySpark -Name WordCount_Python -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/wordcount.py -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/result/ -ExecutorCount 2 -ExecutorSize SmallTo polecenie przesyła zadanie PySpark usługi Synapse Analytics.
Parametry
-CommandLineArgument
Opcjonalne argumenty zadania. np. "--iteracja 10000 --timeout 20s"
| Typ: | String[] |
| Position: | Named |
| wartość domyślna: | None |
| Wymagane: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-Configuration
Właściwości konfiguracji platformy Spark.
| Typ: | Hashtable |
| Position: | Named |
| wartość domyślna: | None |
| Wymagane: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-Confirm
Monituje o potwierdzenie przed uruchomieniem polecenia cmdlet.
| Typ: | SwitchParameter |
| Aliases: | cf |
| Position: | Named |
| wartość domyślna: | None |
| Wymagane: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-DefaultProfile
Poświadczenia, konto, dzierżawa i subskrypcja używane do komunikacji z platformą Azure.
| Typ: | IAzureContextContainer |
| Aliases: | AzContext, AzureRmContext, AzureCredential |
| Position: | Named |
| wartość domyślna: | None |
| Wymagane: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-ExecutorCount
Liczba funkcji wykonawczych do przydzielenia w określonej puli Spark dla zadania.
| Typ: | Int32 |
| Position: | Named |
| wartość domyślna: | None |
| Wymagane: | True |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-ExecutorSize
Liczba rdzeni i pamięci, które mają być używane dla funkcji wykonawczych przydzielonych w określonej puli Spark dla zadania.
| Typ: | String |
| akceptowane wartości: | Small, Medium, Large, XLarge, XXLarge, XXXLarge |
| Position: | Named |
| wartość domyślna: | None |
| Wymagane: | True |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-Language
Język zadania do przesłania.
| Typ: | String |
| akceptowane wartości: | Spark, Scala, PySpark, Python, SparkDotNet, CSharp |
| Position: | Named |
| wartość domyślna: | None |
| Wymagane: | True |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-MainClassName
W pełni kwalifikowany identyfikator lub klasa główna, która znajduje się w głównym pliku definicji. Wymagane dla zadań spark i .NET Spark. np. "org.apache.spark.examples.SparkPi"
| Typ: | String |
| Aliases: | MainExecutableFile |
| Position: | Named |
| wartość domyślna: | None |
| Wymagane: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-MainDefinitionFile
Główny plik używany do zadania. np. "abfss://filesystem@account.dfs.core.windows.net/mySpark.jar"
| Typ: | String |
| Position: | Named |
| wartość domyślna: | None |
| Wymagane: | True |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-Name
Nazwa zadania platformy Spark.
| Typ: | String |
| Position: | Named |
| wartość domyślna: | None |
| Wymagane: | True |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-ReferenceFile
Dodatkowe pliki używane do odwołania w głównym pliku definicji. Lista identyfikatorów URI magazynu rozdzielanych przecinkami. np. "abfss:///file1.txt,abfssfilesystem@account.dfs.core.windows.net://filesystem@account.dfs.core.windows.net/result/"
| Typ: | String[] |
| Position: | Named |
| wartość domyślna: | None |
| Wymagane: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-SparkPoolName
Nazwa puli platformy Spark usługi Synapse.
| Typ: | String |
| Position: | Named |
| wartość domyślna: | None |
| Wymagane: | True |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-SparkPoolObject
Obiekt wejściowy puli platformy Spark, zwykle przekazywany przez potok.
| Typ: | PSSynapseSparkPool |
| Position: | Named |
| wartość domyślna: | None |
| Wymagane: | True |
| Accept pipeline input: | True |
| Accept wildcard characters: | False |
-WhatIf
Pokazuje, co się stanie po uruchomieniu polecenia cmdlet. Polecenie cmdlet nie zostało uruchomione.
| Typ: | SwitchParameter |
| Aliases: | wi |
| Position: | Named |
| wartość domyślna: | None |
| Wymagane: | False |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
-WorkspaceName
Nazwa obszaru roboczego usługi Synapse.
| Typ: | String |
| Position: | Named |
| wartość domyślna: | None |
| Wymagane: | True |
| Accept pipeline input: | False |
| Accept wildcard characters: | False |
Dane wejściowe
Dane wyjściowe
Opinia
Dostępne już wkrótce: W 2024 r. będziemy stopniowo wycofywać zgłoszenia z serwisu GitHub jako mechanizm przesyłania opinii na temat zawartości i zastępować go nowym systemem opinii. Aby uzyskać więcej informacji, sprawdź: https://aka.ms/ContentUserFeedback.
Prześlij i wyświetl opinię dla