你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。
New-AzureRmHDInsightStreamingMapReduceJobDefinition
创建流式处理 MapReduce 作业对象。
警告
截至 2024 年 2 月 29 日,AzureRM PowerShell 模块已正式弃用。 为了确保持续获得支持和更新,建议用户从 AzureRM 迁移到 Az PowerShell 模块。
尽管 AzureRM 模块仍可能正常运行,但它不再维护或受支持,但会根据用户的自由裁量权和风险继续使用任何继续使用模块。 有关过渡到 Az 模块的指导,请参阅我们的迁移资源。
语法
New-AzureRmHDInsightStreamingMapReduceJobDefinition
[-Arguments <String[]>]
[-File <String>]
[-Files <String[]>]
[-StatusFolder <String>]
[-CommandEnvironment <Hashtable>]
[-Defines <Hashtable>]
-InputPath <String>
[-Mapper <String>]
[-OutputPath <String>]
[-Reducer <String>]
[-DefaultProfile <IAzureContextContainer>]
[<CommonParameters>]
说明
New-AzureRmHDInsightStreamingMapReduceJobDefinition cmdlet 定义用于 Azure HDInsight 群集的流式处理 MapReduce 作业对象。
示例
示例 1:创建流式处理 MapReduce 作业定义
PS C:\># Cluster info
PS C:\>$clusterName = "your-hadoop-001"
PS C:\>$clusterCreds = Get-Credential
# Streaming MapReduce job details
PS C:\>$statusFolder = "tempStatusFolder/"
PS C:\>$query = "SHOW TABLES"
PS C:\>New-AzureRmHDInsightStreamingMapReduceJobDefinition -StatusFolder $statusFolder `
-Query $query `
| Start-AzureRmHDInsightJob `
-ClusterName $clusterName `
-ClusterCredential $clusterCreds
此命令创建流式处理 MapReduce 作业定义。
参数
-Arguments
指定作业的参数数组。 参数以命令行参数的形式传递到每个任务。
Type: | String[] |
Position: | Named |
Default value: | None |
Required: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-CommandEnvironment
指定要在工作器节点上运行作业时设置的命令行环境变量数组。
Type: | Hashtable |
Position: | Named |
Default value: | None |
Required: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-DefaultProfile
用于与 azure 通信的凭据、帐户、租户和订阅
Type: | IAzureContextContainer |
Aliases: | AzureRmContext, AzureCredential |
Position: | Named |
Default value: | None |
Required: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-Defines
指定要在作业运行时设置的 Hadoop 配置值。
Type: | Hashtable |
Position: | Named |
Default value: | None |
Required: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-File
指定包含要运行的查询的文件的路径。 可以使用此参数而不是 Query 参数。
Type: | String |
Position: | Named |
Default value: | None |
Required: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-Files
指定与 Hive 作业关联的文件的集合。
Type: | String[] |
Position: | Named |
Default value: | None |
Required: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-InputPath
指定输入文件的路径。
Type: | String |
Position: | Named |
Default value: | None |
Required: | True |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-Mapper
指定映射器文件名。
Type: | String |
Position: | Named |
Default value: | None |
Required: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-OutputPath
指定作业输出的路径。
Type: | String |
Position: | Named |
Default value: | None |
Required: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-Reducer
指定化简器文件名。
Type: | String |
Position: | Named |
Default value: | None |
Required: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
-StatusFolder
指定包含作业的标准输出和错误输出的文件夹的位置。
Type: | String |
Position: | Named |
Default value: | None |
Required: | False |
Accept pipeline input: | False |
Accept wildcard characters: | False |
输入
None
输出
AzureHDInsightStreamingMapReduceJobDefinition