Invoke-AzHDInsightHiveJob
将 Hive 查询提交到 HDInsight 群集,并在一个作中检索查询结果。
语法
Default (默认值)
Invoke-AzHDInsightHiveJob
[-Arguments <String[]>]
[-Files <String[]>]
[-StatusFolder <String>]
[-Defines <Hashtable>]
[-File <String>]
[-JobName <String>]
[-Query <String>]
[-RunAsFileJob]
[-DefaultContainer <String>]
[-DefaultStorageAccountName <String>]
[-DefaultStorageAccountKey <String>]
[-DefaultProfile <IAzureContextContainer>]
[<CommonParameters>]
说明
Invoke-AzHDInsightHiveJob cmdlet 将 Hive 查询提交到 Azure HDInsight 群集,并在一个作中检索查询结果。
在调用 Invoke-AzHDInsightHiveJob 之前,请使用 Use-AzHDInsightCluster cmdlet 来指定将用于查询的群集。
示例
示例 1:将 Hive 查询提交到 Azure HDInsight 群集
# Primary storage account info
$storageAccountResourceGroupName = "Group"
$storageAccountName = "yourstorageacct001"
$storageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $storageAccountResourceGroupName -Name $storageAccountName)[0].value
$storageContainer = "container001"
# Cluster info
$clusterName = "your-hadoop-001"
$clusterCreds = Get-Credential
# Hive job details
$statusFolder = "tempStatusFolder/"
$query = "SHOW TABLES"
Use-AzHDInsightCluster `
-ClusterCredential $clusterCreds `
-ClusterName $clusterName
Invoke-AzHDInsightHiveJob -StatusFolder $statusFolder `
-Query $query `
-DefaultContainer $storageContainer `
-DefaultStorageAccountName "$storageAccountName.blob.core.windows.net" `
-DefaultStorageAccountKey $storageAccountKey
此命令将查询 SHOW TABLES 提交到名为 your-hadoop-001 的群集。
参数
-Arguments
指定作业的参数数组。
参数以命令行参数的形式传递到每个任务。
参数属性
| 类型: | String[]
|
| 默认值: | None |
| 支持通配符: | False |
| 不显示: | False |
参数集
(All)
| Position: | Named |
| 必需: | False |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
-DefaultContainer
指定 HDInsight 群集使用的默认 Azure 存储帐户中默认容器的名称。
参数属性
| 类型: | String
|
| 默认值: | None |
| 支持通配符: | False |
| 不显示: | False |
参数集
(All)
| Position: | Named |
| 必需: | False |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
-DefaultProfile
用于与 azure 通信的凭据、帐户、租户和订阅
参数属性
参数集
(All)
| Position: | Named |
| 必需: | False |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
-DefaultStorageAccountKey
指定 HDInsight 群集使用的默认存储帐户的帐户密钥。
参数属性
| 类型: | String
|
| 默认值: | None |
| 支持通配符: | False |
| 不显示: | False |
参数集
(All)
| Position: | Named |
| 必需: | False |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
-DefaultStorageAccountName
指定 HDInsight 群集使用的默认存储帐户的名称。
参数属性
| 类型: | String
|
| 默认值: | None |
| 支持通配符: | False |
| 不显示: | False |
参数集
(All)
| Position: | Named |
| 必需: | False |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
-Defines
指定要在作业运行时设置的 Hadoop 配置值。
参数属性
参数集
(All)
| Position: | Named |
| 必需: | False |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
-File
指定 Azure 存储中包含要运行的查询的文件的路径。
可以使用此参数而不是 Query 参数。
参数属性
| 类型: | String
|
| 默认值: | None |
| 支持通配符: | False |
| 不显示: | False |
参数集
(All)
| Position: | Named |
| 必需: | False |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
-Files
指定 Hive 作业所需的文件集合。
参数属性
| 类型: | String[]
|
| 默认值: | None |
| 支持通配符: | False |
| 不显示: | False |
参数集
(All)
| Position: | Named |
| 必需: | False |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
-JobName
指定 Hive 作业的名称。
如果未指定此参数,此 cmdlet 将使用默认值:“Hive: <Query 的前 100 个字符>”。
参数属性
| 类型: | String
|
| 默认值: | None |
| 支持通配符: | False |
| 不显示: | False |
参数集
(All)
| Position: | Named |
| 必需: | False |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
-Query
指定 Hive 查询。
参数属性
| 类型: | String
|
| 默认值: | None |
| 支持通配符: | False |
| 不显示: | False |
参数集
(All)
| Position: | Named |
| 必需: | False |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
-RunAsFileJob
指示此 cmdlet 在存储查询的默认 Azure 存储帐户中创建文件。
此 cmdlet 提交将引用此文件的作业作为要运行的脚本。
可以使用此功能来处理特殊字符,例如通过 Templeton 提交作业失败的百分比符号(%),因为 Templeton 将具有百分号的查询解释为 URL 参数。
参数属性
参数集
(All)
| Position: | Named |
| 必需: | False |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
-StatusFolder
指定包含作业的标准输出和错误输出的文件夹的位置。
参数属性
| 类型: | String
|
| 默认值: | None |
| 支持通配符: | False |
| 不显示: | False |
参数集
(All)
| Position: | Named |
| 必需: | False |
| 来自管道的值: | False |
| 来自管道的值(按属性名称): | False |
| 来自剩余参数的值: | False |
CommonParameters
此 cmdlet 支持通用参数:-Debug、-ErrorAction、-ErrorVariable、-InformationAction、-InformationVariable、-OutBuffer、-OutVariable、-PipelineVariable、-ProgressAction、-Verbose、-WarningAction 和 -WarningVariable。 有关详细信息,请参阅 about_CommonParameters。
None
输出