azdata bdc spark batch

适用于: Azure 数据 CLI ()azdata

以下文章提供了 azdata 工具中 sql 命令的参考。 有关其他 azdata 命令的详细信息,请参阅 azdata 参考

命令

命令 描述
azdata bdc spark batch create 创建新的 Spark 批处理。
azdata bdc spark batch list 列出 Spark 中的所有批处理。
azdata bdc spark batch info 获取有关活动 Spark 批处理的信息。
azdata bdc spark batch log 获取 Spark 批处理的执行日志。
azdata bdc spark batch state 获取 Spark 批处理的执行状态。
azdata bdc spark batch delete 删除 Spark 批处理。

azdata bdc spark batch create

此命令创建一个新的批处理 Spark 作业,以执行提供的代码。

azdata bdc spark batch create --file -f 
                              [--class-name -c]  
                              
[--arguments -a]  
                              
[--jar-files -j]  
                              
[--py-files -p]  
                              
[--files]  
                              
[--driver-memory]  
                              
[--driver-cores]  
                              
[--executor-memory]  
                              
[--executor-cores]  
                              
[--executor-count]  
                              
[--archives]  
                              
[--queue -q]  
                              
[--name -n]  
                              
[--config]

示例

创建新的 Spark 批处理。

azdata spark batch create --code "2+2"

必需的参数

--file -f

要执行的文件的路径。

可选参数

--class-name -c

传入一个或多个 jar 文件时要执行的类的名称。

--arguments -a

参数列表。 若要传入列表,JSON 会对值进行编码。 示例:‘["entry1", "entry2"]’。

--jar-files -j

jar 文件路径列表。 若要传入列表,JSON 会对值进行编码。 示例:‘["entry1", "entry2"]’。

--py-files -p

python文件路径列表。 若要传入列表,JSON 会对值进行编码。 示例:‘["entry1", "entry2"]’。

--files

文件路径列表。 若要传入列表,JSON 会对值进行编码。 示例:‘["entry1", "entry2"]’。

--driver-memory

要分配给驱动程序的内存量。 将单位指定为值的一部分。 例如 512M 或 2G。

--driver-cores

要分配给驱动程序的 CPU 内核数。

--executor-memory

要分配给执行程序的内存量。 将单位指定为值的一部分。 例如 512M 或 2G。

--executor-cores

要分配给执行程序的 CPU 内核数。

--executor-count

要运行的执行程序的实例数。

--archives

存档路径列表。 若要传入列表,JSON 会对值进行编码。 示例:‘["entry1", "entry2"]’。

--queue -q

要在其中执行会话的 Spark 队列的名称。

--name -n

Spark 会话的名称。

--config

包含 Spark 配置值的名称值对的列表。 编码为 JSON 字典。 示例:'{"name":"value", "name2":"value2"}'。

全局参数

--debug

提高日志记录详细程度以显示所有调试日志。

--help -h

显示此帮助消息并退出。

--output -o

输出格式。 允许的值:json、jsonc、table、tsv。 默认值:json。

--query -q

JMESPath 查询字符串。 有关更多信息和示例,请参阅 http://jmespath.org/

--verbose

提高日志记录详细程度。 使用 --debug 获取完整的调试日志。

azdata bdc spark batch list

列出 Spark 中的所有批处理。

azdata bdc spark batch list 

示例

列出所有活动的批处理。

azdata spark batch list

全局参数

--debug

提高日志记录详细程度以显示所有调试日志。

--help -h

显示此帮助消息并退出。

--output -o

输出格式。 允许的值:json、jsonc、table、tsv。 默认值:json。

--query -q

JMESPath 查询字符串。 有关更多信息和示例,请参阅 http://jmespath.org/

--verbose

提高日志记录详细程度。 使用 --debug 获取完整的调试日志。

azdata bdc spark batch info

此命令可获取具有给定 ID 的 Spark 批处理的信息。 批处理 ID 从“spark batch create”返回。

azdata bdc spark batch info --batch-id -i 
                            

示例

获取 ID 为 0 的批处理的信息。

azdata spark batch info --batch-id 0

必需的参数

--batch-id -i

Spark 批处理 ID 号。

全局参数

--debug

提高日志记录详细程度以显示所有调试日志。

--help -h

显示此帮助消息并退出。

--output -o

输出格式。 允许的值:json、jsonc、table、tsv。 默认值:json。

--query -q

JMESPath 查询字符串。 有关更多信息和示例,请参阅 http://jmespath.org/

--verbose

提高日志记录详细程度。 使用 --debug 获取完整的调试日志。

azdata bdc spark batch log

此命令可获取具有给定 ID 的 Spark 批处理的批处理日志条目。 批处理 ID 从“spark batch create”返回。

azdata bdc spark batch log --batch-id -i 
                           

示例

获取 ID 为 0 的批处理的日志。

azdata spark batch log --batch-id 0

必需的参数

--batch-id -i

Spark 批处理 ID 号。

全局参数

--debug

提高日志记录详细程度以显示所有调试日志。

--help -h

显示此帮助消息并退出。

--output -o

输出格式。 允许的值:json、jsonc、table、tsv。 默认值:json。

--query -q

JMESPath 查询字符串。 有关更多信息和示例,请参阅 http://jmespath.org/

--verbose

提高日志记录详细程度。 使用 --debug 获取完整的调试日志。

azdata bdc spark batch state

此命令可获取具有给定 ID 的 Spark 批处理的批处理状态。 批处理 ID 从“spark batch create”返回。

azdata bdc spark batch state --batch-id -i 
                             

示例

获取 ID 为 0 的批处理的状态。

azdata spark batch state --batch-id 0

必需的参数

--batch-id -i

Spark 批处理 ID 号。

全局参数

--debug

提高日志记录详细程度以显示所有调试日志。

--help -h

显示此帮助消息并退出。

--output -o

输出格式。 允许的值:json、jsonc、table、tsv。 默认值:json。

--query -q

JMESPath 查询字符串。 有关更多信息和示例,请参阅 http://jmespath.org/

--verbose

提高日志记录详细程度。 使用 --debug 获取完整的调试日志。

azdata bdc spark batch delete

此命令可删除 Spark 批处理。 批处理 ID 从“spark batch create”返回。

azdata bdc spark batch delete --batch-id -i 
                              

示例

删除批处理。

azdata spark batch delete --batch-id 0

必需的参数

--batch-id -i

Spark 批处理 ID 号。

全局参数

--debug

提高日志记录详细程度以显示所有调试日志。

--help -h

显示此帮助消息并退出。

--output -o

输出格式。 允许的值:json、jsonc、table、tsv。 默认值:json。

--query -q

JMESPath 查询字符串。 有关更多信息和示例,请参阅 http://jmespath.org/

--verbose

提高日志记录详细程度。 使用 --debug 获取完整的调试日志。

后续步骤

有关其他 azdata 命令的详细信息,请参阅 azdata 参考

有关如何安装 azdata 工具的详细信息,请参阅安装 azdata