你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

U-SQL 概念

总结

U-SQL 结合了多种语言的一些熟悉概念:它是一种声明性语言(如 SQL),它遵循语句和表达式(如 Pig 和级联*)的类似数据流组合,并提供使用用户定义的运算符用户定义的聚合器和用户定义的函数扩展语言的简单方法 使用 C#,并提供类似于 SQL 数据库的元数据对象模型,用于管理、发现和保护结构化数据和用户代码。

U-SQL 脚本如何处理数据

目前,Azure Data Lake Analytics提供用于批处理的 U-SQL。 因此,U-SQL 以批处理脚本的形式编写和执行。 它遵循以下常规处理模式:

  1. 从行集格式的存储位置检索数据

    1. 存储的位置可以是将在读取时使用 EXTRACT 表达式进行架构化的文件
    2. 存储位置可以是以架构化格式存储的 U-SQL 表
    3. 也可以是由其他数据源(例如Azure SQL数据库)提供的表。
  2. 转换行集 ()

    1. 可以对行集进行多个转换,采用数据流格式
  3. 存储转换后的行集数据

    1. 使用 OUTPUT 语句将其存储在文件中,或者
    2. 使用 INSERT 语句将其存储在 U-SQL 表中

此外,U-SQL 还支持数据定义语句(如 CREATE TABLE )以单独的脚本创建元数据项目,有时甚至与转换脚本结合使用。

可以通过多种方式提交 U-SQL 脚本。 具体而言,可以直接从针对 Visual Studio 的 Azure Data Lake 工具、从 Azure 门户或通过 Azure Data Lake SDK 作业提交 API 或 Azure Powershell 扩展的作业提交命令以编程方式提交它们。

请浏览本部分介绍的以下概念: