U-SQL 개념

요약

U-SQL은 다양한 언어의 친숙한 개념을 결합합니다. SQL과 같은 선언적 언어이며 Pig 및 Cascading*와 같은 문 및 식의 데이터 흐름과 유사한 컴퍼지션을 따르며 사용자 정의 연산자, 사용자 정의 집계사용자 정의 함수를 사용하여 언어를 확장하는 간단한 방법을 제공합니다. C#을 사용하여 구조화된 데이터 및 사용자 코드를 관리, 검색 및 보호하는 SQL 데이터베이스와 유사한 메타데이터 개체 모델을 제공합니다.

U-SQL 스크립트에서 데이터를 처리하는 방법

현재 Azure Data Lake Analytics 일괄 처리를 위한 U-SQL을 제공합니다. 따라서 U-SQL은 일괄 처리 스크립트 형태로 작성되고 실행됩니다. 다음과 같은 일반 처리 패턴을 따릅니다.

  1. 저장된 위치에서 행 집합 형식으로 데이터 검색

    1. 저장된 위치는 EXTRACT 식을 사용하여 읽을 때 스키마화되는 파일일 수 있습니다.
    2. 저장된 위치는 스키마화된 형식으로 저장된 U-SQL 테이블일 수 있습니다.
    3. 또는 Azure SQL 데이터베이스와 같은 다른 데이터 원본에서 제공하는 테이블일 수 있습니다.
  2. 행 집합 변환

    1. 행 집합에 대한 여러 변환을 데이터 흐름 형식으로 구성할 수 있습니다.
  3. 변환된 행 집합 데이터 저장

    1. OUTPUT 문을 사용하여 파일에 저장하거나
    2. INSERT 문을 사용하여 U-SQL 테이블에 저장

또한 U-SQL은 CREATE TABLE 과 같은 데이터 정의 문을 지원하여 별도의 스크립트에서 또는 변환 스크립트와 함께 메타데이터 아티팩트도 만듭니다.

U-SQL 스크립트는 다양한 방법으로 제출할 수 있습니다. 특히 Azure Data Lake Tools for Visual Studio 내에서 직접 제출하거나 Azure Portal에서 또는 Azure Data Lake SDK 작업 제출 API 또는 Azure Powershell 확장의 작업 제출 명령을 통해 프로그래밍 방식으로 제출할 수 있습니다.

이 섹션에서 소개한 다음 개념을 살펴보세요.