다음을 통해 공유

서버리스 SQL 풀에서 Apache Spark for Azure Synapse 외부 테이블 정의 동기화

  • 아티클

서버리스 SQL 풀은 Apache Spark에서 메타데이터를 자동으로 동기화할 수 있습니다. 서버리스 Apache Spark 풀에 있는 각 데이터베이스에 대해 서버리스 SQL 풀 데이터베이스가 생성됩니다.

Parquet 또는 CSV를 기반으로 하고 Azure Storage에 있는 각 Spark 외부 테이블에 대해 서버리스 SQL 풀 데이터베이스에 외부 테이블이 생성됩니다. 따라서 Spark 풀을 종료하고 서버리스 SQL 풀에서 Spark 외부 테이블을 계속 쿼리할 수 있습니다.

테이블이 Spark에서 분할되면 스토리지의 파일은 폴더별로 구성됩니다. 서버리스 SQL 풀은 파티션 메타데이터를 사용하고 쿼리에 관련된 폴더와 파일만 대상으로 합니다.

Azure Synapse 작업 영역에서 프로비저닝된 각 서버리스 Apache Spark 풀에 대해 메타데이터 동기화가 자동으로 구성됩니다. Spark 외부 테이블을 즉시 쿼리할 수 있습니다.

Azure Storage에 있는 각 Spark Parquet 또는 CSV 외부 테이블은 서버리스 SQL 풀 데이터베이스에 해당하는 dbo 스키마의 외부 테이블로 표시됩니다.

Spark 외부 테이블 쿼리의 경우 외부 [spark_table]을 대상으로 하는 쿼리를 실행합니다. 다음 예제를 실행하기 전에 파일이 있는 스토리지 계정에 대한 액세스 권한이 올바른지 확인합니다.

SELECT * FROM [db].dbo.[spark_table]

Apache Spark 데이터 형식을 SQL 데이터 형식으로 매핑

Apache Spark 데이터 형식을 SQL 데이터 형식에 매핑하는 방법에 대한 자세한 내용은 Azure Synapse Analytics 공유 메타데이터 테이블을 참조하세요.

다음 단계

스토리지 액세스 제어에 대해 자세히 알아보려면 Storage Access Control 문서로 이동합니다.