Azure Data Studio에서 SQL Server 빅 데이터 클러스터에 대한 Spark 작업 제출

아티클
03/19/2024

적용 대상: SQL Server 2019(15.x)

중요

Microsoft SQL Server 2019 빅 데이터 클러스터 추가 기능이 사용 중지됩니다. SQL Server 2019 빅 데이터 클러스터에 대한 지원은 2025년 2월 28일에 종료됩니다. Software Assurance를 사용하는 SQL Server 2019의 모든 기존 사용자는 플랫폼에서 완전히 지원되며, 소프트웨어는 지원 종료 시점까지 SQL Server 누적 업데이트를 통해 계속 유지 관리됩니다. 자세한 내용은 공지 블로그 게시물 및 Microsoft SQL Server 플랫폼의 빅 데이터 옵션을 참조하세요.

빅 데이터 클러스터의 주요 시나리오 중 하나는 SQL Server용 Spark 작업을 제출하는 기능입니다. Spark 작업 제출 기능을 사용하면 SQL Server 2019 빅 데이터 클러스터를 참조하는 로컬 Jar 또는 Py 파일을 제출할 수 있습니다. 또한 이미 HDFS 파일 시스템에 있는 Jar 또는 Py 파일을 실행할 수 있습니다.

필수 조건

SQL Server 2019 빅 데이터 도구:
- Azure Data Studio
- SQL Server 2019 확장
- kubectl
Azure Data Studio를 빅 데이터 클러스터의 HDFS/Spark 게이트웨이로 연결합니다.

Spark 작업 제출 대화 상자 열기

Spark 작업 제출 대화 상자를 여는 방법에는 여러 가지가 있습니다. 방법에는 대시보드, 개체 탐색기 컨텍스트 메뉴 및 명령 팔레트가 포함됩니다.

Spark 작업 제출 대화 상자를 열려면 대시보드에서 새 Spark 작업을 클릭합니다.
또는 개체 탐색기 클러스터를 마우스 오른쪽 단추로 클릭하고 컨텍스트 메뉴에서 Spark 작업 제출을 선택합니다.
Jar/Py 필드가 미리 채워져 있는 Spark 작업 제출 대화 상자를 열려면 개체 탐색기에서 jar/Py 파일을 마우스 오른쪽 단추로 클릭하고 상황에 맞는 메뉴에서 Spark 작업 제출을 선택합니다.
Ctrl+Shift+P(Windows) 및 Cmd+Shift+P(Mac)를 입력하여 명령 팔레트에서 Spark 작업 제출을 사용합니다.

Spark 작업 제출

Spark 작업 제출 대화 상자는 다음과 같이 표시됩니다. 작업 이름, JAR/Py 파일 경로, 기본 클래스 및 기타 필드를 입력합니다. Jar/Py 파일 원본은 로컬 또는 HDFS에서 온 것일 수 있습니다. Spark 작업에 참조 Jar, Py 파일 또는 추가 파일이 있는 경우 고급 탭을 클릭하고 해당 파일 경로를 입력합니다. 제출을 클릭하여 Spark 작업을 제출합니다.

New spark job dialog