SQL Server 빅 데이터 클러스터에서의 Spark Machine Learning 소개

적용 대상: SQL Server 2019(15.x)

중요

Microsoft SQL Server 2019 빅 데이터 클러스터 추가 기능이 사용 중지됩니다. SQL Server 2019 빅 데이터 클러스터에 대한 지원은 2025년 2월 28일에 종료됩니다. Software Assurance를 사용하는 SQL Server 2019의 모든 기존 사용자는 플랫폼에서 완전히 지원되며, 소프트웨어는 지원 종료 시점까지 SQL Server 누적 업데이트를 통해 계속 유지 관리됩니다. 자세한 내용은 공지 블로그 게시물 및 Microsoft SQL Server 플랫폼의 빅 데이터 옵션을 참조하세요.

이 문서에서는 SQL Server 빅 데이터 클러스터에서 Machine Learning용 Spark를 효과적으로 사용하는 방법을 설명합니다.

SQL Server 빅 데이터 클러스터에서의 Spark Machine Learning

SQL Server 빅 데이터 클러스터에서는 다양한 기술 스택(SQL Server Machine Learning Services 및 Apache Spark ML)을 사용하여 기계 학습 시나리오 및 솔루션을 사용할 수 있습니다.

각 기술 스택의 사용 시기를 더 잘 이해하려면 SQL Server 빅 데이터 클러스터에 대한 Machine Learning 가이드를 참조하세요. 이 가이드에서는 Apache Spark ML을 다룹니다.

빅 데이터 기반 기계 학습 시나리오의 경우 빅 데이터 호스팅 및 Apache Spark ML 기능에 HDFS를 사용하는 것이 좀 더 비용 효율적이고 확장 가능하며 강력한 접근 방식입니다. 그러나 Spark Machine Learning을 통해 달성할 수 있는 가능성의 전체 목록과는 거리가 있으므로, 완전한 기능 목록은 Spark MLlib를 참조하세요.

다음 섹션에서는 SQL Server 빅 데이터 클러스터에서 Spark용 시나리오 및 참조를 위해 큐레이팅된 목록을 제공합니다.

SQL Server 빅 데이터 클러스터에서의 Spark 기계 학습 구성 요소

Learn	콘텐츠	링크
Apache Spark용 SQL Server 빅 데이터 클러스터 런타임	여기에는 각 릴리스에 포함된 내용이 표시됩니다	Apache Spark용 SQL Server 빅 데이터 클러스터 런타임 가이드
저장소 풀	HDFS + Spark를 함께 저장하고 사용하여 기계 학습을 위한 데이터를 잠금 해제하는 방법	SQL Server 빅 데이터 클러스터의 저장소 풀 소개
Notebook 기반 환경 및 선택한 도구 사용	선택한 도구를 사용하여 Spark-Livy 엔드포인트 연결	Azure Data Studio에서 SQL Server 빅 데이터 클러스터에 대한 Spark 작업 제출 Visual Studio Code에서 SQL Server 빅 데이터 클러스터에 대한 Spark 작업 제출 SQL Server 빅 데이터 클러스터의 Sparklyr 사용
추가 패키지를 설치하는 방법	패키지가 기본적으로 제공되지 않는 경우 설치합니다.	Spark 라이브러리 관리
문제 해결 방법	중단된 경우	pyspark Notebook 문제 해결 Spark 기록 서버에서SQL Server 빅 데이터 클러스터의 Spark 애플리케이션 디버그 및 진단
기계 학습 일괄 작업을 제출하는 방법	명령줄을 사용하여 ML 학습 및 배치 점수 매기기 실행	명령줄 도구를 사용하여 Spark 작업 제출
SQL Server와 Spark 간에 데이터를 빠르게 이동시키는 방법	Spark ML 시나리오에 대한 SQL Server 원본 및/또는 대상을 만듭니다. HDFS 사용은 필수가 아닙니다	SQL Server 및 Azure SQL용 Apache Spark 커넥터 사용
Spark 모델 연산화	학습 후 MLeap을 사용하여 운영	SQL Server 빅 데이터 클러스터에서 Spark 기계 학습 모델 만들기, 내보내기 및 점수 매기기
데이터 랭글링	Spark의 강력한 데이터 랭글링 기능과 함께 PROSE를 제공합니다	PROSE Code Accelerator를 사용한 데이터 랭글링

다음 단계

이러한 기능에 대한 자세한 내용은 SQL Server 빅 데이터 클러스터 소개를 참조하세요.