다음을 통해 공유

SQL Server 빅 데이터 클러스터용 관리 Notebook의 인덱스

  • 아티클

이 페이지는 SQL Server 빅 데이터 클러스터용 Notebook의 인덱스입니다. 이러한 실행 가능한 Notebook(.ipynb)은 SQL Server 2019에 대한 빅 데이터 클러스터를 관리합니다.

Important

Microsoft SQL Server 2019 빅 데이터 클러스터 추가 기능이 사용 중지됩니다. SQL Server 2019 빅 데이터 클러스터에 대한 지원은 2025년 2월 28일에 종료됩니다. Software Assurance를 사용하는 SQL Server 2019의 모든 기존 사용자는 플랫폼에서 완전히 지원되며, 소프트웨어는 지원 종료 시점까지 SQL Server 누적 업데이트를 통해 계속 유지 관리됩니다. 자세한 내용은 공지 블로그 게시물 및 Microsoft SQL Server 플랫폼의 빅 데이터 옵션을 참조하세요.

Jupyter Notebook을 사용하여 SQL Server 빅 데이터 클러스터를 관리할 수 있습니다. 이렇게 하면 모든 Notebook이 자체 종속성을 확인합니다. 모든 셀 실행 옵션이 성공적으로 완료되거나, 예외가 발생하고 누락된 종속성을 해결하는 다른 Notebook에 대한 하이퍼링크 힌트를 제공합니다. 대상 Notebook에 대한 힌트 하이퍼링크를 따라 모든 셀 실행을 클릭합니다. 성공적으로 완료되면 원래 Notebook으로 돌아가 모든 셀 실행을 선택합니다.

모든 종속성이 설치되고 모든 셀 실행이 실패하면 각 Notebook에서 결과를 분석합니다. 가능한 경우 하이퍼링크 힌트는 문제를 해결하는 방법에 대한 방향을 제공합니다.

빅 데이터 클러스터에서 유틸리티 설치 및 제거

다음은 명령줄 도구를 설치하고 제거하는 데 유용한 Notebook 집합입니다. 또한 SQL Server 빅 데이터 클러스터 관리하기 위한 패키지를 제공합니다.

속성 설명
SOP012 - Mac용 unixodbc 설치 brew를 사용하여 SQL Server용 odbc를 설치하는 동안 오류가 발생할 때 이 Notebook을 사용합니다.
SOP036 - kubectl 명령줄 인터페이스 설치 OS에 관계없이 kubectl 명령줄 인터페이스를 설치하려면 이 Notebook을 사용합니다.
SOP037 - kubectl 명령줄 인터페이스 제거 OS에 관계없이 kubectl 명령줄 인터페이스를 제거하려면 이 Notebook을 사용합니다.
SOP038 - Azure 명령줄 인터페이스 설치 OS에 관계없이 Azure CLI 명령줄 인터페이스를 설치하려면 이 Notebook을 사용합니다.
SOP040 - ADS Python 샌드박스에서 pip 업그레이드 ADS Python 샌드박스에서 pip를 업그레이드하려면 이 Notebook을 사용합니다.
SOP059 - Kubernetes Python 모듈 설치 Python과 함께 Kubernetes 모듈을 설치하려면 이 Notebook을 사용합니다.
SOP060 - Kubernetes 모듈 제거 Python으로 Kubernetes 모듈을 제거하려면 이 Notebook을 사용합니다.
SOP062 - ipython-sql 및 pyodbc 모듈 설치 ipython-sql 및 pyodbc 모듈을 설치하려면 이 Notebook을 사용합니다.
SOP069 - SQL Server용 ODBC 설치 azdata의 일부 하위 명령에는 SQL Server ODBC 드라이버가 필요하므로 ODBC 드라이버를 설치하려면 이 Notebook을 사용합니다.

빅 데이터 클러스터 백업 및 복원

다음은 SQL Server 빅 데이터 클러스터에 대한 백업 및 복원 작업에 유용한 Notebook 집합입니다.

속성 설명
SOP008 - distcp를 사용하여 Azure Data Lake Store Gen2에 HDFS 파일 백업 이 SOP(표준 운영 절차)는 원본 빅 데이터 클러스터의 HDFS 파일 시스템에서 사용자가 지정한 Azure Data Lake Store Gen2 계정으로 데이터를 백업합니다. Azure Data Lake Store Gen2 계정이 "계층 구조 네임스페이스"를 사용하도록 구성되어 있는지 확인하세요.

빅 데이터 클러스터에서 인증서 관리

다음은 빅 데이터 클러스터에서 인증서를 관리하는 Notebook 집합입니다.

속성 설명
CER001 - 루트 CA 인증서를 생성합니다. 루트 CA 인증서를 생성합니다. 각 환경의 모든 비프로덕션 클러스터에 대해 하나의 루트 CA 인증서를 사용하는 것이 좋습니다. 이 기술을 사용하면 이러한 클러스터에 연결하는 클라이언트에 업로드해야 하는 루트 CA 인증서의 수가 줄어들기 때문입니다.
CER002 - 기존 루트 CA 인증서 다운로드 클러스터에서 생성된 루트 CA 인증서를 다운로드하려면 이 Notebook을 사용합니다.
CER003 - 기존 루트 CA 인증서 업로드 CER003 - 기존 루트 CA 인증서를 업로드합니다.
CER004 - 기존 루트 CA 인증서 다운로드 및 업로드 기존 루트 CA 인증서를 다운로드 및 업로드합니다.
CER005 - 새 루트 CA 인증서를 설치 새 루트 CA 인증서를 설치합니다.
CER010 - 생성된 루트 CA를 로컬로 설치 이 Notebook은 CER001 - 루트 CA 인증서 생성 또는 CER003 - 기존 루트 CA 인증서 업로드를 사용하여 설치된 생성된 루트 CA 인증서를 빅 데이터 클러스터에서 로컬로 복사한 다음 이 컴퓨터의 로컬 인증서 저장소에 루트 CA 인증서를 설치합니다.
CER020 - 관리 프록시 인증서 만들기 이 Notebook은 관리 프록시 엔드포인트에 대한 인증서를 만듭니다.
CER021 - Knox 인증서 만들기 이 Notebook은 Knox 게이트웨이 엔드포인트에 대한 인증서를 만듭니다.
CER022 - 앱 프록시 인증서 만들기 이 Notebook은 앱 배포 프록시 엔드포인트에 대한 인증서를 만듭니다.
CER023 - 마스터 인증서 만들기 이 Notebook은 마스터 엔드포인트에 대한 인증서를 만듭니다.
CER024 - 컨트롤러 인증서를 생성 이 Notebook은 컨트롤러 엔드포인트에 대한 인증서를 만듭니다.
CER025 - 기존 관리 프록시 인증서 업로드 이 Notebook은 기존 관리 프록시 인증서를 업로드합니다.
CER026 - 기존 게이트웨이 인증서 업로드 이 Notebook은 외부에서 생성된 게이트웨이 인증서를 클러스터에 업로드합니다.
CER027 - 기존 App Service 프록시 인증서를 업로드 이 Notebook은 외부에서 생성된 App Service 인증서를 클러스터에 업로드합니다.
CER028 - 기존 마스터 인증서 업로드 이 Notebook은 외부에서 생성된 마스터 인증서를 클러스터에 업로드합니다.
CER028 - 기존 컨트롤러 인증서 업로드 이 Notebook은 외부에서 생성된 컨트롤러 인증서를 클러스터에 업로드합니다.
CER030 - 생성된 CA를 사용하여 관리 프록시 인증서 서명 이 Notebook은 CER001 - 루트 CA 인증서 생성 또는 CER003 - 기존 루트 CA 인증서 업로드를 사용하여 만들어진 생성된 루트 CA 인증서를 활용하여 CER020 - 관리 프록시 인증서 만들기를 통해 생성된 인증서에 서명합니다.
CER031 - 생성된 CA를 사용하여 Knox 인증서 서명 이 Notebook은 CER001 - 루트 CA 인증서 생성 또는 CER003 - 기존 루트 CA 인증서 업로드를 사용하여 만들어진 생성된 루트 CA 인증서를 활용하여 CER021 - Knox 인증서 만들기를 통해 생성된 인증서에 서명합니다.
CER032 - 생성된 CA를 사용하여 앱 프록시 인증서 서명 이 Notebook은 CER001 - 루트 CA 인증서 생성 또는 CER003 - 기존 루트 CA 인증서 업로드를 사용하여 만들어진 생성된 루트 CA 인증서를 활용하여 CER022 - 앱 프록시 인증서 만들기를 통해 생성된 인증서에 서명합니다.
CER033 - 생성된 CA를 사용하여 마스터 인증서 서명 이 Notebook은 CER001 - 루트 CA 인증서 생성 또는 CER003 - 기존 루트 CA 인증서 업로드를 사용하여 만들어진 생성된 루트 CA 인증서를 활용하여 CER023 - 마스터 인증서 만들기를 통해 생성된 인증서에 서명합니다.
CER034 - 생성된 CA를 사용하여 컨트롤러 인증서 서명 이 Notebook은 CER001 - 루트 CA 인증서 생성 또는 CER003 - 기존 루트 CA 인증서 업로드를 사용하여 만들어진 생성된 루트 CA 인증서를 활용하여 CER024 - 컨트롤러 인증서 만들기를 통해 생성된 인증서에 서명합니다.
CER040 - 서명된 관리 프록시 인증서 설치 이 Notebook은 CER030 - 생성된 CA를 사용하여 관리 프록시 인증서 서명을 사용하여 서명된 인증서를 빅 데이터 클러스터에 설치합니다.
CER041 - 서명된 Knox 인증서 설치 이 Notebook은 CER031 - 생성된 CA를 사용하여 Knox 인증서 서명을 사용하여 서명된 인증서를 빅 데이터 클러스터에 설치합니다.
CER042 - 서명된 앱 프록시 인증서 설치 이 Notebook은 CER032 - 생성된 CA를 사용하여 앱 프록시 인증서 서명을 사용하여 서명된 인증서를 빅 데이터 클러스터에 설치합니다.
CER043 - 서명된 마스터 인증서 설치 이 Notebook은 CER033 - 클러스터 루트 CA로 마스터 인증서 서명을 사용하여 서명된 인증서를 빅 데이터 클러스터에 설치하고 이 Notebook의 끝부분에 마스터 Pod를 다시 시작하여 새 인증서를 로드합니다.
CER044 - 서명된 컨트롤러 인증서 설치 이 Notebook은 CER034 - 클러스터 루트 CA로 컨트롤러 인증서 서명을 사용하여 서명된 인증서를 빅 데이터 클러스터에 설치하고 이 Notebook의 끝부분에 PolyBase(마스터 풀 및 컴퓨팅 풀 Pod)를 사용하는 컨트롤러 Pod 및 모든 Pod를 다시 시작하여 새 인증서를 로드합니다.
CER050 - BDC가 정상 상태가 될 때까지 대기 이 Notebook은 새 인증서를 로드하기 위해 PolyBase를 사용하는 Pod가 다시 시작된 후 빅 데이터 클러스터가 정상 상태로 돌아갈 때까지 기다립니다.
CER100 - 자체적으로 서명한 인증서를 사용하여 클러스터 구성 이 Notebook은 빅 데이터 클러스터에 새 루트 CA를 생성하고 각 엔드포인트에 대한 새 인증서를 만듭니다(해당 엔드포인트: 관리, 게이트웨이, 앱 프록시 및 컨트롤러). 컨트롤러 인증서(기존 클러스터 루트 CA로 서명된)를 제외하고 새로 생성된 루트 CA를 사용하여 각 새 인증서에 서명한 다음, 각 인증서를 빅 데이터 클러스터에 설치합니다. 새로 생성된 루트 CA를 이 컴퓨터의 신뢰할 수 있는 루트 인증 기관 인증서 저장소에 다운로드합니다. 생성된 모든 자체 서명 인증서는 test_cert_store_root 위치의 컨트롤러 Pod에 저장됩니다.
CER101 - 기존 루트 CA를 사용하여 자체 서명된 인증서로 클러스터 구성 이 Notebook은 빅 데이터 클러스터에서 CER003을 사용하여 업로드된 기존의 생성된 루트 CA를 사용하고 각 엔드포인트(관리, 게이트웨이, 앱 프록시 및 컨트롤러)에 대해 새 인증서를 만든 다음, 컨트롤러 인증서(기존 클러스터 루트 CA로 서명됨)를 제외한 각각의 새 인증서를 새로 생성된 루트 CA로 서명하고 각 인증서를 빅 데이터 클러스터에 설치합니다. 생성된 모든 자체 서명 인증서는 컨트롤러 Pod(test_cert_store_root 위치)에 저장됩니다. 이 Notebook이 완료되면 이 컴퓨터(및 새 루트 CA를 설치하는 모든 컴퓨터)에서 빅 데이터 클러스터에 대한 모든 https:// 액세스가 안전한 것으로 표시됩니다. Notebook Runner 챕터에서는 App-Deploy를 실행하기 위해 만든 CronJobs(OPR003)가 클러스터 루트 CA를 설치하여 JWT 토큰과 swagger.json을 안전하게 가져오도록 합니다.
CER102 - 기존 빅 데이터 클러스터 CA를 사용하여 자체 서명된 인증서로 클러스터 구성 이 Notebook은 기존 빅 데이터 클러스터 CA를 사용하여 자체 서명된 인증서로 클러스터를 구성합니다. 자세한 내용은 Notebook을 읽어 보세요.
CER103 - 외부에서 서명한 인증서를 사용하여 클러스터 구성 이 Notebook의 목적은 빅 데이터 클러스터 외부에 서명 및 생성한 것을 통해 엔드포인트 인증서를 순환하는 것입니다. 자세한 내용은 Notebook을 읽어 보세요.

빅 데이터 클러스터의 미사용 데이터 암호화 유틸리티

이 섹션에는 BDC에서 미사용 데이터 암호화 기능을 관리하는 데 유용한 Notebook 집합이 포함되어 있습니다.

속성 설명
SOP0124 - 미사용 데이터 암호화 키 나열 이 Notebook을 사용하여 모든 HDFS 키를 나열합니다.
SOP0128 - 빅 데이터 클러스터에서 HDFS 암호화 영역 사용 CU6 또는 이전 버전에서 CU8로 업그레이드할 때 이 Notebook을 사용하여 HDFS 암호화 영역을 사용하도록 설정합니다. CU8 이상의 새 배포 또는 CU9로의 업그레이드에는 필요하지 않습니다.
SOP0125 - 미사용 데이터 암호화 키 삭제 이 Notebook을 사용하여 HDFS 암호화 영역 키를 삭제합니다. 주의
SOP0126 - 미사용 데이터 암호화를 위한 백업 키 이 Notebook을 사용하여 HDFS 암호화 영역 키를 백업합니다.
SOP0127 - 미사용 데이터 암호화를 위한 키 복원 이 Notebook을 사용하여 HDFS 암호화 영역 키를 복원합니다.

암호 순환

빅 데이터 클러스터에서 암호 순환을 관리하기 위한 Notebook입니다.

속성 설명
PASS001 - 관리자 도메인 컨트롤러 암호 업데이트 이 Notebook은 도메인 컨트롤러에서 DSA 암호가 이미 업데이트된 것으로 가정합니다. 지정된 매개 변수로 이 Notebook을 실행하여 빅 데이터 클러스터를 새 DSA 암호로 업데이트합니다. 그러면 컨트롤러 pod가 다시 시작됩니다.

다음 단계

SQL Server 빅 데이터 클러스터에 대한 자세한 내용은 SQL Server 2019 빅 데이터 클러스터 소개를 참조하세요.