작업 영역 라이브러리 및 Spark 속성을 기본 환경으로 마이그레이션
Microsoft Fabric 환경은 Spark 작업을 실행하기 위한 유연한 구성을 제공합니다. 환경에서 다른 Spark 런타임을 선택하고, 컴퓨팅 리소스를 구성하고, 공용 리포지토리에서 라이브러리를 설치하거나 사용자 지정 빌드 로컬 라이브러리를 업로드할 수 있습니다. 환경을 Notebook 및 Spark 작업 정의에 쉽게 연결할 수 있습니다.
데이터 엔지니어링 및 데이터 과학 작업 영역 설정은 Fabric 환경을 포함하도록 업그레이드됩니다. 이 업그레이드의 일부로 Fabric은 더 이상 작업 영역 설정에서 새 라이브러리 및 Spark 속성 추가를 지원하지 않습니다. 대신 Fabric 환경을 만들고, 이 환경에서 라이브러리 및 속성을 구성하고, 작업 영역 기본 환경으로 연결할 수 있습니다. 환경을 만들고 기본값으로 설정한 후에는 기존 라이브러리 및 Spark 속성을 해당 기본 환경으로 마이그레이션할 수 있습니다.
이 자습서에서는 기존 작업 영역 라이브러리 및 Spark 속성을 환경으로 마이그레이션하는 방법을 알아봅니다.
Important
- 작업 영역 설정은 관리자로 제한됩니다.
- Notebook 또는 Spark 작업 정의에 연결된 환경이 없는 경우 기존 작업 영역 설정이 해당 작업 정의에 계속 적용됩니다. 그러나 이러한 설정을 추가로 변경할 수는 없습니다. 기존 설정을 환경으로 마이그레이션하는 것이 좋습니다.
- 마이그레이션 프로세스에는 모든 기존 구성을 영구적으로 제거하는 단계가 포함됩니다. 다음 지침을 주의 깊게 따르세요. 실수로 삭제된 파일을 다시 가져올 수 있는 방법은 없습니다.
마이그레이션을 위한 파일 준비
작업 영역 설정에서 기존 구성을 검토합니다.
현재 런타임 버전을 기록해 둡니다.
모든 파일 다운로드를 선택하여 기존 구성을 다운로드합니다.
콘텐츠가 여러 파일로 다운로드됩니다. Sparkproperties.yml에는 모든 Spark 속성- 키값 쌍이 포함되어 있습니다. Publiclibrary.yml 파일에는 모든 퍼블릭 라이브러리 정의가 포함됩니다. 사용자 또는 조직에서 업로드한 모든 사용자 지정 패키지는 하나씩 파일로 다운로드됩니다.
파일을 다운로드한 후 마이그레이션할 수 있습니다.
환경 만들기 및 구성
작업 영역 목록/만들기 허브에서 환경을 만듭니다. 새 환경을 만든 후 환경 페이지가 나타납니다.
환경의 홈 탭에서 런타임 버전이 기존 작업 영역 런타임과 동일한지 확인합니다.
작업 영역 설정에 퍼블릭 라이브러리가 없는 경우 이 단계를 건너뜁니다. 퍼블릭 라이브러리 섹션으로 이동하고 리본 메뉴의 .yml에서 추가를 선택합니다. 기존 작업 영역 설정에서 다운로드한 Publiclibrary.yml을 업로드합니다.
작업 영역 설정에 사용자 지정 라이브러리가 없는 경우 이 단계를 건너뜁니다. 사용자 지정 라이브러리 섹션으로 이동하고 리본에서 업로드를 선택합니다. 기존 작업 영역 설정에서 다운로드한 사용자 지정 라이브러리 파일을 업로드합니다.
작업 영역 설정에 Spark 속성이 없는 경우 이 단계를 건너뜁니다. Spark 속성 섹션으로 이동하고 리본에서 업로드를 선택합니다. 기존 작업 영역 설정에서 다운로드한 Sparkproperties.yml 파일을 업로드합니다.
게시를 선택하고 변경 내용을 다시 신중하게 검토합니다. 모든 것이 올바른 경우 변경 내용을 게시합니다. 게시를 완료하는 데 몇 분 정도 걸립니다.
게시가 완료되면 환경을 성공적으로 구성한 것입니다.
작업 영역 설정에서 기본 환경 사용 및 선택
Important
환경 사용을 선택하면 모든 기존 구성이 삭제됩니다. 진행하기 전에 모든 기존 구성을 다운로드하고 환경에 성공적으로 설치했는지 확인합니다.
작업 영역 설정 ->데이터 엔지니어링/데이터 과학 ->환경으로 이동하고 환경 사용을 선택합니다. 이 작업은 기존 구성을 제거하고 작업 영역 수준 환경을 시작합니다.
기존 구성을 성공적으로 삭제하면 다음 화면이 나타납니다.
사용자 지정 환경 토글을 켜기 위치로 이동합니다. 이 옵션을 사용하면 환경을 작업 영역 기본값으로 연결할 수 있습니다.
이전 단계에서 작업 영역 기본값으로 구성한 환경을 선택하고 저장을 선택합니다.
이제 Spark 설정 페이지의 작업 영역에 대한 기본 환경 아래에 새 환경이 표시되는지 확인합니다.
