적용 대상:✅ 패브릭 데이터 엔지니어링 및 데이터 과학
커스텀 라이브 풀은 Fabric 내 노트북 기반 워크로드에 대해 거의 즉각적인 세션 시작을 제공하는 사전 워밍된 Spark 클러스터입니다. 사용자 지정 활성 풀은 모든 실행 시 클러스터 프로비전을 기다릴 필요 없이, 설정된 일정 창 동안 클러스터를 지속적으로 가동하여 대화형 및 예약된 노트북의 세션 시작 시간을 5초로 가능하게 합니다.
사용자 지정 라이브 풀을 사용하는 이유
패브릭의 표준 Spark 세션은 세션이 시작될 때마다 클러스터 프로비저닝이 필요합니다. 노트북을 자주 실행하는 팀의 경우, 대화형이든 예약되었든 파이프라인 트리거된 것이든 이런 프로비저닝 시간은 반복 주기를 늦추고 전반적인 작업 지연 시간을 증가시킬 수 있습니다.
사용자 지정 라이브 풀은 다음을 통해 이 문제를 해결합니다.
- 사용자 정의 일정에 따라 클러스터를 미리 하이드레이션하므로 워크로드가 도착하면 컴퓨팅이 준비됩니다.
- 웜 상태로 유지된 클러스터 수와 라이브러리 구성에 사용되는 환경을 정확하게 제어할 수 있습니다.
- 예약된 기간 동안 지원되는 모든 Notebook 세션 유형에 대해 일관된 시작 성능(~5초)을 제공합니다.
사용자 지정 라이브 풀은 패브릭의 기존 시작 풀 및 사용자 지정 Spark 풀 옵션을 보완합니다.
| 컴퓨팅 옵션 | 시작 시간 | 일정 기반 | 사용자 지정 라이브러리 | 지원되는 워크로드 |
|---|---|---|---|---|
| 초보자용 풀 | 5~10초 (라이브러리 없이) | No | No | 노트북, SJD |
| 사용자 지정 Spark 풀 | ~1분 | No | 환경을 통해 | 노트북, SJD |
| 사용자 지정 라이브 풀 | ~5초~10초 (수분 공급이 완료된 후) | 예 | 환경을 통해 | Notebook만(대화형 및 예약됨) |
주요 개념
다음 개념에서는 클러스터를 준비하는 방법, 사용 가능한 시기 및 용량 및 라이브러리 구성을 관리하는 방법을 포함하여 사용자 지정 라이브 풀의 작동 방식을 설명합니다.
수분 공급 및 준비
사용자 지정 라이브 풀을 만들고 게시할 때 Fabric은 예약된 창보다 먼저 클러스터에 하이드레이션을 시작합니다. "하이드레이션이란 클러스터가 완전하게 자원을 할당받고, 연결된 환경에 맞춰 설정되어 세션 요청이 도착할 때까지 준비된 상태로 유지되는 것을 의미합니다."
최대 5초의 시작 시간은 풀이 완전히 수화된 후에만 사용할 수 있습니다. 초기 설정 중 또는 구성 변경 직후 세션은 수분 공급이 완료되는 동안 시작 시간이 길어질 수 있습니다. 문제 해결을 위해 하이드레이션이 예상보다 오래 걸리는 경우를 참조하세요.
Schedules
모든 사용자 지정 라이브 풀에는 풀이 활성 상태일 때를 정의하는 일정이 필요합니다. 클러스터는 예약된 기간 동안에만 따뜻하게 유지되며 클러스터가 할당되는 동안에만 청구가 발생합니다. 일정이 만료되거나 클러스터가 구성된 임계값을 초과하여 유휴 상태이면 Fabric에서 할당을 취소하고 청구가 중지됩니다.
팀의 필요에 따라 웜 컴퓨트를 사용할 수 있도록 예상되는 워크로드 시간대를 포함하여 일정을 계획하세요. 구성 단계 및 모범 사례는 라이브 풀 구성을 참조하세요.
환경 첨부 파일
각 사용자 지정 라이브 풀은 패브릭 환경에 연결됩니다. 환경은 수화 클러스터에 미리 설치된 라이브러리를 제어합니다. 라이브러리를 업데이트하려면 환경을 수정하고 다시 게시해야 합니다. 기존 하이드레이션 클러스터는 예약된 다음 하이드레이션이나 수동 새로 고침 전까지 새 라이브러리로 업데이트되지 않습니다. 구성 단계는 라이브 풀 구성을 참조하세요.
라이브러리 게시 모드
연결된 환경의 라이브러리 게시 모드는 라이브러리가 수화 클러스터에 전달되는 방법을 결정합니다.
- 전체 모드: 라이브러리는 환경 게시 중에 구성되고 처리되어 수화된 클러스터 이미지에 통합됩니다. 세션이 시작되면 전체 모드 스냅샷이 이미 클러스터에 있으므로 약 5초 세션이 시작됩니다. 가능한 가장 빠른 세션 시작으로 안정적이고 재현 가능한 라이브러리 집합이 필요한 경우 전체 모드를 사용합니다.
- 빠른 모드: 라이브러리는 하이드레이션 클러스터에 미리 설치되지 않습니다. 대신 Notebook 세션이 시작될 때 설치합니다. 수화 클러스터는 여전히 빠른 컴퓨팅 할당을 제공하지만 세션 시작 시 라이브러리 설치는 시간이 추가됩니다. 라이브러리 안정성이 덜 중요한 경우 개발 중에 빠른 모드를 사용하여 빠른 반복을 수행합니다.
메모
Notebook Resources 폴더 및 인라인 라이브러리 설치(예: %pip install 코드 셀)는 세션별 수동 접근 방식입니다. 환경 게시 모드와 독립적이며 하이드레이션 클러스터에 미리 설치된 라이브러리에는 영향을 주지 않습니다.
클러스터 용량
각 풀에는 구성 중에 설정한 최대 클러스터 수가 있습니다. 패브릭은 이 값을 초과하여 풀의 크기를 자동으로 조정하지 않습니다. 모든 하이드레이트 클러스터가 사용 중일 때, 추가 작업은 라이브러리 패키지 종속성에 따라 약 3~5분 이상 걸리는 주문형 프로비저닝을 통해 처리됩니다. 크기 조정 지침은 클러스터 크기 조정을 참조하세요.
지원되는 워크로드
사용자 지정 라이브 풀은 다음 Notebook 기반 Spark 세션 유형을 지원합니다.
- 패브릭 포털에서 실행되는 대화형 노트
- Notebook 스케줄러에서 구성된 예약된 Notebook 실행
- 파이프라인에 의해 트리거되는 노트북 런 실행
메모
스파크 작업 정의(배치 작업)는 현재 커스텀 라이브 풀 버전에서 지원되지 않습니다.
용량 및 라이선스
사용자 지정 라이브 풀을 사용하려면 유료 Fabric Capacity SKU가 필요합니다. 패브릭 평가판 용량은 현재 지원되지 않습니다.
사용 가능한 용량 SKU에 대한 정보는 Fabric 개념 및 라이선스를 참조하세요.
액세스 제어
작업 영역 역할 할당은 사용자 지정 라이브 풀 구성 및 상태에 대한 액세스를 제어합니다.
| 역할 | Permissions |
|---|---|
| 시청자 또는 기여자 | 맞춤 라이브 풀 상태 및 구성에 대한 읽기 전용 접근 |
| 회원 | 작업 공간 관리자가 항목에 대한 컴퓨팅 구성 사용자 지정을 사용하도록 설정하면 기존 사용자 지정 Spark 풀에 대한 사용자 지정 라이브 풀 구성을 만들고, 업데이트하고, 저장하고, 게시합니다. |
| 관리자 | 커스텀 스파크 풀 생성 및 관리, 항목 수준 컴퓨트 커스터마이징 활성화, 그리고 커스텀 라이브 풀 구성을 생성, 업데이트, 저장 및 게시할 수 있습니다 |
커스텀 라이브 풀은 기존 작업 영역 설정인 항목에 대한 컴퓨팅 구성 사용자 지정을 사용합니다. 별도의 위임 설정이 없습니다. 워크스페이스 관리자가 기존 설정을 켜면, 멤버들은 환경 수준의 컴퓨트 및 커스텀 라이브 풀 구성을 관리할 수 있습니다. 이 설정은 회원이 커스텀 스파크 풀을 만들거나 작업 공간 레벨의 스파크 설정을 변경할 수 없게 합니다.
구성 단계에 대해서는 기존 컴퓨팅 커스터마이징 설정 사용(Use the Existing compute customization) 항목을 참조하세요.
B2B 게스트 사용자에게 명시적인 작업 공간 역할을 할당해야 하며, 이를 통해 그들이 커스텀 라이브 풀과 상호작용할 수 있습니다. 라이브 풀 구성을 생성하거나 업데이트해야 할 경우 멤버 또는 관리자 역할을 할당하세요.
제한점
다음 제약 조건은 현재 릴리스의 사용자 지정 라이브 풀에 적용됩니다.
- 세션은 풀이 완전히 수화된 후에만 최대 5초 후에 시작됩니다. 초기 설정 중에 또는 구성을 변경한 후 시작 시간이 길어질 수 있습니다.
- 라이브러리를 변경하려면 연결된 환경을 다시 게시해야 합니다. 하이드레이트 클러스터는 자동으로 새로 고쳐지지 않습니다.
- 연결된 환경에서 일부 라이브러리에 대해 빠른 모드를 사용하는 경우 해당 라이브러리는 하이드레이션 클러스터에 사전 설치되지 않으며 세션 시작 시 설치해야 합니다. 사용자 지정 라이브 풀을 사용하여 가장 빠른 세션 시작의 경우 라이브러리 종속성에 대해 전체 모드를 사용합니다.
- Notebook 기반 Spark 세션만 지원됩니다. Spark 작업 정의는 지원되지 않습니다.
- 패브릭 평가판 기능은 지원되지 않습니다.
- 모든 풀에는 일정이 있어야 합니다. 일정이 없는 풀은 게시할 수 없습니다.
- 사용자 지정 라이브 풀은 환경 공용 API 또는 CI/CD 파이프라인을 통해 관리할 수 없습니다. 구성은 패브릭 포털을 통해 수행해야 합니다.