Azure Databricks 컴퓨팅은 데이터 엔지니어링, 데이터 과학 및 분석 워크로드를 실행하기 위해 Azure Databricks에서 사용할 수 있는 컴퓨팅 리소스의 선택을 나타냅니다. 주문형 크기 조정을 위한 서버리스 컴퓨팅, 사용자 지정 가능한 리소스에 대한 클래식 컴퓨팅 또는 최적화된 분석을 위한 SQL 웨어하우스 중에서 선택합니다.
작업 영역의 컴퓨팅 섹션에서 컴퓨팅 리소스를 보고 관리할 수 있습니다.
서버리스 컴퓨팅
워크로드 요구 사항에 따라 크기가 조정되는 주문형, 자동으로 관리되는 컴퓨팅입니다.
| 주제 | Description |
|---|---|
| Notebook에 대한 서버리스 컴퓨팅 | 자동 크기 조정 및 인프라 관리가 없는 Notebook에서 대화형 Python 및 SQL 실행 |
| 작업에 대한 서버리스 컴퓨팅 | 인프라를 구성하거나 배포하지 않고 Lakeflow 작업을 실행합니다. 컴퓨팅 리소스를 자동으로 프로비전하고 크기를 조정합니다. |
| 서버리스 파이프라인 | 인프라를 구성하거나 배포하지 않고 Lakeflow Spark 선언적 파이프라인을 실행합니다. 컴퓨팅 리소스를 자동으로 프로비전하고 크기를 조정합니다. |
| 서버리스 컴퓨팅 제한 사항 | 서버리스 워크로드 및 지원되는 구성에 대한 제한 사항 및 요구 사항을 이해합니다. |
클래식 컴퓨팅
워크로드에 대해 만들고 구성하고 관리하는 프로비전된 컴퓨팅 리소스입니다.
| 주제 | Description |
|---|---|
| 클래식 컴퓨팅 개요 | 클래식 컴퓨팅 리소스에 액세스하고 만들 수 있는 사용자 개요입니다. |
| 컴퓨팅 구성 | Lakeflow 작업을 사용하여 Notebook 또는 자동화된 워크플로에서 대화형 데이터 분석을 위한 컴퓨팅을 만들고 구성합니다. |
| 표준 컴퓨팅 | 비용 효율적인 공동 작업을 위해 공유 리소스를 사용하는 다중 사용자 컴퓨팅 Lakeguard 는 안전한 사용자 격리를 제공합니다. |
| 전용 컴퓨팅 | 단일 사용자 또는 그룹에 할당된 컴퓨팅 리소스입니다. |
| 인스턴스 풀 | 컴퓨팅 시작 시간을 줄이고 빈번한 워크로드에 대한 비용 절감을 제공하는 미리 구성된 인스턴스입니다. |
SQL 데이터 창고
특정 사용 사례 및 고급 기능에 최적화된 컴퓨팅 리소스입니다. SQL 웨어하우스는 서버리스 또는 클래식으로 구성할 수 있습니다.
| 주제 | Description |
|---|---|
| SQL 데이터 웨어하우스 | 서버리스 또는 클래식 옵션을 사용하여 SQL 쿼리, 분석 및 비즈니스 인텔리전스 워크로드에 최적화된 컴퓨팅. |
| SQL 웨어하우스 유형 | 서버에 없는 SQL 웨어하우스 옵션과 클래식 SQL 웨어하우스 옵션 간의 차이점을 이해하여 워크로드에 적합한 유형을 선택합니다. |
추가 항목
| 주제 | Description |
|---|---|
| Photon이란? | SQL 워크로드를 가속화하고 더 빠른 데이터 처리를 제공하는 고성능 쿼리 엔진입니다. |
| 레이크가드란? | 컴퓨팅 리소스에 대한 데이터 거버넌스 및 액세스 제어를 제공하는 보안 프레임워크입니다. |
명령줄 또는 API를 사용하여 컴퓨팅 작업에 대한 자세한 내용은 Databricks CLI란? 및 Databricks REST API 참조를 참조하세요.
예약된 포트
특정 포트는 내부 Databricks 서비스에 대한 드라이버 노드에 예약되어 있습니다. 충돌을 방지하려면 다음 포트에 서비스를 바인딩하지 마세요.
- 1023
- 6059
- 6060
- 6061
- 6062: 기본적으로 ipywidgets가 차지합니다. 필요한 경우 포트를 변경할 수 있습니다. ipywidgets를 참조하세요.
- 7071
- 7077
- 10000
- 15001
- 15002
- 36423
- 38841
- 39909
- 40000
- 40001
- 41063