Compute

Azure Databricks 컴퓨팅은 Azure Databricks 작업 영역에서 사용할 수 있는 컴퓨팅 리소스의 선택을 나타냅니다. 사용자는 프로덕션 ETL 파이프라인, 스트리밍 분석, 임시 분석 및 기계 학습과 같은 데이터 엔지니어링, 데이터 과학 및 데이터 분석 워크로드를 실행하기 위해 컴퓨팅에 액세스해야 합니다.

사용자는 적절한 권한이 있는 경우 기존 컴퓨팅에 연결하거나 새 컴퓨팅을 만들 수 있습니다.

작업 영역의 컴퓨팅 섹션을 사용하여 액세스할 수 있는 컴퓨팅 을 볼 수 있습니다.

컴퓨팅 형식

Azure Databricks에서 사용할 수 있는 컴퓨팅 유형은 다음과 같습니다.

• Notebook용 서버리스 컴퓨팅(공개 미리 보기): Notebook에서 SQL 및 Python 코드를 실행하는 데 사용되는 확장 가능한 주문형 컴퓨팅입니다.

• 워크플로에 대한 서버리스 컴퓨팅(공개 미리 보기): 인프라를 구성하고 배포하지 않고 Databricks 작업을 실행하는 데 사용되는 확장 가능한 주문형 컴퓨팅입니다.

• 다목적 컴퓨팅: Notebook에서 데이터를 분석하는 데 사용되는 프로비전된 컴퓨팅입니다. UI, CLI 또는 REST API를 사용하여 이 컴퓨팅을 만들고, 종료하고, 다시 시작할 수 있습니다.

• 작업 컴퓨팅: 자동화된 작업을 실행하는 데 사용되는 프로비전된 컴퓨팅입니다. Azure Databricks 작업 스케줄러는 작업이 새 컴퓨팅에서 실행되도록 구성될 때마다 자동으로 작업 컴퓨팅을 만듭니다. 작업이 완료되면 컴퓨팅이 종료됩니다. 작업 컴퓨팅을 다시 시작할 수 없습니다. 작업과 함께 Azure Databricks 컴퓨팅 사용을 참조하세요.

• 인스턴스 풀: 시작 및 자동 크기 조정 시간을 줄이는 데 사용되는 유휴 상태의 즉시 사용할 수 있는 인스턴스를 사용하여 컴퓨팅합니다. UI, CLI 또는 REST API를 사용하여 이 컴퓨팅을 만들 수 있습니다.

• 서버리스 SQL 웨어하우스: SQL 편집기 또는 대화형 Notebook의 데이터 개체에서 SQL 명령을 실행하는 데 사용되는 주문형 탄력적 컴퓨팅입니다. UI, CLI 또는 REST API를 사용하여 SQL 웨어하우스를 만들 수 있습니다.

• 클래식 SQL 웨어하우스: SQL 편집기 또는 대화형 Notebook의 데이터 개체에서 SQL 명령을 실행하는 데 사용되는 프로비전된 컴퓨팅입니다. UI, CLI 또는 REST API를 사용하여 SQL 웨어하우스를 만들 수 있습니다.

이 섹션의 문서에서는 Azure Databricks UI를 사용하여 컴퓨팅 리소스를 사용하는 방법을 설명합니다. 다른 방법은 명령줄 및 Databricks REST API 참조 사용을 참조하세요.

Databricks Runtime

Databricks 런타임은 컴퓨팅에서 실행되는 핵심 구성 요소 집합입니다. Databricks 런타임은 모든 용도의 작업 컴퓨팅에서 구성 가능한 설정이지만 SQL 웨어하우스에서 자동으로 선택됩니다.

각 Databricks 런타임 버전에는 빅 데이터 분석의 유용성, 성능 및 보안을 향상시키는 업데이트가 포함되어 있습니다. 컴퓨팅의 Databricks 런타임은 다음을 비롯한 많은 기능을 추가합니다.

• Delta Lake는 데이터 파이프라인을 빌드하기 위한 ACID 트랜잭션, 최적화된 레이아웃 및 인덱스 및 실행 엔진 향상을 제공하는 Apache Spark를 기반으로 구축된 차세대 스토리지 계층입니다. Delta Lake란?을 참조하세요.
• Java, Scala, Python 및 R 라이브러리가 설치되었습니다.
• Ubuntu 및 함께 제공되는 시스템 라이브러리.
• GPU 지원 클러스터에 대한 GPU 라이브러리입니다.
• Notebook, 작업 및 클러스터 관리와 같은 플랫폼의 다른 구성 요소와 통합되는 Azure Databricks 서비스입니다.

각 런타임 버전의 내용에 대한 자세한 내용은 릴리스 정보를 참조 하세요.

런타임 버전 관리

Databricks Runtime 버전은 정기적으로 릴리스됩니다.

• 장기 지원 버전은 LTS 한정자(예: 3.5 LTS)로 표시됩니다. 각 주요 릴리스에 대해 3년간의 지원을 제공하는 "정식" 기능 버전을 선언합니다. 자세한 내용은 Databricks Runtime 지원 수명 주기를 참조하세요.
• 주 버전은 소수점 앞에 오는 버전 번호로 증분하여 표시됩니다(예: 3.5에서 4.0으로 이동). 주요 변경 내용이 있을 때 릴리스되며, 그 중 일부는 이전 버전과 호환되지 않을 수 있습니다.
• 기능 버전은 소수점 뒤에 오는 버전 번호로 증분하여 표시됩니다(예: 3.4에서 3.5로 이동). 각 주요 릴리스에는 여러 기능 릴리스가 포함됩니다. 기능 릴리스는 주 릴리스 내의 이전 릴리스와 항상 호환됩니다.