다음을 통해 공유

Compute

  • 아티클

Azure Databricks 컴퓨팅은 Azure Databricks 작업 영역에서 사용할 수 있는 컴퓨팅 리소스의 선택 영역을 의미합니다. 사용자는 프로덕션 ETL 파이프라인, 스트리밍 분석, 임시 분석, 기계 학습과 같은 데이터 엔지니어링, 데이터 과학, 데이터 분석 워크로드를 실행하기 위해 컴퓨팅에 액세스해야 합니다.

사용자는 적절한 권한이 있는 경우 기존 컴퓨팅에 연결하거나 새 컴퓨팅을 만들 수 있습니다.

작업 영역의 컴퓨팅 섹션을 사용하여 액세스할 수 있는 컴퓨팅을 볼 수 있습니다.

Databricks 작업 영역의 다목적 컴퓨팅 페이지

컴퓨팅 형식

Azure Databricks에서 사용할 수 있는 컴퓨팅 유형은 다음과 같습니다.

  • Notebook용 서버리스 컴퓨팅: Notebook에서 SQL 및 Python 코드를 실행하는 데 사용되는 확장성 있는 주문형 컴퓨팅입니다.

  • 작업용 서버리스 컴퓨팅: 인프라를 구성하고 배포하지 않고 Databricks 작업을 실행하는 데 사용되는 확장성 있는 주문형 컴퓨팅입니다.

  • 다목적 컴퓨팅: Notebook의 데이터를 분석하는 데 사용되는 프로비전된 컴퓨팅입니다. UI, CLI 또는 REST API를 사용하여 이 컴퓨팅을 생성, 종료하고 다시 시작할 수 있습니다.

  • 작업 컴퓨팅: 자동화된 작업을 실행하는 데 사용되는 프로비전된 컴퓨팅입니다. Azure Databricks 작업 스케줄러는 작업이 새 컴퓨팅에서 실행되도록 구성될 때마다 자동으로 작업 컴퓨팅을 만듭니다. 작업이 완료되면 컴퓨팅이 종료됩니다. 작업 컴퓨팅을 다시 시작할 수 없습니다. 작업용 컴퓨팅 구성을 참조하세요.

  • 인스턴스 풀: 유휴 상태이고 즉시 사용 가능한 인스턴스로 컴퓨팅하여 시작 및 자동 크기 조정 시간을 줄이는 데 사용됩니다. UI, CLI 또는 REST API를 사용하여 이 컴퓨팅을 만들 수 있습니다.

  • 서버리스 SQL 웨어하우스: SQL 편집기나 대화형 Notebook에서 데이터 개체에 SQL 명령을 실행하는 데 사용되는 주문형 탄력적 컴퓨팅입니다. UI, CLI 또는 REST API를 사용하여 SQL 웨어하우스를 만들 수 있습니다.

  • 클래식 SQL 웨어하우스: SQL 편집기 또는 대화형 Notebook의 데이터 개체에서 SQL 명령을 실행하는 데 사용됩니다. UI, CLI 또는 REST API를 사용하여 SQL 웨어하우스를 만들 수 있습니다.

이 섹션의 문서에서는 Azure Databricks UI를 사용하여 컴퓨팅 리소스를 사용하는 방법을 설명합니다. 다른 방법은 Databricks CLI란? 및 Databricks REST API 참조를 참조하세요.

Databricks Runtime

Databricks Runtime은 컴퓨팅에서 실행되는 일련의 핵심 구성 요소입니다. Databricks 런타임은 모든 용도의 작업 컴퓨팅에서 구성 가능한 설정이지만 SQL 웨어하우스에서 자동으로 선택됩니다.

각 Databricks Runtime 버전에는 빅 데이터 분석의 유용성, 성능, 보안을 개선하는 업데이트가 포함되어 있습니다. 컴퓨팅의 Databricks Runtime은 다음을 포함한 여러 기능을 추가합니다.

  • Delta Lake는 데이터 파이프라인을 빌드하기 위한 ACID 트랜잭션, 최적화된 레이아웃 및 인덱스 및 실행 엔진 향상을 제공하는 Apache Spark를 기반으로 구축된 차세대 스토리지 계층입니다. Delta Lake란?을 참조하세요.
  • 설치된 Java, Scala, Python 및 R 라이브러리
  • Ubuntu 및 함께 제공되는 시스템 라이브러리
  • GPU 사용 클러스터용 GPU 라이브러리
  • Notebook, 작업 및 클러스터 관리와 같은 플랫폼의 다른 구성 요소와 통합되는 Azure Databricks 서비스

각 런타임 버전의 콘텐츠에 대한 자세한 내용은 릴리스 정보를 참조하세요.

런타임 버전 관리

Databricks Runtime 버전은 정기적으로 릴리스됩니다.

  • 장기 지원 버전은 LTS 한정자(예: 3.5 LTS)로 표시됩니다. 각 주요 릴리스에 대해 3년간의 지원을 제공하는 "정식" 기능 버전을 선언합니다. 자세한 내용은 Databricks 지원 수명 주기를 참조하세요.
  • 주 버전은 소수점 앞에 오는 버전 번호로 증분하여 표시됩니다(예: 3.5에서 4.0으로 이동). 주요 변경 내용이 있을 때 릴리스되며, 그 중 일부는 이전 버전과 호환되지 않을 수 있습니다.
  • 기능 버전은 소수점 뒤에 오는 버전 번호로 증분하여 표시됩니다(예: 3.4에서 3.5로 이동). 각 주요 릴리스에는 여러 기능 릴리스가 포함됩니다. 기능 릴리스는 주 릴리스 내의 이전 릴리스와 항상 호환됩니다.