서버리스 컴퓨트 관리

이 페이지는 서버리스 컴퓨트 접근 관리와 서버 리스 속도 제한 구현 방법을 설명합니다. 워크스페이스 관리자는 기본 제공 서버리스 컴퓨트 객체를 사용하여 서버리스 컴퓨트를 관리합니다. 서버리스 컴퓨팅 개체는 서버리스 워크로드에 대한 권한 경계를 정의하는 리소스 유형입니다. 작업 영역은 두 개의 기본 컴퓨팅 개체를 자동으로 가져옵니다.

  • 기본 대화형 컴퓨팅: Notebook 및 Databricks Connect에 대한 액세스를 제어합니다.
  • 기본 자동화 컴퓨팅: Lakeflow에서 작업 및 Spark 선언적 파이프라인에 대한 액세스를 제어합니다.

기본적으로 모든 작업 영역 사용자는 두 개체에서 모두 사용할 수 있으므로 기존 워크로드는 변경 없이 계속 실행됩니다. 작업 영역 관리자는 액세스를 제한하기 위해 두 개체에서 사용자 또는 그룹을 제거할 수 있습니다. 액세스 권한이 손실된 사용자는 제품 화면에서 서버리스 컴퓨팅 옵션을 사용할 수 없는 것으로 표시됩니다.

서버리스 컴퓨팅에 대한 액세스 관리

서버리스 컴퓨팅에 대한 액세스 권한이 있는 사용자를 제어하기 위해 작업 영역 관리자는 기본 대화형 컴퓨팅 및 기본 자동화된 컴퓨팅 개체에 대한 권한을 편집할 수 있습니다. 작업 영역 관리자는 기본적으로 Can Manage 권한을 가지고 있지만 모든 사용자에게 권한을 부여할 수 있습니다. 이 기본 컴퓨트 객체들은 이름을 바꾸거나 삭제할 수 없습니다.

기본 대화형 및 자동화된 컴퓨팅 개체를 나열하는 컴퓨팅 페이지의 서버리스 탭

각 서버리스 컴퓨팅 개체는 다음 두 가지 사용 권한 수준을 지원합니다.

Permission 다음을 수행할 수 있습니다.
사용할 수 있습니다. 이 컴퓨팅에서 워크로드 실행
관리할 수 있습니다. 이 컴퓨팅에서 워크로드를 실행하고 컴퓨팅의 사용 권한을 편집합니다.

서버리스 대화형에 대한 액세스 제한

Notebook 및 Databricks Connect에 서버리스를 사용할 수 있는 사용자를 제한하려면 다음을 수행합니다.

  1. 작업 영역 사이드바에서 컴퓨팅을 클릭합니다.
  2. 서버리스 탭에서 케밥 메뉴 케밥 메뉴 아이콘을 클릭합니다. 기본 대화형 컴퓨팅 옆의 권한 편집을 클릭합니다.
  3. 모든 사용자 그룹 또는 모든 작업 영역 사용자를 포함하는 그룹을 제거합니다.
  4. 권한을 부여하려는 특정 사용자, 그룹 또는 서비스 주체만 추가합니다.

사용자의 대화형 서버리스 권한을 취소하는 경우 사용자가 셀을 실행하면 서버리스에 이미 연결된 Notebook이 연결되지 않으며, 사용자는 더 이상 Notebook의 컴퓨팅 선택기에서 사용할 수 있는 서버리스 옵션을 볼 수 없습니다. Databricks Connect를 실행하려고 하면 사용자가 서버리스에 액세스할 수 없다는 오류와 함께 연결 요청이 실패합니다.

서버리스 작업 및 파이프라인에 대한 액세스 제한

작업 및 파이프라인에서 서버리스를 사용할 수 있는 사용자를 제한하려면 다음을 수행합니다.

  1. 작업 영역 사이드바에서 컴퓨팅을 클릭합니다.
  2. 서버리스 탭에서 케밥 메뉴 케밥 메뉴 아이콘을 클릭합니다. 기본 자동화 컴퓨팅 옆에 있는 다음 권한 편집을 클릭합니다.
  3. 모든 사용자 그룹 또는 모든 작업 영역 사용자를 포함하는 그룹을 제거합니다.
  4. 권한을 부여하려는 특정 사용자, 그룹 또는 서비스 주체만 추가합니다.

사용자의 자동화된 서버 없는 권한을 취소하면, 서버리스에서 실행되는 기존 작업이나 파이프라인이 모두 실행되지 않습니다. 서버리스에서 작업을 실행하려고 하면 사용자에게 오류 메시지가 표시됩니다.

기본 자동화 컴퓨팅에 대한 사용자의 액세스 권한을 취소하기 전에, 해당 사용자가 소유한 작업과 파이프라인을 확인하세요. 다음 쿼리는 특정 사용자에 대한 최근 서버리스 워크로드를 식별합니다.

SELECT *
FROM system.billing.usage
WHERE usage_date >= date_add(now(), -30)
  AND billing_origin_product IN ('JOBS', 'DLT')
  AND identity_metadata.run_as = '<user_email>';

영향을 받는 리소스(예: 작업 ID 및 파이프라인 ID)를 확인하려면 usage_metadata 열을 확인하세요.

서버리스 사용량 감사

서버리스 청구 레코드에는 usage_metadata에 serverless_compute_id 필드가 포함됩니다. 이를 사용하여 워크로드가 실행된 컴퓨팅 개체를 추적합니다.

SELECT
  usage_metadata.serverless_compute_id,
  identity_metadata.run_as,
  SUM(usage_quantity) AS total_dbus
FROM system.billing.usage
WHERE billing_origin_product IN ('JOBS', 'DLT', 'INTERACTIVE')
  AND usage_metadata.serverless_compute_id IS NOT NULL
  AND usage_date >= date_add(now(), -30)
GROUP BY 1, 2
ORDER BY 3 DESC;

지원되는 서버리스 컴퓨트 접근 제어 기능

다음 기능들은 서버리스 컴퓨트 접근 제어와 통합되어 있습니다.

대화형(기본 대화형 컴퓨팅)

  • Notebook 및 서버리스 GPU Notebook
  • Databricks Connect (데이터브릭스 연결 프로그램)

자동화됨(기본 자동화 컴퓨팅)

  • 작업 및 서버리스 GPU 작업
  • Lakeflow용 Spark 선언형 파이프라인

지원되지 않는 서버리스 컴퓨트 접근 제어 기능

다음 기능들은 서버리스 컴퓨트 접근 제어와 통합되어 있지 않습니다:

  • Databricks SQL(DBSQL)
  • 일괄 처리 유추(ai_query())
  • 모델 서빙
  • 파운데이션 모델 API 프로비전된 처리량 엔드포인트
  • Lakebase
  • Databricks 앱
  • 에이전트 평가 및 합성 데이터
  • 벡터 검색 인덱싱
  • 예측 최적화
  • 레이크하우스 모니터링
  • 전용 컴퓨팅에서 세분화된 접근 제어를 지원합니다. 전용 컴퓨트에 대한 접근은 사용자가 세분화된 접근 제어를 사용할 수 있는지 여부를 결정합니다.

여기에 나열되지 않은 기능은 Azure Databricks 계정 팀에 문의하여 해당 상태에 대해 문의하세요.

서버리스 접근 제어 제한

중요합니다

서비스 중단 시 접근 검사가 실패할 수 있으며, 그렇지 않으면 접근이 거부될 사용자들이 서버 없는 워크로드를 시작할 수 있습니다. 이 기능은 서버리스 컴퓨트 접근을 관리하는 데 도움을 주기 위해 설계되었습니다. 이 기능을 사용해 최종 청구 금액에 절대 지출 상한선을 설정하지 마십시오. Azure Databricks는 이러한 이벤트 중에 실행되는 워크로드로 발생하는 비용에 대해 책임지지 않습니다.

  • 기본 컴퓨팅 개체의 이름을 바꾸거나 삭제할 수 없습니다.
  • 기본 자동화 컴퓨팅에 대한 Can Use 액세스 권한을 잃은 사용자의 경우, 서버리스에서 실행하도록 이미 구성된 작업 또는 파이프라인이 실패합니다. 사용자의 액세스를 제거하기 전에 활성 워크로드를 검토합니다.
  • 백그라운드 컴퓨팅(시스템 시작 작업)은 서버리스 컴퓨팅 액세스 제어에서 제외됩니다.

서버 없는 컴퓨트에서 속도 제한 설정

중요합니다

속도 제한은 프라이버트 미리보기에 있습니다. 이 미리 보기에 참가하려면 Azure Databricks 계정 팀에 문의하세요. 미리보기에 참여한 후, 작업 공간 관리자는 서버 없는 컴퓨트 속도 제한 설정을 사용해 Previews 페이지에서 이를 활성화할 수 있습니다.

속도 제한은 자동화된 작업 부하가 자동 확장할 수 있는 범위를 제한함으로써 사용할 수 있는 금액을 제한합니다. 워크스페이스 관리자는 맞춤형 자동화된 컴퓨트 객체를 생성하고 각 객체에 속도 제한을 설정할 수 있습니다. 작업 부하가 속도 제한이 있는 컴퓨트 객체에서 실행될 때, 서버리스 자동 스케일러는 객체에 설정된 크기 이상으로 워크로드의 Spark 실행기를 확장하지 않습니다.

속도 제한은 자동화된 워크로드(작업 및 Lakeflow의 Spark 선언 파이프라인)에만 적용됩니다. 인터랙티브 워크로드(노트북과 Databricks Connect)는 속도 제한이 없습니다.

요금 제한은 크기로 표현됩니다. 각 크기는 작업량이 시간당 소비할 수 있는 DBU의 대략적인 한계에 해당합니다. 속도 제한은 Spark 집행자 자동 확장에만 제한을 둡니다. 드라이버, REPL VM, GPU, 구체화된 뷰 및 스트리밍 테이블 새로 고침과 같은 워크로드의 다른 구성 요소에는 상한을 두지 않습니다.

속도 제한은 작업량별로 적용됩니다. 컴퓨트 객체를 사용하는 각 작업과 파이프라인은 독립적으로 캡이 설정되어 있습니다. 동일한 컴퓨팅 객체를 사용하는 두 작업에는 각각 전체 한도가 적용됩니다. 단일 작업 내에서는 모든 작업 간에 상한선이 공유됩니다.

요금 한도 요건

  • 서버리스 컴퓨트 객체를 생성하고 관리하려면 작업 공간 관리자이거나 제한 없는 클러스터 생성 권한이 있는 사용자여야 합니다.
  • 서버리스 속도 제한을 사용하려면 Azure Databricks Runtime 17.3.1 이상이 필요합니다. 작업은 최신 런타임을 자동으로 사용합니다. Lakeflow의 Spark Declarative Pipelines를 원하시면 미리보기 채널 런타임에 참여하세요.

서버 없는 컴퓨트를 생성하고 속도 제한을 두세요

  1. 작업 영역 사이드바에서 컴퓨팅을 클릭합니다.
  2. 서버리스 탭에서 서버 없는 컴퓨트 만들기를 클릭하세요.
  3. 이름을 입력합니다.
  4. 크기에서는 적용할 요금 한도를 Small에서 2X-Large까지 선택하세요. 작업 공간의 기본 제한을 사용하려면 기본값 으로 설정하세요.
  5. 만들기를 클릭합니다.

이름을 입력하고 크기를 Medium으로 설정한 새로운 서버리스 자동 컴퓨트 생성 대화

새로운 컴퓨트 객체는 서버리스 탭에 유형이 Automated로 표시됩니다. 사용자가 워크로드를 실행할 수 있도록 하려면, 서버 리스 컴퓨트 접근 관리 항목에 설명된 대로 사용 가능 또는 관리할 수 있는 권한을 부여하세요. 기본 컴퓨팅 객체의 크기를 편집할 수 없습니다.

요금 제한 크기

각 크기는 대략적인 시간별 DBU 상한선에 대응합니다:

크기 대략적인 상한선
소형 시간당 ~60 DBU
Medium 시간당 ~120 DBU
대형 시간당 ~240 DBU
X-Large ~시간당 480 DBU
2배 대용량 ~시간당 960 DBU

이 한계는 방향성 임계값입니다. 서버 없는 인프라의 본질적인 변동성 때문에 실제 사용량은 이들 주위에 변동할 수 있습니다.

기본값을 선택하면 작업 공간의 기본 제한이 적용됩니다: 프리미엄 등급 작업 공간은 중간 등급, 엔터프라이즈급 작업공간은 대형 등급입니다. 이 제한들은 서버리스 자동화 워크로드에 대한 기존 기본 최대 자동 확장 제한과 일치합니다.

속도 제한 컴퓨트에서 워크로드를 실행하세요

컴퓨트 객체에 'Can Use '를 가진 사용자는 작업이나 파이프라인을 구성할 때 이를 선택할 수 있습니다. 그 후 워크로드는 컴퓨트의 속도 제한 이하로 실행됩니다. 워크로드가 컴퓨트 객체를 지정하지 않으면, 워크로드는 작업 공간의 기본 자동 컴퓨트로 되돌아가게 됩니다. 사용자가 그 기본값에 접근할 수 없으면 워크로드가 실행되지 않습니다.

  • 작업: 작업 수준에서 서버리스 컴퓨팅 객체를 선택하려면, UI의 작업 Compute 설정에서 선택하거나 Jobs API에서 컴퓨팅 ID를 참조하세요. ID를 복사하려면 Serverless 탭에서 컴퓨트 객체를 열고 Copy compute ID를 클릭하세요.
  • Lakeflow의 Spark 선언적 파이프라인: Lakeflow 편집기에서 파이프라인의 서버 없는 계산으로 자동 계산 객체를 선택하세요.

속도 한도가 작업 부하를 제한할 경우, Lakeflow UI에서 작업 부하의 쿼리 이력이나 파이프라인 관련 자료에서 그 영향을 확인할 수 있습니다.

요금 제한

  • 속도 제한은 Spark 집행자 자동 확장에만 제한을 둡니다. 드라이버, REPL VM, GPU, 그리고 마티컬라이즈된 뷰 또는 스트리밍 테이블 새로고침과 같은 다른 비용 구성 요소들은 상한선이 없습니다.
  • 각 크기별 시간당 DBU 상한선은 추정치입니다. 적용 한계의 약간의 변동과 서버리스 인프라의 고유한 변동성 때문에 실제 사용량이 목표를 초과할 수 있습니다.
  • 2X-Large 크기의 작업은 물리적 클러스터 크기가 256개의 실행 기로 제한되어 있어 기대보다 낮은 성능을 낼 수 있습니다. 두 개 이상의 2X-Large 워크로드가 동일한 런타임 클러스터에 스케줄링될 경우, 각각은 기대 성능보다 낮을 수 있습니다.
  • 청구 구현 세부 사항 때문에 동일한 워크로드가 서로 다른 속도 제한 크기에서 서로 다른 DBU 사용량을 발생시킬 수 있습니다.
  • 기본 컴퓨트 객체에 속도 제한을 설정할 수 없습니다.
  • Last updated on