다음을 통해 공유

Delta Live Tables 파이프라인에 대한 컴퓨팅 구성

  • 아티클

이 문서에는 Delta Live Tables 파이프라인에 대한 사용자 지정 컴퓨팅 설정을 구성할 때의 지침과 고려 사항이 포함되어 있습니다.

서버리스 파이프라인은 컴퓨팅 구성 옵션을 제공하지 않습니다. 서버리스 Delta Live Tables 파이프라인 구성을 참조하세요.

클러스터 정책을 선택하세요.

사용자는 Delta Live Tables 파이프라인을 구성하고 업데이트하기 위해 컴퓨팅을 배포할 수 있는 권한이 있어야 합니다. 작업 영역 관리자는 사용자에게 Delta Live Tables의 컴퓨팅 리소스에 대한 액세스 권한을 제공하도록 클러스터 정책을 구성할 수 있습니다. Delta Live Tables 파이프라인 컴퓨팅에 대한 제한 정의를 참조하세요.

참고 항목

  • 클러스터 정책은 선택 사항입니다. Delta Live Tables에 필요한 컴퓨팅 권한이 없는 경우 작업 영역 관리자에게 문의하세요.

  • 클러스터 정책 기본값이 올바르게 적용되도록 하려면 파이프라인 구성의 클러스터 구성으로 설정합니다.apply_policy_default_values true 

    {
  "clusters": [
    {
      "label": "default",
      "policy_id": "<policy-id>",
      "apply_policy_default_values": true
    }
  ]
}

클러스터 태그 구성

클러스터 태그를 사용하여 파이프라인 클러스터의 사용량을 모니터링할 수 있습니다. 파이프라인을 만들거나 편집하거나 파이프라인 클러스터에 대한 JSON 설정을 편집할 때 Delta Live Tables UI에 클러스터 태그를 추가합니다.

파이프라인을 실행할 인스턴스 유형 선택

기본적으로 Delta Live Tables는 파이프라인의 드라이버 및 작업자 노드에 대한 인스턴스 유형을 선택합니다. 필요에 따라 인스턴스 유형을 구성할 수 있습니다.

예를 들어 파이프라인 성능을 향상시키거나 파이프라인을 실행할 때 메모리 문제를 해결하려면 인스턴스 유형을 선택합니다. REST API 또는 Delta Live Tables UI에서 파이프라인을 만들거나 편집할 때 인스턴스 유형을 구성할 수 있습니다.

Delta Live Tables UI에서 파이프라인을 만들거나 편집할 때 인스턴스 유형을 구성하려면 다음을 수행합니다.

  1. 설정 단추를 클릭합니다.
  2. 파이프라인 설정의 고급 섹션에서 작업자 유형 및 드라이버 유형 드롭다운 메뉴에서 파이프라인의 인스턴스 유형을 선택합니다.

고급 컴퓨팅 구성

참고 항목

컴퓨팅 리소스는 서버리스 DLT 파이프라인에 대해 완전히 관리되므로 파이프라인에 대해 서버리스를 선택하면 컴퓨팅 설정을 사용할 수 없습니다.

각 Delta Live Tables 파이프라인에는 다음과 같은 두 개의 연결된 클러스터가 있습니다.

  • updates 클러스터는 파이프라인 업데이트를 처리합니다.
  • maintenance 클러스터는 매일 유지 관리 작업을 실행합니다.

작업 영역 파이프라인 구성 UI를 사용하여 지정된 컴퓨팅 설정은 업데이트 및 유지 관리 클러스터 모두에 적용됩니다. 이러한 설정을 독립적으로 수정하려면 JSON 구성을 편집해야 합니다.

이러한 클러스터에서 사용하는 구성은 파이프라인 설정에 clusters 지정된 특성에 따라 결정됩니다.

클러스터 레이블을 사용하여 특정 클러스터 유형에만 적용되는 컴퓨팅 설정을 추가할 수 있습니다. 파이프라인 클러스터를 구성할 때 사용할 수 있는 세 가지 레이블이 있습니다.

참고 항목

클러스터 구성을 하나만 정의하는 경우 클러스터 레이블 설정을 생략할 수 있습니다. default 레이블에 대한 설정이 제공되지 않으면 레이블이 클러스터 구성에 적용됩니다. 클러스터 레이블 설정은 다른 클러스터 유형에 대한 설정을 사용자 지정해야 하는 경우에만 필요합니다.

  • 레이블은 default 클러스터와 maintenance 클러스터 모두에 updates 대한 컴퓨팅 설정을 정의합니다. 두 클러스터에 동일한 설정을 적용하면 스토리지 위치에 대한 데이터 액세스 자격 증명과 같은 필수 구성이 유지 관리 클러스터에 적용되도록 하여 유지 관리 실행의 안정성을 향상시킵니다.
  • maintenance 레이블은 maintenance 클러스터에만 적용되는 컴퓨팅 설정을 정의합니다. maintenance 레이블을 사용하여 default 레이블에 의해 구성된 설정을 재정의할 수도 있습니다.
  • updates 레이블은 updates 클러스터에만 적용되는 설정을 정의합니다. 클러스터에 적용할 수 없는 설정을 구성하는 데 maintenance 사용합니다.

default 및 updates 레이블을 사용하여 정의된 설정은 병합되어 updates 클러스터에 대한 최종 구성을 만듭니다. default 레이블과 updates 레이블을 모두 사용하여 동일한 설정을 정의한 경우 updates 레이블로 정의된 설정이 default 레이블로 정의된 설정을 재정의합니다.

다음 예제에서는 updates 클러스터의 구성에만 추가되는 Spark 구성 매개 변수를 정의합니다.

{
  "clusters": [
    {
      "label": "default",
      "autoscale": {
        "min_workers": 1,
        "max_workers": 5,
        "mode": "ENHANCED"
      }
    },
    {
      "label": "updates",
      "spark_conf": {
         "key": "value"
      }
    }
  ]
}

Delta Live Tables에는 Azure Databricks의 다른 컴퓨팅과 클러스터 설정에 대한 유사한 옵션이 있습니다. 다른 파이프라인 설정과 마찬가지로 클러스터에 대한 JSON 구성을 수정하여 UI에 없는 옵션을 지정할 수 있습니다. 컴퓨팅을 참조하세요.

참고 항목

Delta Live Tables 런타임은 파이프라인 클러스터의 수명 주기를 관리하고 사용자 지정 버전의 Databricks Runtime을 실행하므로 Spark 버전 또는 클러스터 이름과 같은 파이프라인 구성에서 일부 클러스터 설정을 수동으로 설정할 수 없습니다. 사용자 설정이 불가능한 클러스터 특성을 참조하세요.

업데이트 및 유지 관리 클러스터에 대한 인스턴스 유형 구성

파이프라인의 JSON 설정에서 인스턴스 유형을 구성하려면 JSON 단추를 클릭하고 클러스터 구성에 인스턴스 유형 구성을 입력합니다.

참고 항목

이 예제에서는 maintenance 클러스터에 불필요한 리소스를 할당하지 않도록 updates 레이블을 사용하여 updates 클러스터에 대해서만 인스턴스 유형을 설정합니다. 인스턴스 유형과 updates 및 maintenance 클러스터 모두에 인스턴스 유형을 할당하려면 default 레이블을 사용하거나 레이블에 대한 설정을 생략합니다. default 레이블에 대한 설정이 제공되지 않으면 레이블이 파이프라인 클러스터 구성에 적용됩니다. 고급 컴퓨팅 구성을 참조 하세요.

{
  "clusters": [
    {
      "label": "updates",
      "node_type_id": "Standard_D12_v2",
      "driver_node_type_id": "Standard_D3_v2",
      "..." : "..."
    }
  ]
}

컴퓨팅 종료 지연

클러스터 종료 동작을 제어하려면 개발 또는 프로덕션 모드를 사용하거나 파이프라인 구성의 pipelines.clusterShutdown.delay 설정을 사용할 수 있습니다. 다음 예제에서는 pipelines.clusterShutdown.delay 값을 60초로 설정합니다.

{
    "configuration": {
      "pipelines.clusterShutdown.delay": "60s"
    }
}

production 모드가 사용되는 경우 pipelines.clusterShutdown.delay의 기본값은 0 seconds다. development 모드가 사용되는 경우 기본값은 2 hours다.

참고 항목

Delta Live Tables 클러스터는 사용하지 않을 때 자동으로 종료되므로 클러스터 구성에서 설정하는 autotermination_minutes 클러스터 정책을 참조하면 오류가 발생합니다.

단일 노드 클러스터를 만듭니다.

클러스터 설정에서 num_workers를 0으로 설정하면 클러스터가 단일 노드 클러스터로 만들어집니다. 자동 크기 조정 클러스터를 구성하고 0과 max_workers 0으로 설정 min_workers 하면 단일 노드 클러스터가 만들어집니다.

자동 크기 조정 클러스터를 구성하고 0으로만 min_workers 설정하는 경우 클러스터는 단일 노드 클러스터로 만들어지지 않습니다. 클러스터에는 종료될 때까지 항상 1명 이상의 활성 작업자가 있습니다.

Delta Live Tables에서 단일 노드 클러스터를 만드는 클러스터 구성 예제:

{
    "clusters": [
      {
        "num_workers": 0
      }
    ]
}