Azure Databricks
Azure Databricks는 확장 가능한 데이터 관리, 거버넌스 및 분석을 위한 통합 플랫폼을 제공하며, 간소화된 워크플로와 다양한 데이터 형식을 효율적으로 처리하는 기능을 결합합니다.
이 커넥터는 다음 제품 및 지역에서 사용할 수 있습니다.
| 서비스 | 클래스 | Regions |
|---|---|---|
| Copilot Studio | Premium | 다음을 제외한 모든 Power Automate 지역 : - 미국 정부(GCC) - 미국 정부(GCC High) - 21Vianet에서 운영하는 중국 클라우드 - 미국 국방부(DoD) |
| Power Apps | Premium | 다음을 제외한 모든 Power Apps 지역 : - 미국 정부(GCC) - 미국 정부(GCC High) - 21Vianet에서 운영하는 중국 클라우드 - 미국 국방부(DoD) |
| Power Automate (파워 오토메이트) | Premium | 다음을 제외한 모든 Power Automate 지역 : - 미국 정부(GCC) - 미국 정부(GCC High) - 21Vianet에서 운영하는 중국 클라우드 - 미국 국방부(DoD) |
| 연락처 | |
|---|---|
| 이름 | Databricks 지원 |
| URL | https://help.databricks.com |
| 전자 메일 | eng-partner-eco-help@databricks.com |
| 커넥터 메타데이터 | |
|---|---|
| 게시자 | Databricks Inc. |
| 웹 사이트 | https://www.databricks.com/ |
| 개인 정보 보호 정책 | https://www.databricks.com/legal/privacynotice |
| 카테고리 | 데이터 |
Microsoft Power Platform에서 Azure Databricks에 연결
이 페이지에서는 데이터 연결로 Azure Databricks를 추가하여 Microsoft Power Platform에서 Azure Databricks에 연결하는 방법을 설명합니다. 연결되면 다음 플랫폼의 Azure Databricks 데이터를 사용할 수 있습니다.
- Power Apps: Azure Databricks 거버넌스 컨트롤을 유지하면서 Azure Databricks에서 읽고 쓸 수 있는 애플리케이션을 빌드합니다.
- Power Automate: 흐름을 빌드하고 사용자 지정 SQL 또는 기존 작업을 실행할 수 있는 작업을 추가하고 결과를 다시 가져옵니다.
- Copilot Studio: Azure Databricks 데이터를 지식 원본으로 사용하여 사용자 지정 에이전트를 빌드합니다.
시작하기 전 주의 사항:
Power Platform에서 Azure Databricks에 연결하기 전에 다음 요구 사항을 충족해야 합니다.
- Microsoft Entra ID(이전의 Azure Active Directory) 계정이 있습니다.
- 프리미엄 Power Apps 라이선스가 있습니다.
- Azure Databricks 계정이 있습니다.
- Azure Databricks의 SQL 웨어하우스에 액세스할 수 있습니다.
선택 사항: Azure Virtual Network를 사용하여 연결
Azure Databricks 작업 영역에서 Virtual Network를 사용하는 경우 다음 두 가지 방법으로 연결할 수 있습니다.
퍼블릭 인터넷을 통해 노출하지 않고 가상 네트워크 내의 리소스와 Power Platform을 통합합니다. Azure Databricks 작업 영역의 프라이빗 엔드포인트에 연결하려면 Azure Databricks에 대한 프라이빗 연결을 구성한 후 다음을 수행합니다.
Power Platform 가상 네트워크(기본 또는 보조 네트워크)가 Azure Databricks 가상 네트워크와 다른 경우 가상 네트워크 피어링을 사용하여 가상 네트워크를 Azure Databricks와 연결합니다.
가상 네트워크에 대한 자세한 내용은 Virtual Network 지원 개요를 참조하세요.
공용 엔드포인트가 있는 프런트 엔드 프라이빗 링크가 작업 영역 IP 액세스 목록으로 보호되는 하이브리드 배포를 사용하여 액세스를 사용하도록 설정합니다. 액세스를 사용하도록 설정하려면 다음을 수행합니다.
- 작업 영역 수준에서 공용 액세스를 사용하도록 설정합니다. 자세한 내용은 작업 영역에 대한 IP 액세스 목록 구성을 참조하세요.
- 환경의 지역에 따라 AzureConnectors IP 범위 또는 특정 Power Platform IP 범위를 작업 영역 IP 액세스 목록에 추가합니다.
선택 사항: Microsoft Entra 서비스 주체 만들기
Important
Azure Databricks 및 Power Platform이 서로 다른 테넌트에 있는 경우 인증에 서비스 주체를 사용해야 합니다.
연결하기 전에 다음 단계를 완료하여 Azure Databricks 계정 또는 작업 영역에 Microsoft Entra 서비스 주체를 만들고, 설정하고, 할당합니다.
1단계: Power Platform에 Azure Databricks 연결 추가
메모: Copilot Studio를 사용하는 경우 Power Apps 또는 Power Automate에서 Databricks 연결을 만드는 것이 좋습니다. 그런 다음 코필로트 스튜디오에서 사용할 수 있습니다.
Azure Databricks 연결을 추가하려면 다음을 수행합니다.
Power Apps 또는 Power Automate의 사이드바에서 연결을 클릭합니다.
왼쪽 위 모서리에서 + 새 연결을 클릭합니다.
오른쪽 위에 있는 검색 창을 사용하여 "Azure Databricks" 를 검색합니다.
Azure Databricks 타일을 선택합니다.
드롭다운 메뉴에서 인증 유형을 선택합니다.
인증 방법을 선택하고 인증 정보를 입력합니다.
Power Platform 배포 및 Azure Databricks 계정이 동일한 Microsoft Entra 테넌트에 있는 경우 OAuth 연결을 사용할 수 있습니다. 다음 정보를 입력합니다.
- 서버 호스트 이름에 Azure Databricks SQL Warehouse 호스트 이름을 입력합니다.
- HTTP 경로의 경우 SQL Warehouse HTTP 경로를 입력합니다.
- 만들기를 클릭합니다.
- Microsoft Entra ID로 로그인합니다.
서비스 주체 연결 은 모든 시나리오에서 사용할 수 있습니다. 연결하기 전에 Microsoft Entra 서비스 주체를 만듭니다. 다음 정보를 입력합니다.
- 클라이언트 ID의 경우 서비스 주체 ID를 입력합니다.
- 클라이언트 암호의 경우 서비스 주체 암호를 입력합니다.
- 테넌트에 서비스 주체 테넌트를 입력합니다.
- 호스트 이름에 Azure Databricks SQL Warehouse 호스트 이름을 입력합니다.
- HTTP 경로의 경우 SQL Warehouse HTTP 경로를 입력합니다.
- (선택 사항) 연결을 만든 후 서비스 주체 연결의 이름을 바꾸거나 팀 구성원과 공유할 수 있습니다.
Azure Databricks SQL 웨어하우스 연결 세부 정보를 찾으려면 Azure Databricks 컴퓨팅 리소스에 대한 연결 세부 정보 가져오기를 참조하세요.
만들기를 클릭합니다.
2단계: Azure Databricks 연결 사용
Power Apps 또는 Power Automate에서 Azure Databricks 연결을 만든 후 Azure Databricks 데이터를 사용하여 Power Canvas 앱, Power Automate 흐름 및 Copilot Studio 에이전트를 만들 수 있습니다.
Azure Databricks 데이터를 사용하여 Power Canvas 앱 빌드
Important
앱에서 Azure Databricks에 직접 연결하는 경우에만 캔버스 앱을 사용할 수 있습니다. 가상 테이블을 사용할 수 없습니다.
애플리케이션에 Azure Databricks 데이터를 추가하려면 다음을 수행합니다.
- 맨 왼쪽 탐색 모음에서 만들기를 클릭합니다.
- 빈 캔버스로 시작을 클릭하고 원하는 캔버스 크기를 선택하여 새 캔버스 앱을 만듭니다.
- 애플리케이션에서 데이터> 커넥터Azure Databricks> 추가를 클릭합니다. 만든 Azure Databricks 연결을 선택합니다.
- 데이터 세트 선택 사이드바에서 카탈로그 를 선택합니다 .
- 데이터 세트 사이드바 선택에서 캔버스 앱을 연결할 모든 테이블을 선택합니다.
- 연결을 클릭합니다.
Power Apps의 데이터 작업:
커넥터는 기본 키가 정의된 테이블에 대해서만 만들기, 업데이트 및 삭제 작업을 지원합니다. 만들기 작업을 수행할 때는 항상 기본 키를 지정해야 합니다.
메모: Azure Databricks는 생성된 ID 열을 지원합니다. 이 경우 기본 키 값은 행을 만드는 동안 서버에서 자동으로 생성되며 수동으로 지정할 수 없습니다.
Azure Databricks 데이터를 사용하여 Power Automate 흐름 빌드
문 실행 API 및 작업 API는 Power Automate 내에서 노출되므로 SQL 문을 작성하고 기존 작업을 실행할 수 있습니다. 작업으로 Azure Databricks를 사용하여 Power Automate 흐름을 만들려면 다음을 수행합니다.
- 맨 왼쪽 탐색 모음에서 만들기를 클릭합니다.
- 흐름을 만들고 트리거 형식을 추가합니다.
- 새 흐름에서 +를 클릭하고 검색하여 사용 가능한 작업을 확인합니다.
SQL을 작성하려면 다음 작업 중 하나를 선택합니다.
SQL 문 실행: SQL 문을 작성하고 실행합니다. 다음을 입력합니다.
- 본문/warehouse_id 항목에 SQL 문을 실행할 웨어하우스의 ID를 입력하세요.
- "본문/statement_id의 경우, 실행할 SQL 문의 ID를 입력하세요."
- 고급 매개 변수에 대한 자세한 내용은 여기를 참조 하세요.
상태를 확인하고 결과를 가져옵니다. SQL 문의 상태를 확인하고 결과를 수집합니다. 다음을 입력합니다.
- 문 ID의 경우 SQL 문이 실행될 때 반환된 ID를 입력합니다.
- 매개 변수에 대한 자세한 내용은 여기를 참조 하세요.
문 실행을 취소합니다. SQL 문의 실행을 종료합니다. 다음을 입력합니다.
- 문장 ID에 종료할 SQL 문의 ID를 입력합니다.
- 매개 변수에 대한 자세한 내용은 여기를 참조 하세요.
청크 인덱스로 결과 가져오기: 큰 결과 집합에 적합한 청크 인덱스로 결과를 가져옵니다. 다음을 입력합니다.
- 검색할 결과를 얻기 위해 명령문 ID에 SQL 문의 ID를 입력합니다.
- 청크 인덱스에 대상 청크 인덱스를 입력하세요.
- 매개 변수에 대한 자세한 내용은 여기를 참조 하세요.
기존 Databricks 작업과 상호 작용하려면 다음 작업 중 하나를 선택합니다.
- 작업 나열: 작업 목록을 검색합니다. 자세한 내용은 여기를 참조 하세요.
- 새 작업 실행 트리거: 작업을 실행하고 트리거된 실행의 run_id 반환합니다. 자세한 내용은 여기를 참조 하세요.
- 단일 작업 실행 가져오기: 실행 상태(예: 실행, 성공, 실패), 시작 및 종료 시간, 실행 기간, 클러스터 정보 등 실행에 대한 메타데이터를 반환합니다. 자세한 내용은 여기를 참조 하세요.
- 작업 실행 취소: 작업 실행 또는 작업 실행을 취소합니다. 자세한 내용은 여기를 참조하세요.
- 단일 작업 실행에 대한 출력 가져오기: 단일 작업 실행의 출력 및 메타데이터를 검색합니다. 자세한 내용은 여기를 참조하세요.
Copilot Studio에서 Azure Databricks를 지식 원본으로 사용
Copilot Studio 에이전트에 Azure Databricks 데이터를 지식 원본으로 추가하려면 다음을 수행합니다.
- 사이드바에서 에이전트를 클릭합니다.
- + 새 에이전트를 클릭하여 기존 에이전트를 선택하거나 새 에이전트를 만듭니다.
- 메시지를 입력하여 에이전트를 설명한 다음 만들기를 클릭합니다.
- 또는 [건너뛰기 ]를 클릭하여 에이전트의 정보를 수동으로 지정합니다.
- [지식] 탭에서 + [지식]을 클릭합니다.
- 고급을 클릭합니다.
- Azure Databricks를 기술 자료로 선택합니다.
- 데이터가 있는 카탈로그 이름을 입력합니다.
- 연결을 클릭합니다.
- 에이전트에서 기술 자료로 사용할 테이블을 선택하고 추가를 클릭합니다.
Azure Databricks 데이터를 사용하여 Dataverse 가상 테이블 만들기
Azure Databricks 커넥터를 사용하여 Dataverse 가상 테이블을 만들 수도 있습니다. 가상 엔터티라고도 하는 가상 테이블은 외부 시스템의 데이터를 Microsoft Dataverse와 통합합니다. 가상 테이블은 실제 테이블을 Dataverse 데이터베이스에 저장하지 않고 Dataverse에서 테이블을 정의합니다. 가상 테이블에 대한 자세한 내용은 가상 테이블 시작(엔터티)을 참조하세요.
참고
가상 테이블은 Dataverse 스토리지 용량을 사용하지 않지만 Databricks는 성능을 향상하기 위해 직접 연결을 사용하는 것이 좋습니다.
시스템 사용자 지정자 또는 시스템 관리자 역할이 있어야 합니다. 자세한 내용은 Power Platform의 보안 역할을 참조하세요.
Dataverse 가상 테이블을 만들려면 다음 단계를 수행합니다.
Power Apps의 사이드바에서 테이블을 클릭합니다.
메뉴 모음에서 + 새 테이블을 클릭하고 가상 테이블 만들기를 선택합니다.
기존 Azure Databricks 연결을 선택하거나 Azure Databricks에 대한 새 연결을 만듭니다. 새 연결을 추가하려면 1단계: Power Platform에 Azure Databricks 연결 추가를 참조하세요.
Databricks는 서비스 주체 연결을 사용하여 가상 테이블을 만드는 것이 좋습니다.
다음을 클릭합니다.
Dataverse 가상 테이블로 나타낼 테이블을 선택합니다.
- Dataverse 가상 테이블에는 기본 키가 필요합니다. 따라서 뷰는 가상 테이블일 수 없지만 구체화된 뷰는 가능합니다.
다음을 클릭합니다.
필요한 경우 테이블의 세부 정보를 업데이트하여 가상 테이블을 구성합니다.
다음을 클릭합니다.
데이터 원본의 세부 정보를 확인하고 마침을 클릭합니다.
Power Apps, Power Automate 및 Copilot Studio에서 Dataverse 가상 테이블을 사용합니다.
Dataverse 가상 테이블의 알려진 제한 사항 목록은 알려진 제한 사항 및 문제 해결을 참조하세요.
일괄 업데이트 수행
Power Apps 입력에 대한 응답으로 대량 만들기, 업데이트 또는 삭제 작업을 수행해야 하는 경우 Databricks는 Power Automate 흐름을 구현하는 것이 좋습니다. 그 절차는 다음과 같습니다:
Power Apps에서 Azure Databricks 연결을 사용하여 캔버스 앱을 만듭니다.
Azure Databricks 연결을 사용하여 Power Automate 흐름을 만들고 Power Apps를 트리거로 사용합니다.
Power Automate 트리거에서 Power Apps에서 Power Automate로 전달하려는 입력 필드를 추가합니다.
Power Apps 내에서 컬렉션 개체를 만들어 모든 변경 내용을 수집합니다.
캔버스 앱에 Power Automate 플로우를 추가하세요.
캔버스 앱에서 Power Automate 플로우를 호출하고
ForAll명령을 사용하여 컬렉션을 반복합니다.ForAll(collectionName, FlowName.Run(input field 1, input field 2, input field 3, …)
동시 쓰기
행 수준 동시성은 행 수준에서 변경 내용을 검색하고 동시 쓰기가 동일한 데이터 파일에서 다른 행을 업데이트하거나 삭제할 때 발생하는 충돌을 자동으로 해결하여 동시 쓰기 작업 간의 충돌을 줄입니다.
행 수준 동시성은 Databricks Runtime 14.2 이상에 포함됩니다. 행 수준 동시성은 기본적으로 다음 유형의 테이블에 대해 지원됩니다.
- 삭제 벡터가 활성화되고 분할이 없는 테이블
- 삭제 벡터를 사용하지 않도록 설정하지 않는 한 액체 클러스터링이 있는 테이블
삭제 벡터를 사용하도록 설정하려면 다음 SQL 명령을 실행합니다.
ALTER TABLE table_name SET TBLPROPERTIES ('delta.enableDeletionVectors' = true);
Azure Databricks의 동시 쓰기 충돌에 대한 자세한 내용은 Azure Databricks 에서 격리 수준 및 쓰기 충돌을 참조하세요.
데이터 정책에 Azure Databricks 추가
비즈니스 데이터 정책에 Azure Databricks를 추가하면 Azure Databricks는 다른 그룹의 커넥터와 데이터를 공유할 수 없습니다. 이렇게 하면 데이터가 보호되고 데이터에 액세스할 수 없는 사용자와 공유되지 않습니다. 자세한 내용은 데이터 정책 관리를 참조하세요.
Power Platform 데이터 정책에 Azure Databricks 커넥터를 추가하려면 다음을 수행합니다.
- Power Platform 애플리케이션에서 오른쪽 위에 있는 설정 기어를 클릭하고 관리 센터를 선택합니다.
- 사이드바에서 정책>데이터 정책을 클릭합니다.
- 새 관리 센터를 사용하는 경우 보안>데이터 및 개인 정보 데이터>정책을 클릭합니다.
- + 새 정책을 클릭하거나 기존 정책을 선택합니다.
- 새 정책을 만드는 경우 이름을 입력합니다.
- 정책에 추가할 환경을 선택하고 위의 정책에 + 추가를 클릭합니다.
- 다음을 클릭합니다.
- Azure Databricks 커넥터를 검색하여 선택합니다.
- 비즈니스로 이동을 클릭하고 다음을 클릭합니다.
- 정책을 검토하고 정책 만들기를 클릭합니다.
제한점
- Power Platform 커넥터는 정부 클라우드를 지원하지 않습니다.
Power App 제한 사항
다음 PowerFx 수식은 로컬로 검색된 데이터만 사용하여 값을 계산합니다.
| 카테고리 | Formula |
|---|---|
| 테이블 함수 | - GroupBy -별개 |
| Aggregation | - CountRows - StdevP - StdevS |
연결을 만드는 중
커넥터는 다음 인증 유형을 지원합니다.
| OAuth 연결 | OAuth 연결 | 모든 지역 | 공유할 수 없음 |
| 서비스 주체 연결 | 서비스 주체 연결 | 모든 지역 | 공유 가능 |
| 기본값 [사용되지 않음] | 이 옵션은 명시적 인증 유형이 없는 이전 연결에만 해당되며 이전 버전과의 호환성을 위해서만 제공됩니다. | 모든 지역 | 공유할 수 없음 |
OAuth 연결
인증 ID: oauth2-auth
적용 가능: 모든 지역
OAuth 연결
공유 가능한 연결이 아닙니다. 전원 앱이 다른 사용자와 공유되면 다른 사용자에게 새 연결을 명시적으로 만들라는 메시지가 표시됩니다.
| 이름 | 유형 | Description | 필수 |
|---|---|---|---|
| 서버 호스트 이름(예: adb-3980263885549757139.2.azuredatabricks.net) | 문자열 | Databricks 작업 영역의 서버 이름 | 진실 |
| HTTP 경로(예: /sql/1.0/warehouses/a9c4e781bd29f315) | 문자열 | Databricks SQL Warehouse의 HTTP 경로 | 진실 |
서비스 주체 연결
인증 ID: oAuthClientCredentials
적용 가능: 모든 지역
서비스 주체 연결
공유 가능한 연결입니다. 전원 앱이 다른 사용자와 공유되면 연결도 공유됩니다. 자세한 내용은 캔버스 앱에 대한 커넥터 개요를 참조하세요. - Power Apps | Microsoft Docs
| 이름 | 유형 | Description | 필수 |
|---|---|---|---|
| 클라이언트 ID | 문자열 | 진실 | |
| 클라이언트 암호 | 시큐어스트링 (보안 문자열) | 진실 | |
| 임차인 | 문자열 | 진실 | |
| 서버 호스트 이름(예: adb-3980263885549757139.2.azuredatabricks.net) | 문자열 | Databricks 작업 영역의 서버 이름 | 진실 |
| HTTP 경로(예: /sql/1.0/warehouses/a9c4e781bd29f315) | 문자열 | Databricks SQL Warehouse의 HTTP 경로 | 진실 |
기본값 [사용되지 않음]
적용 가능: 모든 지역
이 옵션은 명시적 인증 유형이 없는 이전 연결에만 해당되며 이전 버전과의 호환성을 위해서만 제공됩니다.
공유 가능한 연결이 아닙니다. 전원 앱이 다른 사용자와 공유되면 다른 사용자에게 새 연결을 명시적으로 만들라는 메시지가 표시됩니다.
제한 한도
| Name | 호출 | 갱신 기간 |
|---|---|---|
| 연결당 API 호출 | 100 | 60초 |
동작
| Azure Databricks Genie |
지니 공간을 쿼리하여 데이터에서 인사이트를 가져옵니다. |
| SQL 문 실행 |
SQL 문을 실행하고 필요에 따라 지정된 시간 동안 결과를 기다립니다. |
| 단일 실행에 대한 출력 가져오기 |
단일 작업 실행의 출력 및 메타데이터를 검색합니다. Notebook 작업이 dbutils.notebook.exit() 호출을 통해 값을 반환하는 경우 이 엔드포인트를 사용하여 해당 값을 검색할 수 있습니다. Azure Databricks는 이 API를 출력의 처음 5MB를 반환하도록 제한합니다. 더 큰 결과를 반환하려면 클라우드 스토리지 서비스에 작업 결과를 저장할 수 있습니다. 이 엔드포인트는 run_id 매개 변수가 유효한지 확인하고 run_id매개 변수 가 잘못된 경우 HTTP 상태 코드 400을 반환합니다. 실행은 60일 후에 자동으로 제거됩니다. 60일을 초과하여 참조하려면 만료되기 전에 이전 실행 결과를 저장해야 합니다. |
| 단일 작업 실행 가져오기 |
실행의 메타데이터를 검색합니다. 결과의 큰 배열은 100개 요소를 초과하면 페이지를 매깁니다. 단일 실행에 대한 요청은 해당 실행에 대한 모든 속성과 배열 속성의 처음 100개 요소(작업, job_clusters, job_parameters 및 repair_history)를 반환합니다. next_page_token 필드를 사용하여 더 많은 결과를 확인하고 후속 요청에서 해당 값을 page_token 전달합니다. 배열 속성에 100개 이상의 요소가 있는 경우 후속 요청에 추가 결과가 반환됩니다. 추가 결과가 없는 배열은 이후 페이지에서 비어 있습니다. |
| 상태 확인 및 결과 가져오기 |
문의 상태, 매니페스트 및 결과 가져오기 |
| 새 작업 실행 트리거 |
작업을 실행하고 트리거된 실행의 run_id 반환합니다. |
| 실행 취소 |
작업 실행 또는 작업 실행을 취소합니다. 실행은 비동기적으로 취소되므로 이 요청이 완료될 때 실행 중일 수 있습니다. |
| 작업 나열 |
작업 목록을 검색합니다. |
| 청크 인덱스로 결과 가져오기 |
문 실행이 성공하면 이 요청을 사용하여 인덱스별로 청크를 가져올 수 있습니다. |
| 취소 문 실행 |
실행 문을 취소할 것을 요청합니다. 호출자는 터미널 상태를 보려면 상태를 폴링해야 합니다. |
Azure Databricks Genie
지니 공간을 쿼리하여 데이터에서 인사이트를 가져옵니다.
매개 변수
| Name | 키 | 필수 | 형식 | Description |
|---|---|---|---|---|
|
지니 공간 ID
|
genie_space_id | True | string |
지니 공간 ID |
SQL 문 실행
SQL 문을 실행하고 필요에 따라 지정된 시간 동안 결과를 기다립니다.
매개 변수
| Name | 키 | 필수 | 형식 | Description |
|---|---|---|---|---|
|
warehouse_id
|
warehouse_id | True | string |
대상 웨어하우스 ID |
|
성명서
|
statement | True | string |
실행할 SQL 문입니다. 문은 필요에 따라 매개 변수화될 수 있으며 매개 변수를 참조하세요. |
|
이름
|
name | True | string |
매개 변수 표식 이름 |
|
type
|
type | string |
매개 변수 데이터 형식 |
|
|
value
|
value | string |
매개 변수 값 |
|
|
catalog
|
catalog | string |
실행을 위한 기본 카탈로그 |
|
|
schema(스키마)
|
schema | string |
실행에 대한 기본 스키마 |
|
|
심성
|
disposition | string |
결과 페치 모드 |
|
|
format
|
format | string |
결과 집합 형식 |
|
|
on_wait_timeout
|
on_wait_timeout | string |
시간 제한에 대한 작업 |
|
|
wait_timeout
|
wait_timeout | string |
결과 대기 시간 제한 |
|
|
byte_limit
|
byte_limit | integer |
결과 바이트 제한 |
|
|
row_limit
|
row_limit | integer |
결과 행 제한 |
반환
문 실행 응답
단일 실행에 대한 출력 가져오기
단일 작업 실행의 출력 및 메타데이터를 검색합니다. Notebook 작업이 dbutils.notebook.exit() 호출을 통해 값을 반환하는 경우 이 엔드포인트를 사용하여 해당 값을 검색할 수 있습니다. Azure Databricks는 이 API를 출력의 처음 5MB를 반환하도록 제한합니다. 더 큰 결과를 반환하려면 클라우드 스토리지 서비스에 작업 결과를 저장할 수 있습니다. 이 엔드포인트는 run_id 매개 변수가 유효한지 확인하고 run_id매개 변수 가 잘못된 경우 HTTP 상태 코드 400을 반환합니다. 실행은 60일 후에 자동으로 제거됩니다. 60일을 초과하여 참조하려면 만료되기 전에 이전 실행 결과를 저장해야 합니다.
매개 변수
| Name | 키 | 필수 | 형식 | Description |
|---|---|---|---|---|
|
실행 ID
|
run_id | True | integer |
실행에 대한 정식 식별자입니다. |
반환
단일 작업 실행 가져오기
실행의 메타데이터를 검색합니다. 결과의 큰 배열은 100개 요소를 초과하면 페이지를 매깁니다. 단일 실행에 대한 요청은 해당 실행에 대한 모든 속성과 배열 속성의 처음 100개 요소(작업, job_clusters, job_parameters 및 repair_history)를 반환합니다. next_page_token 필드를 사용하여 더 많은 결과를 확인하고 후속 요청에서 해당 값을 page_token 전달합니다. 배열 속성에 100개 이상의 요소가 있는 경우 후속 요청에 추가 결과가 반환됩니다. 추가 결과가 없는 배열은 이후 페이지에서 비어 있습니다.
매개 변수
| Name | 키 | 필수 | 형식 | Description |
|---|---|---|---|---|
|
실행 ID
|
run_id | True | integer |
메타데이터를 검색할 실행의 정식 식별자입니다. 이 필드는 필수 필드입니다. |
|
기록 포함
|
include_history | boolean |
응답에 복구 기록을 포함할지 여부입니다. |
|
|
확인된 값 포함
|
include_resolved_values | boolean |
응답에 확인된 매개 변수 값을 포함할지 여부입니다. |
|
|
페이지 토큰
|
page_token | string |
이전 GetRun 응답에서 반환된 next_page_token 사용하여 실행 배열 속성의 다음 페이지를 요청합니다. |
반환
- 몸
- JobsRun
상태 확인 및 결과 가져오기
문의 상태, 매니페스트 및 결과 가져오기
매개 변수
| Name | 키 | 필수 | 형식 | Description |
|---|---|---|---|---|
|
문 ID
|
statement_id | True | string |
문 ID |
반환
문 실행 응답
새 작업 실행 트리거
작업을 실행하고 트리거된 실행의 run_id 반환합니다.
매개 변수
| Name | 키 | 필수 | 형식 | Description |
|---|---|---|---|---|
|
idempotency_token
|
idempotency_token | string |
작업 실행 요청의 idempotency를 보장하기 위한 선택적 토큰입니다. 제공된 토큰이 있는 실행이 이미 있는 경우 요청은 새 실행을 만들지 않고 기존 실행의 ID를 대신 반환합니다. 제공된 토큰을 사용한 실행이 삭제되면 오류가 반환됩니다. idempotency 토큰을 지정하는 경우 실패 시 요청이 성공할 때까지 다시 시도할 수 있습니다. Azure Databricks는 해당 idempotency 토큰을 사용하여 정확히 하나의 실행이 시작되도록 보장합니다. 이 토큰에는 최대 64자가 있어야 합니다. 자세한 내용은 작업에 대한 멱등성을 보장하는 방법을 참조하세요. |
|
|
job_id
|
job_id | True | integer |
실행할 작업의 ID입니다. |
|
job_parameters
|
job_parameters | object |
실행에 사용되는 작업 수준 매개 변수입니다. 예: "param": "overriding_val" |
|
|
오직
|
only | array of string |
작업 내에서 실행할 작업 키 목록입니다. 이 필드가 제공되지 않으면 작업의 모든 작업이 실행됩니다. |
|
|
performance_target
|
performance_target | string | ||
|
full_refresh
|
full_refresh | boolean |
true이면 델타 라이브 테이블에서 전체 새로 고침을 트리거합니다. |
|
|
enabled
|
enabled | True | boolean |
true이면 작업에 대해 큐에 대기를 사용하도록 설정합니다. 이 필드는 필수 필드입니다. |
반환
실행 취소
작업 실행 또는 작업 실행을 취소합니다. 실행은 비동기적으로 취소되므로 이 요청이 완료될 때 실행 중일 수 있습니다.
매개 변수
| Name | 키 | 필수 | 형식 | Description |
|---|---|---|---|---|
|
run_id
|
run_id | True | integer |
이 필드는 필수 필드입니다. |
작업 나열
작업 목록을 검색합니다.
매개 변수
| Name | 키 | 필수 | 형식 | Description |
|---|---|---|---|---|
|
한계
|
limit | integer |
반환할 작업 수입니다. 이 값은 0보다 크거나 100보다 작거나 같아야 합니다. 기본값은 20입니다. |
|
|
작업 확장
|
expand_tasks | boolean |
응답에 태스크 및 클러스터 세부 정보를 포함할지 여부입니다. 처음 100가지 요소만 표시됩니다. :method:jobs/get을 사용하여 모든 작업 및 클러스터를 페이지를 매깁니다. |
|
|
작업 이름
|
name | string |
정확한(대/소문자를 구분하지 않는) 작업 이름을 기반으로 하는 목록의 필터입니다. |
|
|
페이지 토큰
|
page_token | string |
이전 요청에서 반환된 next_page_token 또는 prev_page_token 사용하여 작업의 다음 또는 이전 페이지를 각각 나열합니다. |
반환
청크 인덱스로 결과 가져오기
문 실행이 성공하면 이 요청을 사용하여 인덱스별로 청크를 가져올 수 있습니다.
매개 변수
| Name | 키 | 필수 | 형식 | Description |
|---|---|---|---|---|
|
문 ID
|
statement_id | True | string |
문 ID |
|
청크 인덱스
|
chunk_index | True | string |
청크 인덱스 |
반환
취소 문 실행
실행 문을 취소할 것을 요청합니다. 호출자는 터미널 상태를 보려면 상태를 폴링해야 합니다.
매개 변수
| Name | 키 | 필수 | 형식 | Description |
|---|---|---|---|---|
|
문 ID
|
statement_id | True | string |
문 ID |
정의
Object
SqlBaseChunkInfo
결과 집합 청크에 대한 메타데이터
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
byte_count
|
byte_count | integer |
결과 청크의 바이트 수 |
|
chunk_index
|
chunk_index | integer |
결과 집합 청크 시퀀스의 위치 |
|
row_count
|
row_count | integer |
결과 청크의 행 수 |
|
row_offset
|
row_offset | integer |
결과 집합에서 행 오프셋 시작 |
SqlColumnInfo
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
이름
|
name | string |
열 이름 |
|
위치
|
position | integer |
열 위치(0부터) |
|
type_interval_type
|
type_interval_type | string |
간격 형식 형식 |
|
type_name
|
type_name | SqlColumnInfoTypeName |
기본 데이터 형식의 이름입니다. 여기에는 STRUCT, MAP 또는 ARRAY와 같은 복합 형식에 대한 세부 정보가 포함되지 않습니다. |
|
type_precision
|
type_precision | integer |
DECIMAL 형식의 숫자 수 |
|
type_scale
|
type_scale | integer |
DECIMAL 형식의 소수 자릿수 |
|
type_text
|
type_text | string |
전체 SQL 형식 사양 |
SqlColumnInfoTypeName
기본 데이터 형식의 이름입니다. 여기에는 STRUCT, MAP 또는 ARRAY와 같은 복합 형식에 대한 세부 정보가 포함되지 않습니다.
기본 데이터 형식의 이름입니다. 여기에는 STRUCT, MAP 또는 ARRAY와 같은 복합 형식에 대한 세부 정보가 포함되지 않습니다.
SqlStatementResponse
문 실행 응답
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
나타나다
|
manifest | SqlResultManifest |
결과 집합 스키마 및 메타데이터 |
|
결과
|
result | SqlResultData | |
|
statement_id
|
statement_id | string |
문 ID |
|
status
|
status | SqlStatementStatus |
문 실행 상태 |
SqlResultManifest
결과 집합 스키마 및 메타데이터
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
청크
|
chunks | array of SqlBaseChunkInfo |
결과 청크 메타데이터 |
|
format
|
format | string | |
|
schema(스키마)
|
schema | SqlResultSchema |
결과 집합 열 정의 |
|
total_byte_count
|
total_byte_count | integer |
결과 집합의 총 바이트 수 |
|
total_chunk_count
|
total_chunk_count | integer |
총 청크 수 |
|
total_row_count
|
total_row_count | integer |
총 행 수 |
|
잘라버린
|
truncated | boolean |
결과 잘림 상태 |
SqlStatementStatus
문 실행 상태
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
오류
|
error | SqlServiceError | |
|
주
|
state | SqlStatementState |
문 실행 상태 |
SqlStatementState
SqlServiceError
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
error_code
|
error_code | string | |
|
message
|
message | string |
오류 메시지 |
SqlResultSchema
결과 집합 열 정의
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
column_count
|
column_count | integer | |
|
columns
|
columns | array of SqlColumnInfo |
SqlResultData
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
byte_count
|
byte_count | integer |
결과 청크의 바이트 |
|
chunk_index
|
chunk_index | integer |
청크 위치 |
|
data_array
|
data_array | SqlJsonArray |
문자열 값이 있는 배열 배열 |
|
external_links
|
external_links | array of SqlExternalLink | |
|
next_chunk_index
|
next_chunk_index | integer |
다음 청크 인덱스 |
|
next_chunk_internal_link
|
next_chunk_internal_link | string |
다음 청크 링크 |
|
row_count
|
row_count | integer |
청크의 행 |
|
row_offset
|
row_offset | integer |
시작 행 오프셋 |
SqlJsonArray
문자열 값이 있는 배열 배열
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
아이템
|
array of |
SqlExternalLink
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
byte_count
|
byte_count | integer |
청크 단위 바이트 |
|
chunk_index
|
chunk_index | integer |
청크 위치 |
|
만료
|
expiration | date-time |
링크 만료 시간 |
|
external_link
|
external_link | string | |
|
http_headers
|
http_headers | object |
필수 HTTP 헤더 |
|
next_chunk_index
|
next_chunk_index | integer |
다음 청크 인덱스 |
|
next_chunk_internal_link
|
next_chunk_internal_link | string |
다음 청크 링크 |
|
row_count
|
row_count | integer |
청크의 행 |
|
row_offset
|
row_offset | integer |
시작 행 오프셋 |
JobsRunNowResponse
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
run_id
|
run_id | integer |
새로 트리거된 실행의 전역적으로 고유한 ID입니다. |
JobsPerformanceTarget
JobsPipelineParams
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
full_refresh
|
full_refresh | boolean |
true이면 델타 라이브 테이블에서 전체 새로 고침을 트리거합니다. |
JobsQueueSettings
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
enabled
|
enabled | boolean |
true이면 작업에 대해 큐에 대기를 사용하도록 설정합니다. 이 필드는 필수 필드입니다. |
JobsListJobsResponse
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
jobs
|
jobs | array of JobsBaseJob |
작업 목록입니다. 나열할 작업이 있는 경우에만 응답에 포함됩니다. |
|
next_page_token
|
next_page_token | string |
작업의 다음 페이지를 나열하는 데 사용할 수 있는 토큰입니다(해당하는 경우). |
|
prev_page_token
|
prev_page_token | string |
작업의 이전 페이지를 나열하는 데 사용할 수 있는 토큰입니다(해당하는 경우). |
JobsBaseJob
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
created_time
|
created_time | integer |
이 작업이 epoch 밀리초(1970년 1월 1일 UTC 이후 밀리초)로 만들어진 시간입니다. |
|
creator_user_name
|
creator_user_name | string |
작성자 사용자 이름입니다. 사용자가 이미 삭제된 경우 이 필드는 응답에 포함되지 않습니다. |
|
effective_budget_policy_id
|
effective_budget_policy_id | uuid |
이 작업에서 비용 특성을 위해 사용하는 예산 정책의 ID입니다. 이 설정은 우선 순위에 따라 1을 통해 설정할 수 있습니다. 계정 또는 작업 영역 콘솔 2를 통한 예산 관리자 작업 세부 정보 페이지의 작업 UI 및 budget_policy_id 3을 사용하는 작업 API. 작업 생성 또는 수정에 대한 run_as ID의 액세스 가능한 예산 정책을 기반으로 기본값을 유추합니다. |
|
더_있음
|
has_more | boolean |
작업에 표시되지 않는 더 많은 배열 속성(작업, job_clusters)이 있는지를 나타냅니다. :method:jobs/get 엔드포인트를 통해 액세스할 수 있습니다. API 2.2 :method:jobs/list 요청과 expand_tasks=true에만 관련이 있습니다. |
|
job_id
|
job_id | integer |
이 작업의 정식 식별자입니다. |
|
settings
|
settings | JobsJobSettings | |
|
trigger_state
|
trigger_state | JobsTriggerStateProto |
JobsJobSettings
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
budget_policy_id
|
budget_policy_id | uuid |
이 작업에 사용할 사용자 지정 예산 정책의 ID입니다. 지정하지 않으면 작업을 만들거나 수정할 때 기본 예산 정책이 적용될 수 있습니다. 이 워크로드에서 사용하는 예산 정책은 effective_budget_policy_id 참조하세요. |
|
지속적
|
continuous | JobsContinuous | |
|
배치
|
deployment | JobsJobDeployment | |
|
description
|
description | string |
작업에 대한 선택적 설명입니다. 최대 길이는 UTF-8 인코딩에서 27700자입니다. |
|
edit_mode
|
edit_mode | JobsJobEditMode | |
|
email_notifications
|
email_notifications | JobsJobEmailNotifications | |
|
environments
|
environments | array of JobsJobEnvironment |
이 작업의 서버리스 작업에서 참조할 수 있는 작업 실행 환경 사양 목록입니다. 서버리스 작업에는 환경이 있어야 합니다. 서버리스 Notebook 작업의 경우 Notebook 환경 패널에서 환경에 액세스할 수 있습니다. 다른 서버리스 작업의 경우 작업 설정에서 environment_key 사용하여 작업 환경을 지정해야 합니다. |
|
git_source
|
git_source | JobsGitSource | |
|
건강
|
health | JobsJobsHealthRules | |
|
job_clusters
|
job_clusters | array of JobsJobCluster |
이 작업의 태스크에서 공유하고 다시 사용할 수 있는 작업 클러스터 사양 목록입니다. 라이브러리는 공유 작업 클러스터에서 선언할 수 없습니다. 작업 설정에서 종속 라이브러리를 선언해야 합니다. |
|
max_concurrent_runs
|
max_concurrent_runs | integer |
선택적으로 허용되는 작업의 최대 동시 실행 수입니다. 동일한 작업의 여러 실행을 동시에 실행할 수 있도록 하려면 이 값을 설정합니다. 이는 예를 들어 빈번한 일정에 따라 작업을 트리거하고 연속 실행이 서로 겹치도록 하려는 경우 또는 입력 매개 변수와 다른 여러 실행을 트리거하려는 경우에 유용합니다. 이 설정은 새 실행에만 영향을 줍니다. 예를 들어 작업의 동시성이 4이고 4개의 동시 활성 실행이 있다고 가정합니다. 그런 다음 동시성을 3으로 설정해도 활성 실행은 종료되지 않습니다. 그러나 3개 미만의 활성 실행이 없으면 그 때부터 새 실행을 건너뜁습니다. 이 값은 1000을 초과할 수 없습니다. 이 값을 0으로 설정하면 모든 새 실행을 건너뛰게 됩니다. |
|
이름
|
name | string |
작업에 대한 선택적 이름입니다. 최대 길이는 UTF-8 인코딩에서 4096바이트입니다. |
|
notification_settings
|
notification_settings | JobsJobNotificationSettings | |
|
parameters
|
parameters | array of JobsJobParameterDefinition |
작업 수준 매개 변수 정의 |
|
performance_target
|
performance_target | JobsPerformanceTarget | |
|
대기열
|
queue | JobsQueueSettings | |
|
실행_로
|
run_as | JobsJobRunAs | |
|
일정
|
schedule | JobsCronSchedule | |
|
tags
|
tags | object |
작업과 연결된 태그의 맵입니다. 이러한 태그는 작업 클러스터에 대한 클러스터 태그로 클러스터에 전달되며 클러스터 태그와 동일한 제한 사항이 적용됩니다. 최대 25개의 태그를 작업에 추가할 수 있습니다. |
|
tasks
|
tasks | array of JobsTask |
이 작업에서 실행할 작업 사양 목록입니다. 쓰기 엔드포인트에서 최대 1,000개의 요소를 지원합니다(:method:jobs/create, :method:jobs/reset, :method:jobs/update, :method:jobs/submit). 읽기 엔드포인트는 100개의 작업만 반환합니다. 100개 이상의 작업을 사용할 수 있는 경우 :method:jobs/get을 사용하여 페이지를 매길 수 있습니다. 개체 루트의 next_page_token 필드를 사용하여 더 많은 결과를 사용할 수 있는지 확인합니다. |
|
timeout_seconds
|
timeout_seconds | integer |
이 작업의 각 실행에 적용되는 선택적 시간 제한입니다. 값이 0이면 시간 제한이 없습니다. |
|
trigger
|
trigger | JobsTriggerSettings | |
|
webhook_notifications
|
webhook_notifications | JobsWebhookNotifications |
JobsContinuous
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
pause_status
|
pause_status | JobsPauseStatus |
JobsPauseStatus
JobsJobDeployment
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
친절한
|
kind | JobsJobDeploymentKind | |
|
metadata_file_path
|
metadata_file_path | string |
배포 메타데이터를 포함하는 파일의 경로입니다. |
JobsJobDeploymentKind
JobsJobEditMode
JobsJobEmailNotifications
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
on_duration_warning_threshold_exceeded
|
on_duration_warning_threshold_exceeded | array of string |
실행 기간이 상태 필드의 RUN_DURATION_SECONDS 메트릭에 대해 지정된 임계값을 초과할 때 알림을 받을 전자 메일 주소 목록입니다. 작업의 상태 필드에 RUN_DURATION_SECONDS 메트릭에 대한 규칙이 지정되지 않으면 알림이 전송되지 않습니다. |
|
on_failure
|
on_failure | array of string |
실행이 실패할 때 알림을 받을 전자 메일 주소 목록입니다. 실행이 INTERNAL_ERROR life_cycle_state 또는 FAILED로 끝나거나 TIMED_OUT result_state 경우 성공적으로 완료되지 않은 것으로 간주됩니다. 작업 생성, 다시 설정 또는 업데이트에 지정되지 않은 경우 목록이 비어 있고 알림이 전송되지 않습니다. |
|
on_start
|
on_start | array of string |
실행이 시작될 때 알림을 받을 전자 메일 주소 목록입니다. 작업 만들기, 다시 설정 또는 업데이트에 지정하지 않으면 목록이 비어 있고 알림이 전송되지 않습니다. |
|
on_streaming_backlog_exceeded
|
on_streaming_backlog_exceeded | array of string |
모든 스트림에 대해 스트리밍 백로그 임계값을 초과할 때 알릴 전자 메일 주소 목록입니다. 스트리밍 백로그 임계값은 STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDS 또는 STREAMING_BACKLOG_FILES 메트릭을 사용하여 상태 필드에서 설정할 수 있습니다. 경고는 이러한 메트릭의 10분 평균을 기반으로 합니다. 문제가 지속되면 30분마다 알림이 다시 전송됩니다. |
|
on_success
|
on_success | array of string |
실행이 성공적으로 완료되면 알림을 받을 전자 메일 주소 목록입니다. 실행이 종료된 life_cycle_state 성공 result_state 끝나는 경우 성공적으로 완료된 것으로 간주됩니다. 작업 만들기, 다시 설정 또는 업데이트에 지정하지 않으면 목록이 비어 있고 알림이 전송되지 않습니다. |
JobsJobEnvironment
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
environment_key
|
environment_key | string |
환경의 키입니다. 작업 내에서 고유해야 합니다. |
|
사양
|
spec | ComputeEnvironment |
ComputeEnvironment
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
종속성
|
dependencies | array of string |
이 환경의 pip 버전에서 지원하는 pip 종속성 목록입니다. 각 종속성은 https://pip.pypa.io/en/stable/reference/requirements-file-format/. 허용되는 종속성에는 요구 사항 지정자, 보관 URL, 로컬 프로젝트 경로(예: Azure Databricks의 WSFS 또는 UC 볼륨) 또는 VCS 프로젝트 URL이 포함됩니다. |
|
environment_version
|
environment_version | string |
필수 사항입니다. 환경에서 사용하는 환경 버전입니다. 각 버전에는 특정 Python 버전 및 Python 패키지 집합이 함께 제공됩니다. 버전은 정수로 구성된 문자열입니다. https://learn.microsoft.com/azure/databricks/release-notes/serverless/#serverless-environment-versions을(를) 참조하세요. |
JobsGitSource
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
git_branch
|
git_branch | string |
이 작업에서 체크 아웃하고 사용할 분기의 이름입니다. 이 필드는 git_tag 또는 git_commit 함께 지정할 수 없습니다. |
|
git_commit
|
git_commit | string |
이 작업에서 체크 아웃하고 사용하도록 커밋합니다. 이 필드는 git_branch 또는 git_tag 함께 지정할 수 없습니다. |
|
git_provider
|
git_provider | JobsGitProvider | |
|
git_snapshot
|
git_snapshot | JobsGitSnapshot | |
|
git_tag
|
git_tag | string |
이 작업에서 체크 아웃하고 사용할 태그의 이름입니다. 이 필드는 git_branch 또는 git_commit 함께 지정할 수 없습니다. |
|
git_url
|
git_url | string |
이 작업에서 복제할 리포지토리의 URL입니다. |
JobsGitProvider
JobsGitSnapshot
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
used_commit
|
used_commit | string |
실행을 실행하는 데 사용된 커밋입니다. git_branch 지정한 경우 실행 시 분기의 HEAD를 가리킵니다. git_tag 지정되었으면 태그가 가리키는 커밋을 가리킵니다. |
JobsJobsHealthRules
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
규칙
|
rules | array of JobsJobsHealthRule |
JobsJobsHealthRule
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
metric
|
metric | JobsJobsHealthMetric | |
|
op
|
op | JobsJobsHealthOperator | |
|
value
|
value | integer |
상태 규칙을 충족하기 위해 상태 메트릭이 준수해야 하는 임계값을 지정합니다. |
JobsJobsHealthMetric
JobsJobsHealthOperator
JobsJobCluster
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
job_cluster_key
|
job_cluster_key | string |
작업 클러스터의 고유한 이름입니다. 이 필드는 필수이며 작업 내에서 고유해야 합니다. JobTaskSettings는 이 필드를 참조하여 작업 실행을 위해 시작할 클러스터를 결정할 수 있습니다. |
|
new_cluster
|
new_cluster | ComputeClusterSpec |
ComputeClusterSpec
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
apply_policy_default_values
|
apply_policy_default_values | boolean |
true로 설정하면 정책의 고정 및 기본값이 생략된 필드에 사용됩니다. false로 설정하면 정책의 고정 값만 적용됩니다. |
|
autoscale
|
autoscale | ComputeAutoScale | |
|
autotermination_minutes
|
autotermination_minutes | integer |
지정된 시간(분) 동안 비활성 상태인 경우 클러스터를 자동으로 종료합니다. 설정하지 않으면 이 클러스터가 자동으로 종료되지 않습니다. 지정된 경우 임계값은 10분에서 10000분 사이여야 합니다. 사용자는 자동 종료를 명시적으로 사용하지 않도록 설정하기 위해 이 값을 0으로 설정할 수도 있습니다. |
|
azure_attributes
|
azure_attributes | ComputeAzureAttributes | |
|
cluster_log_conf
|
cluster_log_conf | ComputeClusterLogConf | |
|
클러스터 이름
|
cluster_name | string |
사용자가 요청한 클러스터 이름입니다. 고유할 필요는 없습니다. 만들 때 지정하지 않으면 클러스터 이름은 빈 문자열이 됩니다. 작업 클러스터의 경우 클러스터 이름은 작업 및 작업 실행 ID에 따라 자동으로 설정됩니다. |
|
custom_tags
|
custom_tags | object |
클러스터 리소스를 위한 추가 태그. Azure Databricks는 모든 클러스터 리소스(예: AWS 인스턴스 및 EBS 볼륨)에 default_tags 외에도 이러한 태그로 태그를 지정합니다. 참고: - 현재 Azure Databricks는 최대 45개의 사용자 지정 태그를 허용합니다. 클러스터는 리소스 태그가 클러스터 태그의 하위 집합인 경우에만 클라우드 리소스를 다시 사용할 수 있습니다. |
|
data_security_mode
|
data_security_mode | ComputeDataSecurityMode | |
|
docker_image
|
docker_image | ComputeDockerImage | |
|
driver_instance_pool_id
|
driver_instance_pool_id | string |
클러스터 드라이버에 대한 인스턴스 풀의 선택적 ID가 속합니다. 드라이버 풀이 할당되지 않은 경우 풀 클러스터는 id(instance_pool_id)가 있는 인스턴스 풀을 사용합니다. |
|
driver_node_type_id
|
driver_node_type_id | string |
Spark 드라이버의 노드 형식입니다. 이 필드는 선택 사항입니다. 설정되지 않은 경우 드라이버 노드 형식은 위에서 정의한 node_type_id 동일한 값으로 설정됩니다. virtual_cluster_size 설정된 경우 이 필드는 node_type_id 함께 설정하면 안 됩니다. driver_node_type_id, node_type_id 및 virtual_cluster_size 모두 지정되면 driver_node_type_id 및 node_type_id 우선합니다. |
|
enable_elastic_disk
|
enable_elastic_disk | boolean |
로컬 스토리지 자동 크기 조정: 사용하도록 설정하면 Spark 작업자가 디스크 공간이 부족할 때 이 클러스터는 추가 디스크 공간을 동적으로 확보합니다. 이 기능을 사용하려면 특정 AWS 권한이 올바르게 작동해야 합니다. 자세한 내용은 사용자 가이드를 참조하세요. |
|
enable_local_disk_encryption
|
enable_local_disk_encryption | boolean |
클러스터 VM의 로컬 디스크에서 LUKS를 사용하도록 설정할지 여부 |
|
init_scripts
|
init_scripts | array of ComputeInitScriptInfo |
init 스크립트를 저장하기 위한 구성입니다. 어떤 수의 목적지도 지정할 수 있습니다. 스크립트는 제공된 순서대로 순차적으로 실행됩니다. cluster_log_conf 지정하면 init 스크립트 로그가 destination</cluster-ID>/<init_scripts 전송>됩니다. |
|
instance_pool_id
|
instance_pool_id | string |
클러스터가 속한 인스턴스 풀의 선택적 ID입니다. |
|
is_single_node
|
is_single_node | boolean |
이 필드는 kind = CLASSIC_PREVIEW 경우에만 사용할 수 있습니다. true로 설정하면 Azure Databricks는 단일 노드 관련 custom_tags, spark_conf 및 num_workers 자동으로 설정합니다. |
|
친절한
|
kind | ComputeKind | |
|
node_type_id
|
node_type_id | string |
이 필드는 단일 값을 통해 이 클러스터의 각 Spark 노드에서 사용할 수 있는 리소스를 인코딩합니다. 예를 들어, Spark 노드는 메모리 또는 컴퓨팅 집약적 워크로드에 대해 프로비저닝되고 최적화될 수 있습니다. 사용 가능한 노드 형식 목록은 :method:clusters/listNodeTypes API 호출을 사용하여 검색할 수 있습니다. |
|
num_workers
|
num_workers | integer |
이 클러스터에 있어야 하는 작업자 노드의 수입니다. 클러스터에는 총 num_workers + 1개의 Spark 노드에 대해 하나의 Spark 드라이버 및 num_workers 실행기가 있습니다. 참고: 클러스터의 속성을 읽을 때 이 필드는 실제 현재 작업자 수가 아닌 원하는 작업자 수를 반영합니다. 예를 들어 클러스터의 크기가 5~10명의 작업자로 조정되면 이 필드는 즉시 10명의 작업자의 목표 크기를 반영하도록 업데이트되는 반면, spark_info 나열된 작업자는 새 노드가 프로비전될 때 점차 5에서 10으로 증가합니다. |
|
policy_id
|
policy_id | string |
해당하는 경우 클러스터를 만드는 데 사용되는 클러스터 정책의 ID입니다. |
|
runtime_engine
|
runtime_engine | ComputeRuntimeEngine | |
|
single_user_name
|
single_user_name | string |
data_security_mode SINGLE_USER 경우 단일 사용자 이름 |
|
spark_conf
|
spark_conf | object |
선택적 사용자 지정 Spark 구성 키-값 쌍 집합을 포함하는 개체입니다. 또한 사용자는 spark.driver.extraJavaOptions 및 spark.executor.extraJavaOptions를 통해 드라이버와 실행기에 추가 JVM 옵션 문자열을 전달할 수도 있습니다. |
|
spark_env_vars
|
spark_env_vars | object |
선택적 사용자 지정 환경 변수 키-값 쌍 집합을 포함하는 개체입니다. 드라이버 및 작업자를 시작하는 동안 양식의 키-값 쌍(X,Y)은 있는 그대로 내보내집니다(예: X='Y'내보내기). 추가 SPARK_DAEMON_JAVA_OPTS 집합을 지정하려면 아래 예제와 같이 $SPARK_DAEMON_JAVA_OPTS에 추가하는 것이 좋습니다. 이렇게 하면 모든 기본 databricks 관리 환경 변수도 포함됩니다. Spark 환경 변수 예: {"SPARK_WORKER_MEMORY": "28000m", "SPARK_LOCAL_DIRS": "/local_disk0"} 또는 {"SPARK_DAEMON_JAVA_OPTS": "$SPARK_DAEMON_JAVA_OPTS -Dspark.shuffle.service.enabled=true"} |
|
spark_version
|
spark_version | string |
클러스터의 Spark 버전(예: 3.3.x-scala2.11)입니다. 사용 가능한 Spark 버전 목록은 :method:clusters/sparkVersions API 호출을 사용하여 검색할 수 있습니다. |
|
ssh_public_keys
|
ssh_public_keys | array of string |
이 클러스터의 각 Spark 노드에 추가될 SSH 공개 키 콘텐츠입니다. 해당 프라이빗 키를 사용하여 포트 2200에서 사용자 이름 ubuntu로 로그인할 수 있습니다. 최대 10 개의 키를 지정할 수 있습니다. |
|
use_ml_runtime
|
use_ml_runtime | boolean |
이 필드는 kind = CLASSIC_PREVIEW 경우에만 사용할 수 있습니다. effective_spark_version spark_version(DBR 릴리스), 이 필드 use_ml_runtime, node_type_id gpu 노드인지 여부에 따라 결정됩니다. |
|
workload_type
|
workload_type | ComputeWorkloadType |
ComputeAutoScale
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
max_workers
|
max_workers | integer |
오버로드 시 클러스터가 확장될 수 있는 최대 작업자 수입니다. max_workers min_workers 보다 엄격히 커야 합니다. |
|
min_workers
|
min_workers | integer |
사용량이 부족할 때 클러스터를 축소할 수 있는 최소 작업자 수입니다. 또한 클러스터를 만든 후 갖게 될 초기 작업자 수이기도 합니다. |
ComputeAzureAttributes
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
availability
|
availability | ComputeAzureAvailability | |
|
first_on_demand
|
first_on_demand | integer |
클러스터의 첫 번째 first_on_demand 노드는 주문형 인스턴스에 배치됩니다. 클러스터 드라이버 노드가 주문형 인스턴스에 배치되도록 하려면 이 값이 0보다 커야 합니다. 이 값이 현재 클러스터 크기보다 크거나 같으면 모든 노드가 주문형 인스턴스에 배치됩니다. 이 값이 현재 클러스터 크기보다 작으면 first_on_demand 노드가 주문형 인스턴스에 배치되고 나머지는 가용성 인스턴스에 배치됩니다. 이 값은 클러스터 크기에 영향을 주지 않으며 현재 클러스터의 수명 동안 변경될 수 없습니다. |
|
log_analytics_info
|
log_analytics_info | ComputeLogAnalyticsInfo | |
|
spot_bid_max_price
|
spot_bid_max_price | double |
Azure 스폿 인스턴스에 사용할 최대 입찰가입니다. 입찰의 최대 가격은 인스턴스의 주문형 가격보다 높을 수 없습니다. 지정하지 않으면 기본값은 -1로, 가격 및 가용성을 기준으로 인스턴스를 제거할 수 없음을 지정합니다. 또한 값은 0 또는 -1이어야 합니다 > . |
ComputeAzureAvailability
ComputeLogAnalyticsInfo
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
log_analytics_primary_key
|
log_analytics_primary_key | string | |
|
log_analytics_workspace_id
|
log_analytics_workspace_id | string |
ComputeClusterLogConf
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
dbfs
|
dbfs | ComputeDbfsStorageInfo | |
|
volumes
|
volumes | ComputeVolumesStorageInfo |
ComputeDbfsStorageInfo
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
destination
|
destination | string |
dbfs 대상(예: dbfs:/my/path) |
ComputeVolumesStorageInfo
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
destination
|
destination | string |
UC 볼륨 대상(예: /Volumes/catalog/schema/vol1/init-scripts/setup-datadog.sh 또는 dbfs:/Volumes/catalog/schema/vol1/init-scripts/setup-datadog.sh |
ComputeDataSecurityMode
ComputeDockerImage
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
basic_auth
|
basic_auth | ComputeDockerBasicAuth | |
|
url
|
url | string |
Docker 이미지의 URL입니다. |
ComputeDockerBasicAuth
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
암호
|
password | string |
사용자의 암호 |
|
사용자 이름
|
username | string |
사용자의 이름 |
ComputeInitScriptInfo
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
abfss
|
abfss | ComputeAdlsgen2Info | |
|
file
|
file | ComputeLocalFileInfo | |
|
gcs
|
gcs | ComputeGcsStorageInfo | |
|
volumes
|
volumes | ComputeVolumesStorageInfo | |
|
workspace
|
workspace | ComputeWorkspaceStorageInfo |
ComputeAdlsgen2Info
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
destination
|
destination | string |
abfss 대상(예: abfss:// container-name<@>storage-account-name.dfs.core.windows.net/<> directory-name<>) |
ComputeLocalFileInfo
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
destination
|
destination | string |
로컬 파일 대상(예: file:/my/local/file.sh |
ComputeGcsStorageInfo
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
destination
|
destination | string |
GCS 대상/URI(예: gs://my-bucket/some-prefix |
ComputeWorkspaceStorageInfo
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
destination
|
destination | string |
wsfs 대상(예: workspace:/cluster-init-scripts/setup-datadog.sh |
ComputeKind
ComputeRuntimeEngine
ComputeWorkloadType
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
clients
|
clients | ComputeClientsTypes |
ComputeClientsTypes
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
jobs
|
jobs | boolean |
작업을 설정하면 클러스터를 작업에 사용할 수 있습니다. |
|
노트북
|
notebooks | boolean |
Notebook을 설정하면 이 클러스터를 Notebook에 사용할 수 있습니다. |
JobsJobNotificationSettings
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
no_alert_for_canceled_runs
|
no_alert_for_canceled_runs | boolean |
true이면 실행이 취소된 경우 on_failure 지정된 받는 사람에게 알림을 보내지 마세요. |
|
no_alert_for_skipped_runs
|
no_alert_for_skipped_runs | boolean |
true이면 실행을 건너뛰면 on_failure 지정된 받는 사람에게 알림을 보내지 마세요. |
JobsJobParameterDefinition
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
default
|
default | string |
매개 변수의 기본값입니다. |
|
이름
|
name | string |
정의된 매개 변수의 이름입니다. 영숫자 문자인 _, -및 .만 포함할 수 있습니다. |
JobsJobRunAs
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
service_principal_name
|
service_principal_name | string |
활성 서비스 주체의 애플리케이션 ID입니다. 이 필드를 설정하려면 servicePrincipal/사용자 역할이 필요합니다. |
|
user_name
|
user_name | string |
활성 작업 영역 사용자의 전자 메일입니다. 관리자가 아닌 사용자는 이 필드를 자신의 전자 메일로만 설정할 수 있습니다. |
JobsCronSchedule
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
pause_status
|
pause_status | JobsPauseStatus | |
|
quartz_cron_expression
|
quartz_cron_expression | string |
작업 일정을 설명하는 Quartz 구문을 사용하는 Cron 식입니다. 자세한 내용은 Cron 트리거 를 참조하세요. 이 필드는 필수 필드입니다. |
|
timezone_id
|
timezone_id | string |
Java 표준 시간대 ID입니다. 작업 일정은 이 표준 시간대와 관련하여 해결됩니다. 자세한 내용은 Java TimeZone 을 참조하세요. 이 필드는 필수 필드입니다. |
JobsTask
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
clean_rooms_notebook_task
|
clean_rooms_notebook_task | Object | |
|
condition_task
|
condition_task | JobsConditionTask | |
|
dashboard_task
|
dashboard_task | JobsDashboardTask | |
|
dbt_task
|
dbt_task | Object | |
|
depends_on
|
depends_on | array of JobsTaskDependency |
작업의 종속성 그래프를 지정하는 개체의 선택적 배열입니다. 이 필드에 지정된 모든 작업은 이 작업을 실행하기 전에 완료해야 합니다. run_if 조건이 true인 경우에만 태스크가 실행됩니다. 키는 task_key 값은 종속 작업에 할당된 이름입니다. |
|
description
|
description | string |
이 작업에 대한 선택적 설명입니다. |
|
disable_auto_optimization
|
disable_auto_optimization | boolean |
서버리스에서 자동 최적화를 사용하지 않도록 설정하는 옵션 |
|
email_notifications
|
email_notifications | JobsTaskEmailNotifications | |
|
environment_key
|
environment_key | string |
작업의 환경 사양을 참조하는 키입니다. 이 필드는 서버리스 컴퓨팅을 사용할 때 Python 스크립트, Python 휠 및 dbt 작업에 필요합니다. |
|
existing_cluster_id
|
existing_cluster_id | string |
existing_cluster_id 경우 모든 실행에 사용되는 기존 클러스터의 ID입니다. 기존 클러스터에서 작업 또는 작업을 실행할 때 응답을 중지하는 경우 클러스터를 수동으로 다시 시작해야 할 수 있습니다. 안정성을 높이기 위해 새 클러스터에서 작업 및 작업을 실행하는 것이 좋습니다. |
|
for_each_task
|
for_each_task | JobsForEachTask | |
|
건강
|
health | JobsJobsHealthRules | |
|
job_cluster_key
|
job_cluster_key | string |
job_cluster_key 경우 이 작업은 job.settings.job_clusters 지정된 클러스터를 다시 사용하여 실행됩니다. |
|
libraries
|
libraries | array of ComputeLibrary |
클러스터에 설치할 라이브러리의 선택적 목록입니다. 기본값은 빈 목록입니다. |
|
max_retries
|
max_retries | integer |
실패한 실행을 다시 시도하는 선택적 최대 횟수입니다. 실행이 FAILED result_state 또는 INTERNAL_ERROR life_cycle_state 완료된 경우 실패한 것으로 간주됩니다. -1 값은 무기한 재시도를 의미하며 값 0은 다시 시도하지 않는 것을 의미합니다. |
|
min_retry_interval_millis
|
min_retry_interval_millis | integer |
실패한 실행의 시작과 후속 재시도 실행 사이의 최소 간격(밀리초)입니다. 기본 동작은 실패한 실행이 즉시 다시 시도된다는 것입니다. |
|
new_cluster
|
new_cluster | ComputeClusterSpec | |
|
notebook_task
|
notebook_task | JobsNotebookTask | |
|
notification_settings
|
notification_settings | JobsTaskNotificationSettings | |
|
pipeline_task
|
pipeline_task | JobsPipelineTask | |
|
power_bi_task
|
power_bi_task | Object | |
|
python_wheel_task
|
python_wheel_task | JobsPythonWheelTask | |
|
retry_on_timeout
|
retry_on_timeout | boolean |
시간 초과 시 작업을 다시 시도할지 여부를 지정하는 선택적 정책입니다. 기본 동작은 시간 제한 시 다시 시도하지 않는 것입니다. |
|
run_if
|
run_if | JobsRunIf | |
|
run_job_task
|
run_job_task | JobsRunJobTask | |
|
spark_jar_task
|
spark_jar_task | JobsSparkJarTask | |
|
spark_python_task
|
spark_python_task | JobsSparkPythonTask | |
|
spark_submit_task
|
spark_submit_task | JobsSparkSubmitTask | |
|
sql_task
|
sql_task | Object | |
|
task_key
|
task_key | string |
작업에 대한 고유한 이름입니다. 이 필드는 다른 작업에서 이 작업을 참조하는 데 사용됩니다. 이 필드는 필수이며 부모 작업 내에서 고유해야 합니다. 업데이트 또는 다시 설정에서 이 필드는 업데이트 또는 재설정할 작업을 참조하는 데 사용됩니다. |
|
timeout_seconds
|
timeout_seconds | integer |
이 작업 작업의 각 실행에 적용되는 선택적 시간 제한입니다. 값이 0이면 시간 제한이 없습니다. |
|
webhook_notifications
|
webhook_notifications | JobsWebhookNotifications |
JobsConditionTask
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
왼쪽
|
left | string |
조건 태스크의 왼쪽 피연산자입니다. 문자열 값 또는 작업 상태 또는 매개 변수 참조일 수 있습니다. |
|
op
|
op | JobsConditionTaskOp | |
|
오른쪽
|
right | string |
조건 태스크의 오른쪽 피연산자입니다. 문자열 값 또는 작업 상태 또는 매개 변수 참조일 수 있습니다. |
JobsConditionTaskOp
JobsDashboardTask
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
dashboard_id
|
dashboard_id | string |
새로 고칠 대시보드의 식별자입니다. |
|
subscription
|
subscription | JobsSubscription | |
|
warehouse_id
|
warehouse_id | string |
선택 사항: 일정에 따라 대시보드를 실행할 웨어하우스 ID입니다. 지정하지 않으면 대시보드의 기본 웨어하우스가 사용됩니다. |
JobsSubscription
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
custom_subject
|
custom_subject | string |
선택 사항: 사용자가 구독자에게 보낸 전자 메일에 사용자 지정 제목 줄을 지정할 수 있습니다. |
|
일시 중지
|
paused | boolean |
true이면 구독에서 전자 메일을 보내지 않습니다. |
|
구독자
|
subscribers | array of JobsSubscriptionSubscriber |
대시보드의 스냅샷을 보낼 구독자 목록입니다. |
JobsSubscriptionSubscriber
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
destination_id
|
destination_id | string |
destination_id 필드가 있으면 대시보드의 스냅샷이 대상으로 전송됩니다. |
|
user_name
|
user_name | string |
user_name 필드가 있으면 대시보드의 스냅샷이 사용자의 전자 메일로 전송됩니다. |
JobsSource
JobsTaskDependency
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
결과
|
outcome | string |
조건 태스크 종속성에만 지정할 수 있습니다. 이 작업을 실행하려면 충족해야 하는 종속 작업의 결과입니다. |
|
task_key
|
task_key | string |
이 태스크가 사용하는 작업의 이름입니다. |
JobsTaskEmailNotifications
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
on_duration_warning_threshold_exceeded
|
on_duration_warning_threshold_exceeded | array of string |
실행 기간이 상태 필드의 RUN_DURATION_SECONDS 메트릭에 대해 지정된 임계값을 초과할 때 알림을 받을 전자 메일 주소 목록입니다. 작업의 상태 필드에 RUN_DURATION_SECONDS 메트릭에 대한 규칙이 지정되지 않으면 알림이 전송되지 않습니다. |
|
on_failure
|
on_failure | array of string |
실행이 실패할 때 알림을 받을 전자 메일 주소 목록입니다. 실행이 INTERNAL_ERROR life_cycle_state 또는 FAILED로 끝나거나 TIMED_OUT result_state 경우 성공적으로 완료되지 않은 것으로 간주됩니다. 작업 생성, 다시 설정 또는 업데이트에 지정되지 않은 경우 목록이 비어 있고 알림이 전송되지 않습니다. |
|
on_start
|
on_start | array of string |
실행이 시작될 때 알림을 받을 전자 메일 주소 목록입니다. 작업 만들기, 다시 설정 또는 업데이트에 지정하지 않으면 목록이 비어 있고 알림이 전송되지 않습니다. |
|
on_streaming_backlog_exceeded
|
on_streaming_backlog_exceeded | array of string |
모든 스트림에 대해 스트리밍 백로그 임계값을 초과할 때 알릴 전자 메일 주소 목록입니다. 스트리밍 백로그 임계값은 STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDS 또는 STREAMING_BACKLOG_FILES 메트릭을 사용하여 상태 필드에서 설정할 수 있습니다. 경고는 이러한 메트릭의 10분 평균을 기반으로 합니다. 문제가 지속되면 30분마다 알림이 다시 전송됩니다. |
|
on_success
|
on_success | array of string |
실행이 성공적으로 완료되면 알림을 받을 전자 메일 주소 목록입니다. 실행이 종료된 life_cycle_state 성공 result_state 끝나는 경우 성공적으로 완료된 것으로 간주됩니다. 작업 만들기, 다시 설정 또는 업데이트에 지정하지 않으면 목록이 비어 있고 알림이 전송되지 않습니다. |
ComputeLibrary
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
크 랑
|
cran | ComputeRCranLibrary | |
|
독
|
jar | string |
설치할 JAR 라이브러리의 URI입니다. 지원되는 URI에는 작업 영역 경로, Unity 카탈로그 볼륨 경로 및 ADLS URI가 포함됩니다. 예: { "jar": "/Workspace/path/to/library.jar" }, { "jar" : "/Volumes/path/to/library.jar" } 또는 { "jar": "abfss://my-bucket/library.jar" }. ADLS를 사용하는 경우 클러스터에 라이브러리에 대한 읽기 권한이 있는지 확인하세요. ADLS URI에 액세스하려면 Microsoft Entra ID 서비스 주체를 사용하여 클러스터를 시작해야 할 수 있습니다. |
|
maven
|
maven | ComputeMavenLibrary | |
|
pypi
|
pypi | ComputePythonPyPiLibrary | |
|
요구 사항
|
requirements | string |
설치할 requirements.txt 파일의 URI입니다. 작업 영역 경로 및 Unity 카탈로그 볼륨 경로만 지원됩니다. 예: { "requirements": "/Workspace/path/to/requirements.txt" } 또는 { "requirements" : "/Volumes/path/to/requirements.txt" } |
|
whl
|
whl | string |
설치할 휠 라이브러리의 URI입니다. 지원되는 URI에는 작업 영역 경로, Unity 카탈로그 볼륨 경로 및 ADLS URI가 포함됩니다. 예: { "whl": "/Workspace/path/to/library.whl" }, { "whl" : "/Volumes/path/to/library.whl" } 또는 { "whl": "abfss://my-bucket/library.whl" }. ADLS를 사용하는 경우 클러스터에 라이브러리에 대한 읽기 권한이 있는지 확인하세요. ADLS URI에 액세스하려면 Microsoft Entra ID 서비스 주체를 사용하여 클러스터를 시작해야 할 수 있습니다. |
JobsForEachTask
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
동시성
|
concurrency | integer |
선택적 최대 태스크 동시 실행 수입니다. 태스크의 여러 실행을 동시에 실행할 수 있게 하려면 이 값을 설정합니다. |
|
입력
|
inputs | string |
반복할 작업의 배열입니다. JSON 문자열 또는 배열 매개 변수에 대한 참조일 수 있습니다. |
|
작업
|
task | Object |
ComputeRCranLibrary
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
패키지
|
package | string |
설치할 CRAN 패키지의 이름입니다. |
|
리포지토리
|
repo | string |
패키지를 찾을 수 있는 리포지토리입니다. 지정하지 않으면 기본 CRAN 리포지토리가 사용됩니다. |
ComputeMavenLibrary
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
좌표
|
coordinates | string |
Gradle 스타일 메이븐 좌표입니다. 예: "org.jsoup:jsoup:1.7.2". |
|
제외
|
exclusions | array of string |
제외할 의존 목록입니다. 예: ["slf4j:slf4j", "*:hadoop-client"]. Maven 종속성 제외: https://maven.apache.org/guides/introduction/introduction-to-optional-and-excludes-dependencies.html. |
|
리포지토리
|
repo | string |
Maven 패키지를 설치할 Maven 리포지토리입니다. 생략하면 Maven Central 리포지토리와 Spark 패키지가 모두 검색됩니다. |
ComputePythonPyPiLibrary
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
패키지
|
package | string |
설치할 pypi 패키지의 이름입니다. 선택적 정확한 버전 사양도 지원됩니다. 예: "simplejson" 및 "simplejson==3.8.0". |
|
리포지토리
|
repo | string |
패키지를 찾을 수 있는 리포지토리입니다. 지정하지 않으면 기본 pip 인덱스가 사용됩니다. |
JobsNotebookTask
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
base_parameters
|
base_parameters | object |
이 작업의 각 실행에 사용할 기본 매개 변수입니다. 매개 변수가 지정된 상태에서 :method:jobs/run Now를 호출하여 실행을 시작하면 두 매개 변수 맵이 병합됩니다. base_parameters run-now에서 동일한 키를 지정하면 run-now의 값이 사용됩니다. 작업 매개 변수 변수를 사용하여 작업 실행에 대한 정보가 포함된 매개 변수를 설정합니다. Notebook이 작업의 base_parameters 지정되지 않은 매개 변수를 사용하거나 run-now 재정의 매개 변수를 사용하는 경우 Notebook의 기본값이 사용됩니다. dbutils.widgets.get을 사용하여 Notebook에서 이러한 매개 변수를 검색합니다. 이 필드의 JSON 표현은 1MB를 초과할 수 없습니다. |
|
notebook_path
|
notebook_path | string |
Azure Databricks 작업 영역 또는 원격 리포지토리에서 실행할 Notebook의 경로입니다. Azure Databricks 작업 영역에 저장된 Notebook의 경우 경로는 절대 경로여야 하며 슬래시로 시작해야 합니다. 원격 리포지토리에 저장된 Notebook의 경우 경로가 상대 경로여야 합니다. 이 필드는 필수 필드입니다. |
|
source
|
source | JobsSource | |
|
warehouse_id
|
warehouse_id | string |
SQL 웨어하우스에서 Notebook을 실행하는 선택적 warehouse_id. 클래식 SQL 웨어하우스는 지원되지 않습니다. 서버리스 또는 프로 SQL 웨어하우스를 사용하세요. SQL 웨어하우스는 SQL 셀만 지원합니다. Notebook에 SQL이 아닌 셀이 포함되어 있으면 실행이 실패합니다. |
JobsTaskNotificationSettings
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
alert_on_last_attempt
|
alert_on_last_attempt | boolean |
true이면 다시 시도된 실행에 대해 on_start 지정된 받는 사람에게 알림을 보내지 않고 마지막 실행 재시도까지 on_failure 지정된 받는 사람에게 알림을 보내지 마세요. |
|
no_alert_for_canceled_runs
|
no_alert_for_canceled_runs | boolean |
true이면 실행이 취소된 경우 on_failure 지정된 받는 사람에게 알림을 보내지 마세요. |
|
no_alert_for_skipped_runs
|
no_alert_for_skipped_runs | boolean |
true이면 실행을 건너뛰면 on_failure 지정된 받는 사람에게 알림을 보내지 마세요. |
JobsPipelineTask
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
full_refresh
|
full_refresh | boolean |
true이면 델타 라이브 테이블에서 전체 새로 고침을 트리거합니다. |
|
pipeline_id
|
pipeline_id | string |
실행할 파이프라인 작업의 전체 이름입니다. |
JobsPythonWheelTask
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
entry_point
|
entry_point | string |
사용할 명명된 진입점입니다. 패키지의 메타데이터에 없는 경우 $packageName.$entryPoint()를 사용하여 패키지에서 함수를 직접 실행합니다. |
|
named_parameters
|
named_parameters | object |
["--name=task", "--data=dbfs:/path/to/data.json"]의 형식으로 Python 휠 작업에 전달된 명령줄 매개 변수입니다. 매개 변수가 null이 아니면 비워 둡니다. |
|
package_name
|
package_name | string |
실행할 패키지의 이름 |
|
parameters
|
parameters | array of string |
Python 휠 작업에 전달된 명령줄 매개 변수입니다. named_parameters null이 아니면 비워 둡니다. |
JobsRunIf
JobsRunJobTask
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
job_id
|
job_id | integer |
트리거할 작업의 ID입니다. |
|
job_parameters
|
job_parameters | object |
작업을 트리거하는 데 사용되는 작업 수준 매개 변수입니다. |
|
pipeline_params
|
pipeline_params | JobsPipelineParams |
JobsSparkJarTask
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
main_class_name
|
main_class_name | string |
실행될 main 메서드가 포함된 클래스의 전체 이름입니다. 이 클래스는 라이브러리로 제공된 JAR에 포함되어야 합니다. 코드는 Spark 컨텍스트를 가져오려면 SparkContext.getOrCreate를 사용해야 합니다. 그렇지 않으면 작업 실행이 실패합니다. |
|
parameters
|
parameters | array of string |
main 메서드에 전달된 매개 변수입니다. 작업 매개 변수 변수를 사용하여 작업 실행에 대한 정보가 포함된 매개 변수를 설정합니다. |
JobsSparkPythonTask
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
parameters
|
parameters | array of string |
Python 파일에 전달된 명령줄 매개 변수입니다. 작업 매개 변수 변수를 사용하여 작업 실행에 대한 정보가 포함된 매개 변수를 설정합니다. |
|
python_file
|
python_file | string |
실행할 Python 파일입니다. 클라우드 파일 URI(예: dbfs:/, s3:/, adls:/, gcs:/) 및 작업 영역 경로가 지원됩니다. Azure Databricks 작업 영역에 저장된 Python 파일의 경우 경로는 절대 경로여야 하며 /로 시작해야 합니다. 원격 리포지토리에 저장된 파일의 경우 경로가 상대 경로여야 합니다. 이 필드는 필수 필드입니다. |
|
source
|
source | JobsSource |
JobsSparkSubmitTask
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
parameters
|
parameters | array of string |
spark submit에 전달된 명령줄 매개 변수입니다. 작업 매개 변수 변수를 사용하여 작업 실행에 대한 정보가 포함된 매개 변수를 설정합니다. |
JobsWebhookNotifications
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
on_duration_warning_threshold_exceeded
|
on_duration_warning_threshold_exceeded | array of JobsWebhook |
실행 기간이 상태 필드의 RUN_DURATION_SECONDS 메트릭에 대해 지정된 임계값을 초과할 때 호출할 시스템 알림 ID의 선택적 목록입니다. on_duration_warning_threshold_exceeded 속성에 대해 최대 3개의 대상을 지정할 수 있습니다. |
|
on_failure
|
on_failure | array of JobsWebhook |
실행이 실패할 때 호출할 시스템 알림 ID의 선택적 목록입니다. on_failure 속성에 대해 최대 3개의 대상을 지정할 수 있습니다. |
|
on_start
|
on_start | array of JobsWebhook |
실행이 시작될 때 호출할 시스템 알림 ID의 선택적 목록입니다. on_start 속성에 대해 최대 3개의 대상을 지정할 수 있습니다. |
|
on_streaming_backlog_exceeded
|
on_streaming_backlog_exceeded | array of JobsWebhook |
모든 스트림에 대해 스트리밍 백로그 임계값을 초과할 때 호출할 시스템 알림 ID의 선택적 목록입니다. 스트리밍 백로그 임계값은 STREAMING_BACKLOG_BYTES, STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDS 또는 STREAMING_BACKLOG_FILES 메트릭을 사용하여 상태 필드에서 설정할 수 있습니다. 경고는 이러한 메트릭의 10분 평균을 기반으로 합니다. 문제가 지속되면 30분마다 알림이 다시 전송됩니다. on_streaming_backlog_exceeded 속성에 대해 최대 3개의 대상을 지정할 수 있습니다. |
|
on_success
|
on_success | array of JobsWebhook |
실행이 성공적으로 완료되면 호출할 시스템 알림 ID의 선택적 목록입니다. on_success 속성에 대해 최대 3개의 대상을 지정할 수 있습니다. |
JobsWebhook
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
아이디
|
id | string |
JobsTriggerSettings
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
file_arrival
|
file_arrival | JobsFileArrivalTriggerConfiguration | |
|
pause_status
|
pause_status | JobsPauseStatus | |
|
주기적인
|
periodic | JobsPeriodicTriggerConfiguration |
JobsFileArrivalTriggerConfiguration
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
min_time_between_triggers_seconds
|
min_time_between_triggers_seconds | integer |
설정된 경우 트리거는 트리거가 마지막으로 발생한 이후 경과된 지정된 시간 후에만 실행을 시작합니다. 허용되는 최소값은 60초입니다. |
|
url
|
url | string |
파일 도착을 모니터링할 URL입니다. 경로는 외부 위치의 루트 또는 하위 경로를 가리킵니다. |
|
wait_after_last_change_seconds
|
wait_after_last_change_seconds | integer |
설정된 경우 지정된 시간 동안 파일 작업이 발생하지 않은 후에만 트리거가 실행을 시작합니다. 이렇게 하면 실행을 트리거하기 전에 들어오는 파일의 일괄 처리가 도착할 때까지 기다릴 수 있습니다. 허용되는 최소값은 60초입니다. |
JobsPeriodicTriggerConfiguration
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
interval
|
interval | integer |
트리거가 실행되어야 하는 간격입니다. |
|
단위
|
unit | JobsPeriodicTriggerConfigurationTimeUnit |
JobsPeriodicTriggerConfigurationTimeUnit
JobsTriggerStateProto
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
file_arrival
|
file_arrival | JobsFileArrivalTriggerState |
JobsFileArrivalTriggerState
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
using_file_events
|
using_file_events | boolean |
트리거가 파일 이벤트를 활용하여 파일 도착을 검색하는지 여부를 나타냅니다. |
JobsRun
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
attempt_number
|
attempt_number | integer |
트리거된 작업 실행에 대한 이 실행 시도의 시퀀스 번호입니다. 실행의 초기 시도의 attempt_number 0입니다. 초기 실행 시도가 실패하고 작업에 재시도 정책(max_retries > 0)이 있는 경우 원래 시도 ID의 original_attempt_run_id 증분 attempt_number 사용하여 후속 실행이 생성됩니다. 실행은 성공할 때까지만 다시 시도되며 최대 attempt_number 작업에 대한 max_retries 값과 동일합니다. |
|
cleanup_duration
|
cleanup_duration | integer |
클러스터를 종료하고 연결된 아티팩트 정리에 걸린 시간(밀리초)입니다. 작업 실행 기간은 setup_duration, execution_duration 및 cleanup_duration 합계입니다. cleanup_duration 필드는 멀티태스킹 작업 실행에 대해 0으로 설정됩니다. 멀티태스크 작업 실행의 총 기간은 run_duration 필드의 값입니다. |
|
cluster_instance
|
cluster_instance | JobsClusterInstance | |
|
cluster_spec
|
cluster_spec | JobsClusterSpec | |
|
creator_user_name
|
creator_user_name | string |
작성자 사용자 이름입니다. 사용자가 이미 삭제된 경우 이 필드는 응답에 포함되지 않습니다. |
|
description
|
description | string |
실행에 대한 설명 |
|
effective_performance_target
|
effective_performance_target | JobsPerformanceTarget | |
|
종료 시간
|
end_time | integer |
이 실행이 epoch 밀리초(1970년 1월 1일 UTC 이후 밀리초)로 종료된 시간입니다. 작업이 계속 실행 중인 경우 이 필드는 0으로 설정됩니다. |
|
execution_duration
|
execution_duration | integer |
완료, 실패, 시간 초과, 취소 또는 예기치 않은 오류가 발생할 때까지 JAR 또는 Notebook에서 명령을 실행하는 데 걸린 시간(밀리초)입니다. 작업 실행 기간은 setup_duration, execution_duration 및 cleanup_duration 합계입니다. execution_duration 필드는 멀티태스킹 작업 실행에 대해 0으로 설정됩니다. 멀티태스크 작업 실행의 총 기간은 run_duration 필드의 값입니다. |
|
git_source
|
git_source | JobsGitSource | |
|
더_있음
|
has_more | boolean |
실행에 표시되지 않는 더 많은 배열 속성(작업, job_clusters)이 있는지를 나타냅니다. :method:jobs/getrun 엔드포인트를 통해 액세스할 수 있습니다. expand_tasks=true인 API 2.2 :method:jobs/listruns 요청에만 관련됩니다. |
|
job_clusters
|
job_clusters | array of JobsJobCluster |
이 작업의 태스크에서 공유하고 다시 사용할 수 있는 작업 클러스터 사양 목록입니다. 라이브러리는 공유 작업 클러스터에서 선언할 수 없습니다. 작업 설정에서 종속 라이브러리를 선언해야 합니다. 100개 이상의 작업 클러스터를 사용할 수 있는 경우 :method:jobs/getrun을 사용하여 페이지를 매길 수 있습니다. |
|
job_id
|
job_id | integer |
이 실행을 포함하는 작업의 정식 식별자입니다. |
|
job_parameters
|
job_parameters | array of JobsJobParameter |
실행에 사용되는 작업 수준 매개 변수 |
|
job_run_id
|
job_run_id | integer |
이 실행이 속한 작업 실행의 ID입니다. 레거시 및 단일 작업 작업의 경우 필드가 작업 실행 ID로 채워집니다. 작업 실행의 경우 필드는 작업 실행이 속한 작업 실행의 ID로 채워집니다. |
|
next_page_token
|
next_page_token | string |
배열 속성의 다음 페이지를 나열하는 데 사용할 수 있는 토큰입니다. |
|
original_attempt_run_id
|
original_attempt_run_id | integer |
이 실행이 이전 실행 시도의 재시도인 경우 이 필드에는 원래 시도의 run_id 포함됩니다. 그렇지 않으면 run_id 동일합니다. |
|
overriding_parameters
|
overriding_parameters | JobsRunParameters | |
|
queue_duration
|
queue_duration | integer |
실행이 큐에 소요된 시간(밀리초)입니다. |
|
repair_history
|
repair_history | array of JobsRepairHistoryItem |
실행의 복구 기록입니다. |
|
run_duration
|
run_duration | integer |
작업 실행 및 모든 수리가 완료되는 데 걸린 시간(밀리초)입니다. |
|
run_id
|
run_id | integer |
실행의 정식 식별자입니다. 이 ID는 모든 작업의 모든 실행에서 고유합니다. |
|
run_name
|
run_name | string |
실행에 대한 선택적 이름입니다. 최대 길이는 UTF-8 인코딩에서 4096바이트입니다. |
|
run_page_url
|
run_page_url | string |
실행의 세부 정보 페이지에 대한 URL입니다. |
|
실행 유형
|
run_type | JobsRunType | |
|
일정
|
schedule | JobsCronSchedule | |
|
setup_duration
|
setup_duration | integer |
클러스터를 설정하는 데 걸린 시간(밀리초)입니다. 새 클러스터에서 실행되는 실행의 경우 클러스터 생성 시간이며, 이번에는 기존 클러스터에서 실행되는 실행에 대해 매우 짧아야 합니다. 작업 실행 기간은 setup_duration, execution_duration 및 cleanup_duration 합계입니다. setup_duration 필드는 멀티태스킹 작업 실행에 대해 0으로 설정됩니다. 멀티태스크 작업 실행의 총 기간은 run_duration 필드의 값입니다. |
|
시작_시간
|
start_time | integer |
이 실행이 epoch 밀리초(1970년 1월 1일 UTC 이후 밀리초)로 시작된 시간입니다. 작업 태스크가 실행되기 시작하는 시간이 아닐 수 있습니다. 예를 들어 작업이 새 클러스터에서 실행되도록 예약된 경우 클러스터 만들기 호출이 실행된 시간입니다. |
|
status
|
status | JobsRunStatus | |
|
tasks
|
tasks | array of JobsRunTask |
실행에서 수행하는 작업 목록입니다. 각 태스크에는 JobsGetOutput을 호출하여 실행 다시 실행을 검색하는 데 사용할 수 있는 고유한 run_id 있습니다. 100개 이상의 작업을 사용할 수 있는 경우 :method:jobs/getrun을 사용하여 페이지를 매길 수 있습니다. 개체 루트의 next_page_token 필드를 사용하여 더 많은 결과를 사용할 수 있는지 확인합니다. |
|
trigger
|
trigger | JobsTriggerType | |
|
trigger_info
|
trigger_info | JobsTriggerInfo |
JobsClusterInstance
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
cluster_id
|
cluster_id | string |
실행에 사용되는 클러스터의 정식 식별자입니다. 이 필드는 항상 기존 클러스터에서 실행할 수 있습니다. 새 클러스터에서 실행의 경우 클러스터가 만들어지면 사용할 수 있게 됩니다. 이 값은 /#setting/sparkui/$cluster_id/driver-logs로 이동하여 로그를 보는 데 사용할 수 있습니다. 실행이 완료된 후에도 로그를 계속 사용할 수 있습니다. 식별자를 아직 사용할 수 없는 경우 응답에 이 필드가 포함되지 않습니다. |
|
spark_context_id
|
spark_context_id | string |
실행에서 사용하는 Spark 컨텍스트에 대한 정식 식별자입니다. 이 필드는 실행이 실행되기 시작하면 채워집니다. 이 값을 사용하여 /#setting/sparkui/$cluster_id/$spark_context_id로 이동하여 Spark UI를 볼 수 있습니다. Spark UI는 실행이 완료된 후에도 계속 사용할 수 있습니다. 식별자를 아직 사용할 수 없는 경우 응답에 이 필드가 포함되지 않습니다. |
JobsClusterSpec
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
existing_cluster_id
|
existing_cluster_id | string |
existing_cluster_id 경우 모든 실행에 사용되는 기존 클러스터의 ID입니다. 기존 클러스터에서 작업 또는 작업을 실행할 때 응답을 중지하는 경우 클러스터를 수동으로 다시 시작해야 할 수 있습니다. 안정성을 높이기 위해 새 클러스터에서 작업 및 작업을 실행하는 것이 좋습니다. |
|
job_cluster_key
|
job_cluster_key | string |
job_cluster_key 경우 이 작업은 job.settings.job_clusters 지정된 클러스터를 다시 사용하여 실행됩니다. |
|
libraries
|
libraries | array of ComputeLibrary |
클러스터에 설치할 라이브러리의 선택적 목록입니다. 기본값은 빈 목록입니다. |
|
new_cluster
|
new_cluster | ComputeClusterSpec |
JobsJobParameter
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
default
|
default | string |
매개 변수의 선택적 기본값입니다. |
|
이름
|
name | string |
매개 변수의 이름 |
|
value
|
value | string |
실행에 사용되는 값입니다. |
JobsRunParameters
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
pipeline_params
|
pipeline_params | JobsPipelineParams |
JobsRepairHistoryItem
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
effective_performance_target
|
effective_performance_target | JobsPerformanceTarget | |
|
종료 시간
|
end_time | integer |
복구된 실행의 종료 시간입니다. |
|
아이디
|
id | integer |
복구의 ID입니다. repair_history 복구를 나타내는 항목에 대해서만 반환됩니다. |
|
시작_시간
|
start_time | integer |
복구된 실행의 시작 시간입니다. |
|
status
|
status | JobsRunStatus | |
|
task_run_ids
|
task_run_ids | array of integer |
이 복구 기록 항목의 일부로 실행된 작업의 실행 ID입니다. |
|
type
|
type | JobsRepairHistoryItemType |
JobsRunStatus
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
queue_details
|
queue_details | JobsQueueDetails | |
|
주
|
state | JobsRunLifecycleStateV2State | |
|
termination_details
|
termination_details | JobsTerminationDetails |
JobsQueueDetails
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
코드
|
code | JobsQueueDetailsCodeCode | |
|
message
|
message | string |
큐 세부 정보가 포함된 설명 메시지입니다. 이 필드는 구조화되지 않으며 정확한 형식은 변경될 수 있습니다. |
JobsQueueDetailsCodeCode
JobsRunLifecycleStateV2State
JobsTerminationDetails
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
코드
|
code | JobsTerminationCodeCode | |
|
message
|
message | string |
종료 세부 정보가 포함된 설명 메시지입니다. 이 필드는 구조화되지 않았으며 형식이 변경될 수 있습니다. |
|
type
|
type | JobsTerminationTypeType |
JobsTerminationCodeCode
JobsTerminationTypeType
JobsRepairHistoryItemType
JobsRunType
JobsRunTask
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
attempt_number
|
attempt_number | integer |
트리거된 작업 실행에 대한 이 실행 시도의 시퀀스 번호입니다. 실행의 초기 시도의 attempt_number 0입니다. 초기 실행 시도가 실패하고 작업에 재시도 정책(max_retries > 0)이 있는 경우 원래 시도 ID의 original_attempt_run_id 증분 attempt_number 사용하여 후속 실행이 생성됩니다. 실행은 성공할 때까지만 다시 시도되며 최대 attempt_number 작업에 대한 max_retries 값과 동일합니다. |
|
clean_rooms_notebook_task
|
clean_rooms_notebook_task | Object | |
|
cleanup_duration
|
cleanup_duration | integer |
클러스터를 종료하고 연결된 아티팩트 정리에 걸린 시간(밀리초)입니다. 작업 실행 기간은 setup_duration, execution_duration 및 cleanup_duration 합계입니다. cleanup_duration 필드는 멀티태스킹 작업 실행에 대해 0으로 설정됩니다. 멀티태스크 작업 실행의 총 기간은 run_duration 필드의 값입니다. |
|
cluster_instance
|
cluster_instance | JobsClusterInstance | |
|
condition_task
|
condition_task | JobsRunConditionTask | |
|
dashboard_task
|
dashboard_task | Object | |
|
dbt_task
|
dbt_task | Object | |
|
depends_on
|
depends_on | array of JobsTaskDependency |
작업의 종속성 그래프를 지정하는 개체의 선택적 배열입니다. 이 필드에 지정된 모든 작업은 이 작업을 실행하기 전에 성공적으로 완료되어야 합니다. 키는 task_key 값은 종속 작업에 할당된 이름입니다. |
|
description
|
description | string |
이 작업에 대한 선택적 설명입니다. |
|
effective_performance_target
|
effective_performance_target | JobsPerformanceTarget | |
|
email_notifications
|
email_notifications | JobsJobEmailNotifications | |
|
종료 시간
|
end_time | integer |
이 실행이 epoch 밀리초(1970년 1월 1일 UTC 이후 밀리초)로 종료된 시간입니다. 작업이 계속 실행 중인 경우 이 필드는 0으로 설정됩니다. |
|
environment_key
|
environment_key | string |
작업의 환경 사양을 참조하는 키입니다. 이 필드는 서버리스 컴퓨팅을 사용할 때 Python 스크립트, Python 휠 및 dbt 작업에 필요합니다. |
|
execution_duration
|
execution_duration | integer |
완료, 실패, 시간 초과, 취소 또는 예기치 않은 오류가 발생할 때까지 JAR 또는 Notebook에서 명령을 실행하는 데 걸린 시간(밀리초)입니다. 작업 실행 기간은 setup_duration, execution_duration 및 cleanup_duration 합계입니다. execution_duration 필드는 멀티태스킹 작업 실행에 대해 0으로 설정됩니다. 멀티태스크 작업 실행의 총 기간은 run_duration 필드의 값입니다. |
|
existing_cluster_id
|
existing_cluster_id | string |
existing_cluster_id 경우 모든 실행에 사용되는 기존 클러스터의 ID입니다. 기존 클러스터에서 작업 또는 작업을 실행할 때 응답을 중지하는 경우 클러스터를 수동으로 다시 시작해야 할 수 있습니다. 안정성을 높이기 위해 새 클러스터에서 작업 및 작업을 실행하는 것이 좋습니다. |
|
for_each_task
|
for_each_task | Object | |
|
git_source
|
git_source | JobsGitSource | |
|
job_cluster_key
|
job_cluster_key | string |
job_cluster_key 경우 이 작업은 job.settings.job_clusters 지정된 클러스터를 다시 사용하여 실행됩니다. |
|
libraries
|
libraries | array of Object |
클러스터에 설치할 라이브러리의 선택적 목록입니다. 기본값은 빈 목록입니다. |
|
new_cluster
|
new_cluster | Object | |
|
notebook_task
|
notebook_task | JobsNotebookTask | |
|
notification_settings
|
notification_settings | Object | |
|
pipeline_task
|
pipeline_task | Object | |
|
power_bi_task
|
power_bi_task | Object | |
|
python_wheel_task
|
python_wheel_task | Object | |
|
queue_duration
|
queue_duration | integer |
실행이 큐에 소요된 시간(밀리초)입니다. |
|
resolved_values
|
resolved_values | JobsResolvedValues | |
|
run_duration
|
run_duration | integer |
작업 실행 및 모든 수리가 완료되는 데 걸린 시간(밀리초)입니다. |
|
run_id
|
run_id | integer |
작업 실행의 ID입니다. |
|
run_if
|
run_if | JobsRunIf | |
|
run_job_task
|
run_job_task | JobsRunJobTask | |
|
run_page_url
|
run_page_url | string | |
|
setup_duration
|
setup_duration | integer |
클러스터를 설정하는 데 걸린 시간(밀리초)입니다. 새 클러스터에서 실행되는 실행의 경우 클러스터 생성 시간이며, 이번에는 기존 클러스터에서 실행되는 실행에 대해 매우 짧아야 합니다. 작업 실행 기간은 setup_duration, execution_duration 및 cleanup_duration 합계입니다. setup_duration 필드는 멀티태스킹 작업 실행에 대해 0으로 설정됩니다. 멀티태스크 작업 실행의 총 기간은 run_duration 필드의 값입니다. |
|
spark_jar_task
|
spark_jar_task | Object | |
|
spark_python_task
|
spark_python_task | Object | |
|
spark_submit_task
|
spark_submit_task | Object | |
|
sql_task
|
sql_task | Object | |
|
시작_시간
|
start_time | integer |
이 실행이 epoch 밀리초(1970년 1월 1일 UTC 이후 밀리초)로 시작된 시간입니다. 작업 태스크가 실행되기 시작하는 시간이 아닐 수 있습니다. 예를 들어 작업이 새 클러스터에서 실행되도록 예약된 경우 클러스터 만들기 호출이 실행된 시간입니다. |
|
status
|
status | JobsRunStatus | |
|
task_key
|
task_key | string |
작업에 대한 고유한 이름입니다. 이 필드는 다른 작업에서 이 작업을 참조하는 데 사용됩니다. 이 필드는 필수이며 부모 작업 내에서 고유해야 합니다. 업데이트 또는 다시 설정에서 이 필드는 업데이트 또는 재설정할 작업을 참조하는 데 사용됩니다. |
|
timeout_seconds
|
timeout_seconds | integer |
이 작업 작업의 각 실행에 적용되는 선택적 시간 제한입니다. 값이 0이면 시간 제한이 없습니다. |
|
webhook_notifications
|
webhook_notifications | Object |
JobsRunConditionTask
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
왼쪽
|
left | string |
조건 태스크의 왼쪽 피연산자입니다. 문자열 값 또는 작업 상태 또는 매개 변수 참조일 수 있습니다. |
|
op
|
op | JobsConditionTaskOp | |
|
결과
|
outcome | string |
조건 식 평가 결과입니다. 작업이 성공적으로 완료된 경우 입력됩니다. "true" 또는 "false"일 수 있습니다. |
|
오른쪽
|
right | string |
조건 태스크의 오른쪽 피연산자입니다. 문자열 값 또는 작업 상태 또는 매개 변수 참조일 수 있습니다. |
JobsTriggerType
JobsTriggerInfo
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
run_id
|
run_id | integer |
작업 실행 태스크 실행의 실행 ID |
JobsRunOutput
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
clean_rooms_notebook_output
|
clean_rooms_notebook_output | Object | |
|
dashboard_output
|
dashboard_output | Object | |
|
dbt_output
|
dbt_output | Object | |
|
오류
|
error | string |
작업이 실패한 이유 또는 출력을 사용할 수 없는 이유를 나타내는 오류 메시지입니다. 메시지는 구조화되지 않으며 정확한 형식은 변경될 수 있습니다. |
|
error_trace
|
error_trace | string |
실행을 실행하는 동안 오류가 발생한 경우 이 필드에는 사용 가능한 스택 추적이 포함됩니다. |
|
info
|
info | string | |
|
logs
|
logs | string |
spark_jar_task, spark_python_task, python_wheel_task 같은 표준 스트림(stdout/stderr)에 쓰는 작업의 출력입니다. notebook_task, pipeline_task 또는 spark_submit_task 지원되지 않습니다. Azure Databricks는 이 API가 이러한 로그의 마지막 5MB를 반환하도록 제한합니다. |
|
logs_truncated
|
logs_truncated | boolean |
로그가 잘렸는지 여부입니다. |
|
metadata
|
metadata | Object | |
|
notebook_output
|
notebook_output | JobsNotebookOutput | |
|
run_job_output
|
run_job_output | JobsRunJobOutput | |
|
sql_output
|
sql_output | Object |
JobsNotebookOutput
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
결과
|
result | string |
dbutils.notebook.exit()에 전달된 값입니다. Azure Databricks는 이 API가 값의 처음 5MB를 반환하도록 제한합니다. 더 큰 결과를 위해 작업은 결과를 클라우드 스토리지 서비스에 저장할 수 있습니다. dbutils.notebook.exit()가 호출되지 않은 경우 이 필드가 없습니다. |
|
잘라버린
|
truncated | boolean |
결과가 잘렸는지 여부입니다. |
JobsRunJobOutput
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
run_id
|
run_id | integer |
트리거된 작업 실행의 실행 ID |
JobsResolvedValues
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
condition_task
|
condition_task | JobsResolvedConditionTaskValues | |
|
dbt_task
|
dbt_task | JobsResolvedDbtTaskValues | |
|
notebook_task
|
notebook_task | JobsResolvedNotebookTaskValues | |
|
python_wheel_task
|
python_wheel_task | JobsResolvedPythonWheelTaskValues | |
|
run_job_task
|
run_job_task | JobsResolvedRunJobTaskValues | |
|
simulation_task
|
simulation_task | JobsResolvedParamPairValues | |
|
spark_jar_task
|
spark_jar_task | JobsResolvedStringParamsValues | |
|
spark_python_task
|
spark_python_task | JobsResolvedStringParamsValues | |
|
spark_submit_task
|
spark_submit_task | JobsResolvedStringParamsValues | |
|
sql_task
|
sql_task | JobsResolvedParamPairValues |
JobsResolvedConditionTaskValues
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
왼쪽
|
left | string | |
|
오른쪽
|
right | string |
JobsResolvedDbtTaskValues
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
commands
|
commands | array of string |
JobsResolvedNotebookTaskValues
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
base_parameters
|
base_parameters | object |
JobsResolvedPythonWheelTaskValues
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
named_parameters
|
named_parameters | object | |
|
parameters
|
parameters | array of string |
JobsResolvedRunJobTaskValues
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
job_parameters
|
job_parameters | object | |
|
parameters
|
parameters | object |
JobsResolvedParamPairValues
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
parameters
|
parameters | object |
JobsResolvedStringParamsValues
| Name | 경로 | 형식 | Description |
|---|---|---|---|
|
parameters
|
parameters | array of string |