Note
이 정보는 Databricks CLI 버전 0.205 이상에 적용됩니다. Databricks CLI는 공개 미리 보기로 제공됩니다.
Databricks CLI 사용은 Databricks 라이선스 및 Databricks 개인 정보 보호 고지, 그리고 모든 사용 데이터 관련 조항의 적용을 받습니다.
pipelines 내의 명령 그룹에는 두 가지 기능 집합이 포함되어 있습니다. 첫 번째 집합을 사용하면 파이프라인 프로젝트 및 해당 워크플로를 관리할 수 있습니다. 두 번째 집합을 사용하면 Databricks에서 파이프라인 개체에 대한 세부 정보를 만들고, 편집하고, 삭제하고, 시작하고, 볼 수 있습니다.
파이프라인에 대한 자세한 내용은 Lakeflow Spark 선언적 파이프라인을 참조하세요.
파이프라인 프로젝트 관리
다음 명령을 사용하면 프로젝트에서 파이프라인을 관리할 수 있습니다.
databricks 파이프라인 배포
프로젝트에 정의된 모든 파일을 대상 작업 영역에 업로드하고 작업 영역에 정의된 파이프라인을 만들거나 업데이트하여 파이프라인을 배포합니다.
databricks pipelines deploy [flags]
Arguments
None
Options
--auto-approve
배포에 필요할 수 있는 대화형 승인 건너뛰기
--fail-on-active-runs
배포에 실행 중인 파이프라인이 있는 경우 실패
--force-lock
강제적으로 배포 잠금 획득
Databricks 파이프라인을 삭제
파이프라인 프로젝트를 삭제합니다.
databricks pipelines destroy [flags]
Arguments
None
Options
--auto-approve
파이프라인 삭제에 대한 대화형 승인 건너뛰기
--force-lock
강제적으로 배포 잠금 획득
databricks 파이프라인 드라이 실행
로 식별 KEY되는 파이프라인 그래프의 정확성을 확인합니다. 데이터 세트를 구체화하거나 게시하지 않습니다.
databricks pipelines dry-run [flags] [KEY]
Arguments
KEY
시험 실행할 파이프라인의 고유 이름으로 YAML 파일에 정의되어 있습니다. 프로젝트에 KEY 파이프라인이 하나만 있는 경우 선택 사항이며 파이프라인이 자동으로 선택됩니다.
Options
--no-wait
실행이 완료되기를 기다리지 마세요.
--restart
이미 실행 중인 경우 실행을 다시 시작합니다.
databricks 파이프라인 생성
기존 Spark 파이프라인에 대한 구성을 생성합니다.
이 명령은 지정된 디렉터리에서 파일 spark-pipeline.yml 또는 *.spark-pipeline.yml 파일을 찾고 파이프라인을 정의하는 프로젝트의 폴더에 *.pipeline.yml 새 resources 구성 파일을 생성합니다. 여러 spark-pipeline.yml 파일이 있는 경우 특정 *.spark-pipeline.yml 파일의 전체 경로를 지정합니다.
databricks pipelines generate [flags]
Note
Databricks 작업 영역에서 기존 파이프라인에 대한 구성을 생성하려면 databricks bundle generate pipeline 및 Databricks CLI를 사용하여 기존 작업 또는 파이프라인에 대한 구성 생성을 참조하세요.
Options
--existing-pipeline-dir
기존 파이프라인 디렉터리의 경로(src, 예: src/my_pipeline)입니다.
--force
기존 파이프라인 구성 파일을 덮어씁 수 있습니다.
예시
다음 예제에서는 현재 디렉터리를 살펴보고 읽은 src/my_pipeline/spark-pipeline.yml다음 파이프라인을 정의하는 구성 파일을 resources/my_pipeline.pipeline.yml 만듭니다.
databricks pipelines generate --existing-pipeline-dir src/my_pipeline
databricks의 파이프라인 기록
로 식별되는 KEY파이프라인에 대한 과거 실행을 검색합니다.
databricks pipelines history [flags] [KEY]
Arguments
KEY
YAML 파일에 정의된 파이프라인의 고유 이름입니다. 프로젝트에 KEY 파이프라인이 하나만 있는 경우 선택 사항이며 파이프라인이 자동으로 선택됩니다.
Options
--end-time string
이 시간 전에 업데이트 필터링(형식: 2025-01-15T10:30:00Z)
--start-time string
이 시간 이후 업데이트 필터링(형식: 2025-01-15T10:30:00Z)
databricks 파이프라인 init
새 파이프라인 프로젝트를 초기화합니다.
Databricks CLI를 사용하여 파이프라인 프로젝트를 만들고, 배포하고, 실행하는 방법에 대한 자습서는 Databricks 자산 번들을 사용하여 Lakeflow Spark 선언적 파이프라인 개발을 참조하세요.
databricks pipelines init [flags]
Arguments
None
Options
--config-file string
템플릿 초기화에 필요한 입력 매개 변수의 키 값 쌍을 포함하는 JSON 파일
--output-dir string
초기화된 템플릿을 작성할 디렉터리
databricks 파이프라인 로그
로 식별되는 KEY파이프라인에 대한 이벤트를 검색합니다. 기본적으로 이 명령은 파이프라인의 최신 업데이트 이벤트를 표시합니다.
databricks pipelines logs [flags] [KEY]
Arguments
KEY
YAML 파일에 정의된 파이프라인의 고유 이름입니다. 프로젝트에 KEY 파이프라인이 하나만 있는 경우 선택 사항이며 파이프라인이 자동으로 선택됩니다.
Options
--end-time string
이 종료 시간 이전의 이벤트에 대한 필터(형식: 2025-01-15T10:30:00Z)
--event-type strings
이벤트 유형 목록별로 이벤트 필터링
--level strings
로그 수준 목록별로 이벤트 필터링(INFO,, WARNERROR, METRICS)
-n, --number int
반환할 이벤트 수
--start-time string
이 시작 시간 이후의 이벤트에 대한 필터(형식: 2025-01-15T10:30:00Z)
--update-id string
업데이트 ID를 사용하여 이벤트를 필터링합니다. 제공되지 않은 경우 최신 업데이트 ID를 사용합니다.
예시
databricks pipelines logs pipeline-name --update-id update-1 -n 10
databricks pipelines logs pipeline-name --level ERROR,METRICS --event-type update_progress --start-time 2025-01-15T10:30:00Z
databricks 파이프라인 열기
브라우저에서 KEY로 식별되는 파이프라인을 엽니다.
databricks pipelines open [flags] [KEY]
Arguments
KEY
파이프라인에서 열려는 고유 이름은 YAML 파일에 정의되어 있습니다. 프로젝트에 KEY 파이프라인이 하나만 있는 경우 선택 사항이며 파이프라인이 자동으로 선택됩니다.
Options
--force-pull
로컬 캐시 건너뛰기 및 원격 작업 영역에서 상태 로드
databricks 파이프라인을 실행
로 식별되는 파이프라인을 실행합니다 KEY. 달리 지정하지 않는 한 파이프라인의 모든 테이블을 새로 고칩니다.
databricks pipelines run [flags] [KEY]
Arguments
KEY
YAML 파일에 정의된 대로 실행할 파이프라인의 고유 이름입니다. 프로젝트에 KEY 파이프라인이 하나만 있는 경우 선택 사항이며 파이프라인이 자동으로 선택됩니다.
Options
--full-refresh strings
다시 설정 및 다시 계산할 테이블 목록
--full-refresh-all
전체 그래프 재설정 수행 및 다시 계산
--no-wait
실행이 완료되기를 기다리지 마세요.
--refresh strings
실행할 테이블 목록
--restart
이미 실행 중인 경우 실행을 다시 시작합니다.
databricks 파이프라인 중지
KEY 또는 PIPELINE_ID로 식별되는 경우, 파이프라인이 실행 중이면 중지하십시오. 파이프라인에 활성 업데이트가 없는 경우 이 요청은 아무 작업도 수행하지 않습니다.
databricks pipelines stop [KEY|PIPELINE_ID] [flags]
Arguments
KEY
YAML 파일에 정의된 대로 중지할 파이프라인의 고유 이름입니다. 프로젝트에 KEY 파이프라인이 하나만 있는 경우 선택 사항이며 파이프라인이 자동으로 선택됩니다.
PIPELINE_ID
중지할 파이프라인의 UUID입니다.
Options
--no-wait
IDLE 상태에 도달하기 위해 기다리지 마세요.
--timeout duration
IDLE 상태에 도달하는 최대 시간(기본값 20m0s)
파이프라인 개체 관리
다음 명령을 사용하면 Databricks에서 파이프라인 개체를 관리할 수 있습니다.
Databricks 파이프라인 생성
요청된 구성에 따라 새 데이터 처리 파이프라인을 만듭니다. 성공하면 이 명령은 새 파이프라인의 ID를 반환합니다.
databricks pipelines create [flags]
Arguments
None
Options
--json JSON
요청 본문은 인라인 JSON 문자열이거나 JSON 파일에 @path을 포함한 것입니다.
Databricks 파이프라인 삭제
파이프라인을 삭제합니다.
databricks pipelines delete PIPELINE_ID [flags]
Arguments
PIPELINE_ID
삭제할 파이프라인입니다.
Options
databricks 파이프라인 가져오기
파이프라인을 가져옵니다.
databricks pipelines get PIPELINE_ID [flags]
Arguments
PIPELINE_ID
가져오기 위한 파이프라인.
Options
databricks 파이프라인 get-update
활성 파이프라인에서 업데이트를 가져옵니다.
databricks pipelines get-update PIPELINE_ID UPDATE_ID [flags]
Arguments
PIPELINE_ID
파이프라인의 ID입니다.
UPDATE_ID
업데이트의 ID입니다.
Options
databricks 파이프라인 list-pipeline-events
파이프라인에 대한 이벤트 정보를 불러옵니다.
databricks pipelines list-pipeline-events PIPELINE_ID [flags]
Arguments
PIPELINE_ID
이벤트를 검색할 파이프라인입니다.
Options
--filter string
SQL과 유사한 구문을 사용하여 표현된 결과의 하위 집합을 선택하는 조건입니다.
--max-results int
단일 페이지에서 반환할 최대 항목 수입니다.
--page-token string
이전 호출에서 반환된 페이지 토큰입니다.
databricks 파이프라인 list-pipelines
Delta Live Tables 시스템에 정의된 파이프라인을 나열합니다.
databricks pipelines list-pipelines [flags]
Arguments
None
Options
--filter string
지정된 조건에 따라 결과의 하위 집합을 선택합니다.
--max-results int
단일 페이지에서 반환할 최대 항목 수입니다.
--page-token string
이전 호출에서 반환된 페이지 토큰입니다.
databricks 파이프라인 목록 업데이트
활성 파이프라인에 대한 업데이트를 나열합니다.
databricks pipelines list-updates PIPELINE_ID [flags]
Arguments
PIPELINE_ID
업데이트를 반환할 파이프라인입니다.
Options
--max-results int
단일 페이지에서 반환할 최대 항목 수입니다.
--page-token string
이전 호출에서 반환된 페이지 토큰입니다.
--until-update-id string
있는 경우, 이 update_id를 포함하여 그때까지 업데이트를 반환합니다.
databricks 파이프라인 시작 업데이트
파이프라인에 대한 새 업데이트를 시작합니다. 파이프라인에 대한 활성 업데이트가 이미 있는 경우 요청이 실패하고 활성 업데이트가 계속 실행됩니다.
databricks pipelines start-update PIPELINE_ID [flags]
Arguments
PIPELINE_ID
업데이트를 시작할 파이프라인입니다.
Options
--cause StartUpdateCause
지원되는 옵션: [API_CALL, JOB_TASK, RETRY_ON_FAILURE, SCHEMA_CHANGE, SERVICE_UPGRADE, USER_ACTION]
--full-refresh
true이면 이 업데이트는 실행하기 전에 모든 테이블을 다시 설정합니다.
--json JSON
요청 본문은 인라인 JSON 문자열이거나 JSON 파일에 @path을 포함한 것입니다.
--validate-only
true인 경우 이 업데이트는 파이프라인 소스 코드의 정확성만 확인하지만 데이터 세트를 구체화하거나 게시하지는 않습니다.
databricks 파이프라인 업데이트
제공된 구성으로 파이프라인을 업데이트합니다.
databricks pipelines update PIPELINE_ID [flags]
Arguments
PIPELINE_ID
이 파이프라인의 고유 식별자입니다.
Options
--allow-duplicate-names
false이면 이름이 변경되고 다른 파이프라인의 이름과 충돌하는 경우 배포가 실패합니다.
--budget-policy-id string
이 파이프라인의 예산 정책입니다.
--catalog string
이 파이프라인에서 데이터를 게시하기 위한 Unity 카탈로그의 일환인 카탈로그입니다.
--channel string
사용할 버전을 지정하는 Lakeflow Spark 선언적 파이프라인 릴리스 채널입니다.
--continuous
파이프라인이 지속적인지 또는 트리거되는지 여부입니다.
--development
파이프라인이 개발 모드에 있는지 확인하는 것입니다.
--edition string
파이프라인 제품 버전입니다.
--expected-last-modified int
있는 경우 편집하기 전에 파이프라인 설정의 마지막으로 수정된 시간입니다.
--id string
이 파이프라인의 고유 식별자입니다.
--json JSON
요청 본문은 인라인 JSON 문자열이거나 JSON 파일에 @path을 포함한 것입니다.
--name string
이 파이프라인에 대한 사용자 친화적인 식별자입니다.
--photon
이 파이프라인에 Photon을 사용할 수 있는지 여부입니다.
--pipeline-id string
이 파이프라인의 고유 식별자입니다.
--schema string
테이블을 읽거나 게시하는 기본 스키마(데이터베이스)입니다.
--serverless
이 파이프라인에 대해 서버리스 컴퓨팅을 사용할 수 있는지 여부입니다.
--storage string
검사점 및 테이블을 저장하기 위한 DBFS 루트 디렉터리입니다.
--target string
이 파이프라인의 테이블을 추가할 대상 스키마(데이터베이스)입니다.
databricks 파이프라인 get-permission-levels
파이프라인 사용 권한 수준을 가져옵니다.
databricks pipelines get-permission-levels PIPELINE_ID [flags]
Arguments
PIPELINE_ID
사용 권한을 얻거나 관리할 파이프라인입니다.
Options
databricks 파이프라인 권한 확인
파이프라인의 사용 권한을 가져옵니다. 파이프라인은 루트 개체에서 사용 권한을 상속할 수 있습니다.
databricks pipelines get-permissions PIPELINE_ID [flags]
Arguments
PIPELINE_ID
사용 권한을 얻거나 관리할 파이프라인입니다.
Options
databricks 파이프라인 권한 설정
파이프라인 사용 권한을 설정합니다.
개체에 대한 사용 권한을 설정하여 기존 사용 권한이 있는 경우 대체합니다. 지정되지 않은 경우 모든 직접 권한을 삭제합니다. 개체는 루트 개체에서 사용 권한을 상속할 수 있습니다.
databricks pipelines set-permissions PIPELINE_ID [flags]
Arguments
PIPELINE_ID
사용 권한을 얻거나 관리할 파이프라인입니다.
Options
--json JSON
요청 본문은 인라인 JSON 문자열이거나 JSON 파일에 @path을 포함한 것입니다.
databricks 파이프라인 업데이트 권한
파이프라인에 대한 권한을 업데이트합니다. 파이프라인은 루트 개체에서 사용 권한을 상속할 수 있습니다.
databricks pipelines update-permissions PIPELINE_ID [flags]
Arguments
PIPELINE_ID
사용 권한을 얻거나 관리할 파이프라인입니다.
Options
--json JSON
요청 본문은 인라인 JSON 문자열이거나 JSON 파일에 @path을 포함한 것입니다.
전역 표시기
--debug
디버그 로깅을 사용할지 여부입니다.
-h 또는 --help
Databricks CLI 또는 관련 명령 그룹 또는 관련 명령에 대한 도움말을 표시합니다.
--log-file 문자열
출력 로그를 쓸 파일을 나타내는 문자열입니다. 이 플래그가 지정되지 않으면 출력 로그는 기본적으로 stderr에 기록됩니다.
--log-format 포맷
로그 형식 형식 text 또는 json. 기본값은 text입니다.
--log-level 문자열
로그 형식 수준을 나타내는 문자열입니다. 지정하지 않으면 로그 형식 수준을 사용할 수 없습니다.
-o, --output 유형
명령 출력 형식 text 또는 json. 기본값은 text입니다.
-p, --profile 문자열
명령을 실행하는 데 사용할 파일의 프로필 ~/.databrickscfg 이름입니다. 이 플래그를 지정하지 않으면, 존재하는 경우 DEFAULT로 명명된 프로필이 사용됩니다.
--progress-format 포맷
진행률 로그를 표시할 형식: default, append, inplace또는 json
-t, --target 문자열
해당하는 경우 사용할 번들 대상