작업 영역 파일이란?

작업 영역 파일은 Databricks Notebook이 아닌 Azure Databricks 작업 영역의 모든 파일입니다. 작업 영역 파일은 모든 파일 형식일 수 있습니다. 일반적인 예는 다음과 같습니다.

• 사용자 지정 모듈에 사용되는 .py 파일.
• .md 파일(예: README.md).
• .csv 또는 기타 작은 데이터 파일.
• .txt 파일.
• .whl 라이브러리.
• 로그 파일

작업 영역 파일에는 이전에 "Repos의 파일"이라고 불렸던 파일이 포함됩니다.

Important

작업 영역 파일은 Databricks 런타임 버전 11.2에서 기본적으로 모든 곳에서 사용하도록 설정되지만 REST API를 사용하는 관리자는 사용하지 않도록 설정할 수 있습니다. 프로덕션 워크로드의 경우 Databricks Runtime 11.3 LTS 이상을 사용합니다. 이 기능에 액세스할 수 없는 경우 작업 영역 관리자에게 문의하세요.

작업 영역 파일로 수행할 수 있는 작업

Azure Databricks는 기본 제공 파일 편집기를 포함하여 많은 작업 영역 파일 형식에 대한 로컬 개발과 유사한 기능을 제공합니다. 모든 파일 형식에 대한 모든 사용 사례가 지원되지는 않습니다. 예를 들어 가져온 디렉터리 또는 리포지토리에 이미지를 포함할 수 있지만 Notebook에는 이미지를 포함할 수 없습니다.

Notebook 상호 작용에서 익숙한 패턴을 사용하여 작업 영역 파일에 대한 액세스를 만들고, 편집하고, 관리할 수 있습니다. 로컬 개발과 유사하게 작업 영역 파일에서 라이브러리 가져오기에 상대 경로를 사용할 수 있습니다. 자세한 내용은 다음을 참조하세요.

• 작업 영역 파일 기본 사용
• 프로그래밍 방식으로 작업 영역 파일과 상호 작용
• Python 및 R 모듈 작업
• Notebook 관리
• 파일 ACL

작업 영역 파일에 저장된 Init 스크립트에는 특별한 동작이 있습니다. 작업 영역 파일을 사용하여 Databricks 런타임 버전에서 init 스크립트를 저장하고 참조할 수 있습니다. 작업 영역 파일의 Init 스크립트 저장을 참조하세요.

참고 항목

Databricks Runtime 14.0 이상에서 로컬로 실행되는 코드의 기본 CWD(현재 작업 디렉터리)는 실행 중인 Notebook 또는 스크립트가 포함된 디렉터리입니다. 이는 Databricks Runtime 13.3 LTS 이하의 동작 변경입니다. 기본 현재 작업 디렉터리가란?을 참조하세요.

제한 사항

작업 영역 파일 제한 사항의 전체 목록은 작업 영역 파일 제한 사항에 있습니다.

파일 크기 제한

개별 작업 영역 파일은 500MB로 제한됩니다.

사용자는 UI에서 최대 500MB의 파일 크기를 업로드할 수 있습니다. 클러스터에서 쓸 때 허용되는 최대 파일 크기는 256MB입니다.

Azure Databricks Container Services를 사용하는 클러스터가 있는 Git 폴더의 파일에 대한 Databricks 런타임 버전

Databricks Runtime 11.3 LTS 이상을 실행하는 클러스터에서 기본 설정을 사용하면 Azure Databricks Container Services(DCS)와 함께 Git 폴더의 작업 영역 파일을 사용할 수 있습니다.

Databricks 런타임 버전 10.4 LTS 및 9.1 LTS를 실행하는 클러스터에서 DCS가 있는 클러스터의 Git 폴더에 있는 작업 영역 파일에 액세스하도록 dockerfile을 구성해야 합니다. 원하는 Databricks Runtime 버전은 다음 dockerfile을 참조하세요.

• DBR 10.4 LTS용 Dockerfile
• DBR 9.1 LTS용 Dockerfile

Databricks Container Service를 사용하여 컨테이너 사용자 지정 참조

작업 영역 파일 사용

Databricks 작업 영역에서 Notebook이 아닌 파일에 대한 지원을 사용하도록 설정하려면 Databricks 작업 영역에 액세스할 수 있는 Notebook 또는 기타 환경에서 /api/2.0/workspace-conf REST API를 호출합니다. 작업 영역 파일은 기본적으로 사용하도록 설정됩니다.

Databricks 작업 영역에서 Notebook이 아닌 파일에 대한 지원을 사용하거나 다시 사용하도록 설정하려면 키를 호출 /api/2.0/workspace-conf 하고 키 값을 enableWorkspaceFileSystem 가져옵니다. 이 파일로 true설정된 경우 전자 필기장이 아닌 파일은 작업 영역에 대해 이미 사용하도록 설정되어 있습니다.

다음 예제에서는 Notebook에서 이 API를 호출하여 작업 영역 파일을 사용하지 않도록 설정한 경우 검사 다시 사용하도록 설정하는 방법을 보여 줍니다.

예: Databricks 작업 영역 파일 지원을 다시 사용하도록 설정하기 위한 Notebook

전자 필기장 가져오기