문서, 이미지, 오디오, 비디오와 같은 비정형 파일을 Unity 카탈로그에서 저장, 관리 및 처리하며, 구조화된 데이터와 함께 처리합니다.
Get started
끝에서 끝까지 예시를 시도해 보면서 조각들이 어떻게 맞물리는지 확인해 보세요.
| 가이드 | 설명 |
|---|---|
| FILE 함수 퀵스타트 | 열이 있는 FILE 테이블을 만들고 함수를 사용해 FILE 파일을 다루세요. |
| 비정형 데이터 튜토리얼 | Unity 카탈로그 볼륨을 사용하여 비구조화 파일을 저장, 쿼리, 처리 및 공유할 수 있습니다. |
파일 저장 및 참조
파일을 경로로 접근할지 테이블의 값으로 접근하는지에 따라 저장 및 참조 방식을 선택하세요.
| Approach | 설명 |
|---|---|
| Unity 카탈로그 볼륨 | 테이블 형식이 아닌 파일의 저장소를 관리하세요. 경로를 기준으로 볼륨 내 파일을 업로드, 정리, 접근하세요. |
| 파일 타입 | 참조 파일과 해당 메타데이터를 테이블에서 일급 값으로 다루며, 이에 대한 액세스는 이를 참조하는 행에 대한 액세스 권한에 따라 결정됩니다. 타입 정의에 대해서는 FILE 타입 참조를 참조하세요. |
| 이진 데이터 소스 | 파일의 원시 바이트를 BINARY 열에 저장하세요. |
| 이미지 데이터 소스 | 이미지 파일을 데이터프레임에 읽어보세요. |
프로세스 파일
Unity 카탈로그에 파일을 저장한 후, 콘텐츠를 추출하고, 커스텀 코드를 실행하며, 파이프라인을 구축하세요.
| 과업 | 설명 |
|---|---|
| 문서 구문 | 문서 ai_parse_document 에서 구조화된 콘텐츠를 추출하는 등 AI 기능도 활용합니다. |
| UDF가 포함된 프로세스 파일 | 파일 메타데이터와 바이트를 읽고, UDF에서 직접 코드를 사용해 새 파일을 생성하세요. |
| 파일을 FILE 참조로 수집 | 파일을 FILE 참조로 테이블에 로드하세요. |
| 파일 파이프라인을 구축하세요 | 파이프라인에서 파일을 처음부터 끝까지 처리합니다. |
| 볼륨 내 파일 검색 | 사용자와 에이전트가 검색할 수 있도록 파일을 볼륨으로 인덱싱하세요. |
파일 관리
Unity 카탈로그를 통해 누가 파일에 접근할 수 있고 라이프사이클을 관리할 수 있는지 통제할 수 있습니다.
| Capability | 설명 |
|---|---|
| 볼륨 접근 제어 | 볼륨에 대해 누가 경로를 따라 파일을 읽고 쓸 수 있는지 제어할 권한을 부여합니다. |
| 파일 관리 수명주기 | Azure Databricks가 테이블이 참조하는 파일의 저장 및 수명 주기를 관리하도록 하세요. |
| FILE 열에 대한 행 필터 | 파일 접근을 제한하려면 참조하는 행에 행 필터를 적용하세요. |