비정형 데이터 작업

문서, 이미지, 오디오, 비디오와 같은 비정형 파일을 Unity 카탈로그에서 저장, 관리 및 처리하며, 구조화된 데이터와 함께 처리합니다.

Get started

끝에서 끝까지 예시를 시도해 보면서 조각들이 어떻게 맞물리는지 확인해 보세요.

가이드 설명
FILE 함수 퀵스타트 열이 있는 FILE 테이블을 만들고 함수를 사용해 FILE 파일을 다루세요.
비정형 데이터 튜토리얼 Unity 카탈로그 볼륨을 사용하여 비구조화 파일을 저장, 쿼리, 처리 및 공유할 수 있습니다.

파일 저장 및 참조

파일을 경로로 접근할지 테이블의 값으로 접근하는지에 따라 저장 및 참조 방식을 선택하세요.

Approach 설명
Unity 카탈로그 볼륨 테이블 형식이 아닌 파일의 저장소를 관리하세요. 경로를 기준으로 볼륨 내 파일을 업로드, 정리, 접근하세요.
파일 타입 참조 파일과 해당 메타데이터를 테이블에서 일급 값으로 다루며, 이에 대한 액세스는 이를 참조하는 행에 대한 액세스 권한에 따라 결정됩니다. 타입 정의에 대해서는 FILE 타입 참조를 참조하세요.
이진 데이터 소스 파일의 원시 바이트를 BINARY 열에 저장하세요.
이미지 데이터 소스 이미지 파일을 데이터프레임에 읽어보세요.

프로세스 파일

Unity 카탈로그에 파일을 저장한 후, 콘텐츠를 추출하고, 커스텀 코드를 실행하며, 파이프라인을 구축하세요.

과업 설명
문서 구문 문서 ai_parse_document 에서 구조화된 콘텐츠를 추출하는 등 AI 기능도 활용합니다.
UDF가 포함된 프로세스 파일 파일 메타데이터와 바이트를 읽고, UDF에서 직접 코드를 사용해 새 파일을 생성하세요.
파일을 FILE 참조로 수집 파일을 FILE 참조로 테이블에 로드하세요.
파일 파이프라인을 구축하세요 파이프라인에서 파일을 처음부터 끝까지 처리합니다.
볼륨 내 파일 검색 사용자와 에이전트가 검색할 수 있도록 파일을 볼륨으로 인덱싱하세요.

파일 관리

Unity 카탈로그를 통해 누가 파일에 접근할 수 있고 라이프사이클을 관리할 수 있는지 통제할 수 있습니다.

Capability 설명
볼륨 접근 제어 볼륨에 대해 누가 경로를 따라 파일을 읽고 쓸 수 있는지 제어할 권한을 부여합니다.
파일 관리 수명주기 Azure Databricks가 테이블이 참조하는 파일의 저장 및 수명 주기를 관리하도록 하세요.
FILE 열에 대한 행 필터 파일 접근을 제한하려면 참조하는 행에 행 필터를 적용하세요.