Azure Databricks 통해 액세스할 수 있는 모든 데이터를 Lakeflow Designer의 시각적 데이터 준비로 가져올 수 있습니다.
디자이너의 모든 데이터 수집은 원본 연산자에서 시작합니다. 원본 연산자의 구성 창을 열면 다음과 같은 옵션이 있습니다.
기존 테이블 찾아보기
기존 항목 찾아보기를 클릭하여 자산 선택기를 열고 Unity 카탈로그에서 테이블 및 볼륨을 찾습니다. 데이터가 이미 Azure Databricks 있는 경우 이 옵션을 사용합니다.
Unity 카탈로그 메트릭 뷰를 원본으로 선택할 수도 있습니다. 메트릭 뷰를 선택하면 포함할 차원과 측정값을 선택하고 디자이너는 집계된 쿼리를 생성합니다.
폴더 또는 볼륨 가져오기
원본 연산자는 개별 파일 대신 전체 Unity 카탈로그 볼륨 또는 폴더 경로를 대상으로 지정할 수 있습니다. 디자이너는 폴더의 파일에서 형식을 검색하고 단일 테이블에 로드합니다.
- CSV, JSON, Excel 및 Parquet과 같은 구조화된 파일 형식의 경우 디자이너는 모든 파일을 읽고 행을 하나의 테이블로 결합합니다.
- PDF와 같은 문서 파일의 경우 디자이너는 각 파일을 단일 행으로 읽기 때문에 파일당 하나의 행을 가져옵니다.
로컬 파일 끌어서 놓기
CSV 또는 Excel 파일을 로컬 컴퓨터에서 캔버스로 직접 끌어옵니다. 디자이너는 Unity 카탈로그의 볼륨에 파일을 업로드하고 원본 연산자를 자동으로 만듭니다.
메모
Excel 파일을 끌어서 놓려면 Excel 파일 형식 지원을 사용하도록 설정해야 합니다. Excel 파일 읽기 및 스트리밍을 참조하세요.
파일에서 테이블 만들기
원본 구성 창에서 파일에서 테이블 만들기를 선택하여 로컬 CSV 또는 Excel 파일을 업로드하고 해당 파일에서 Unity 카탈로그 테이블을 만듭니다. 데이터가 볼륨에 저장되지 않고 관리되는 테이블로 유지되게 하려면 이 옵션을 사용합니다. 또한 많은 양의 데이터의 경우 최상의 성능을 제공합니다. 업로드된 파일은 Unity 카탈로그 볼륨 파일 크기 제한이 적용됩니다. Unity 카탈로그 볼륨의 파일 작업을 참조하세요.
Google 드라이브에서 가져오기
Google 드라이브에서 파일을 가져오려면 다음을 수행합니다.
- 원본 구성 창에서 Google 드라이브에서 가져오기를 선택합니다.
- Google 드라이브에 대한 액세스 권한이 있는 Unity 카탈로그 연결을 선택합니다.
- 파일 URL을 제공합니다.
이렇게 하려면 Google 드라이브 액세스를 위해 구성된 Unity 카탈로그 연결이 필요합니다. 연결을 설정하는 방법은 Google Drive에서 파일 수집 을 참조하세요.
SharePoint에서 가져오기
SharePoint 파일을 가져오려면 다음을 수행합니다.
- 원본 구성 창에서 SharePoint에서 가져오기를 선택합니다.
- SharePoint 사이트에 대한 액세스 권한이 있는 Unity 카탈로그 연결을 선택합니다.
- 직접 파일 링크를 제공합니다.
Warning
올바른 URL을 얻으려면 SharePoint 파일을 마우스 오른쪽 단추로 클릭하고 Preview를 선택하고 브라우저 주소 표시줄에서 URL을 복사합니다. 공유 링크를 사용하지 마세요.
이렇게 하려면 SharePoint 액세스를 위해 구성된 Unity 카탈로그 연결이 필요합니다. 연결을 설정하는 방법은 SharePoint에서 파일 수집을 참조하세요.
추가 소스에 Lakeflow Connect를 사용
디자이너에서 데이터 원본을 직접 사용할 수 없는 경우 관리되는 커넥터에 대한 Lakeflow Connect 를 확인합니다. Lakeflow Connect는 SaaS 애플리케이션(Salesforce, Workday, HubSpot 등), 데이터베이스, 클라우드 스토리지 및 스트리밍 원본에서 수집을 지원합니다. Lakeflow Connect를 사용하여 데이터를 Unity 카탈로그 테이블에 수집한 후, 디자이너에서 원본으로 사용할 수 있습니다.