이벤트 스트림에 레이크하우스 대상 추가

아티클
04/05/2024

이 문서에서는 Lakehouse를 Microsoft Fabric 이벤트 스트림의 대상으로 추가하는 방법을 보여 줍니다.

필수 조건

시작하기 전에 다음 필수 구성 요소를 완료해야 합니다.

Eventstream이 있는 기여자 이상의 권한이 있는 프리미엄 작업 영역에액세스합니다.
Lakehouse가 있는 기여자 이상의 권한이 있는 프리미엄 작업 영역에액세스할 수 있습니다.

참고 항목

하나의 Eventstream에 대한 최대 원본 및 대상 수는 11개입니다.
이벤트 스트림의 이벤트 데이터 보존 기간은 1일이며, 이를 확장하고 나중에 구성할 수 있게 만들 수 있습니다.

레이크하우스를 대상으로 추가

작업 영역에서 레이크하우스를 만든 경우 다음 단계에 따라 이벤트 스트림에 레이크하우스를 대상으로 추가합니다.

리본에서 새 대상을 선택하거나 기본 편집기 캔버스에서 "+"를 선택한 다음, Lakehouse를 선택합니다. Lakehouse 대상 구성 화면이 나타납니다.
이벤트 스트림 대상의 이름을 입력하고 Lakehouse에 대한 정보를 완료합니다.
1. 레이크하우스: 지정한 작업 영역에서 기존 레이크하우스를 선택합니다.
2. 델타 테이블: 기존 델타 테이블을 선택하거나 데이터를 받을 새 델타 테이블을 만듭니다.
  
  참고 항목
  
  레이크 하우스 테이블에 데이터를 쓸 때 스키마 적용이 있습니다. 즉, 테이블에 대한 모든 새 쓰기는 쓰기 시 대상 테이블의 스키마와 호환되어야 하므로 데이터 품질이 보장됩니다.
  
  출력 데이터의 모든 레코드는 기존 테이블의 스키마에 프로젝팅됩니다. 출력을 새 델타 테이블에 쓸 때 첫 번째 레코드를 기반으로 테이블 스키마가 만들어집니다. 들어오는 데이터에 기존 테이블 스키마에 비해 추가 열이 있는 경우 추가 열을 포함하지 않고 테이블에 씁니다. 반대로 들어오는 데이터에 기존 테이블 스키마에 비해 열이 누락된 경우 열 값이 null로 설정된 테이블에 씁니다.
3. 입력 데이터 형식: 레이크하우스로 전송되는 데이터(입력 데이터)의 형식을 선택합니다.
  
  참고 항목
  
  지원되는 입력 이벤트 데이터 형식은 JSON, Avro 및 CSV(헤더 포함)입니다.
4. 이벤트 처리: 이벤트 처리 편집기를 사용하여 레이크하우스로 전송되기 전에 데이터를 처리하는 방법을 지정할 수 있습니다. 이벤트 프로세서 열기를 선택하여 이벤트 처리 편집기를 엽니다. 이벤트 프로세서를 사용한 실시간 처리에 대한 자세한 내용은 이벤트 프로세서 편집기를 사용하여 이벤트 데이터 처리를 참조 하세요. 편집기를 마쳤으면 완료를 선택하여 Lakehouse 대상 구성 화면으로 돌아갑니다.
레이크하우스 대상에는 두 가지 수집 모드를 사용할 수 있습니다. 이러한 모드 중 하나를 선택하여 패브릭 이벤트 스트림 기능이 시나리오에 따라 Lakehouse에 쓰는 방법을 최적화합니다.
1. 파일 당 행 – Lakehouse가 단일 파일에서 수집하는 최소 행 수입니다. 최소 행 수가 적을수록 수집 중에 Lakehouse가 만드는 파일이 더 많아집니다. 최소 행은 1행입니다. 최대 파일당 2M 행입니다.
2. 기간 – Lakehouse에서 단일 파일을 수집하는 데 걸리는 최대 기간입니다. 기간이 길수록 파일에 더 많은 행이 수집됩니다. 최소는 1분, 최대값은 2시간입니다.
추가를 선택하여 레이크하우스 대상을 추가합니다.
레이크하우스 대상 내에서 사용할 수 있는 테이블 최적화 바로 가기입니다. 이 솔루션은 Notebook 내에서 Spark 작업을 시작하여 대상 Lakehouse 테이블 내에서 이러한 작은 스트리밍 파일을 통합하여 쉽게 수행할 수 있습니다.
캔버스에 회전하는 상태 표시기가 있는 레이크하우스 대상이 나타납니다. 시스템에서 상태 수집으로 변경하는 데 몇 분 정도 걸립니다.