패브릭 데이터 엔지니어링 설명서

패브릭 데이터 엔지니어링을 사용하면 조직에서 대량의 데이터를 수집, 저장, 처리 및 분석할 수 있는 인프라 및 시스템을 설계, 빌드 및 유지 관리할 수 있습니다.

데이터 엔지니어링에 관해

개요

• 데이터 엔지니어링이란?
• Lakehouse란 무엇인가?

개념

• Lakehouse 및 Delta 테이블
• 작업 영역 역할 및 권한
• 데이터 저장소 선택

방법 가이드

• Delta 최적화 및 V-오더
• 테이블에 데이터를 로드하다

Lakehouse 시작하기

시작하기

• Lakehouse 만들기
• Lakehouse 탐색기 사용

방법 가이드

• Notebook을 사용하여 Lakehouse로 데이터 가져오기

자습서

• 1단계 - 작업 영역 만들기
• 2단계 - Lakehouse 만들기
• 3단계 - Lakehouse에 데이터 수집
• 4단계 - 데이터를 Delta 테이블로 변환
• 5단계 - 의미 체계 모델 만들기 및 보고서 빌드
• 6단계 - 리소스 정리

노트북 환경 시작하기

시작하기

• Notebook 만들기 및 사용

방법 가이드

• 노트북 환경 개발 및 실행
• Notebook을 사용하여 Lakehouse 데이터 탐색
• 노트북 시각화
• 노트북 소스 관리 및 배포
• T-SQL Notebook 작성 및 실행

GraphQL용 API를 사용하여 쿼리

개요

• GraphQL용 Fabric API란?

시작하기

• GraphQL용 API 만들기 및 데이터 추가

방법 가이드

• 관계 관리
• 애플리케이션에 연결
• 여러 데이터 원본 쿼리
• GraphQL 소스 제어 및 배포 파이프라인
• 모니터링 대시보드 및 로깅(미리 보기)

VS Code 통합

개념

• 데이터 엔지니어링 VS Code 확장이란?

방법 가이드

• VS Code에서 노트북을 사용하기
• VS Code에서 컨테이너 이미지 사용
• VS Code에서 Spark 작업 정의 사용
• VS Code에서 Lakehouse 살펴보기
• VS Code 웹 환경에서 Notebook 개발

데이터 엔지니어링용 Apache Spark

개념

• Apache Spark 작업 정의
• Apache Spark Advisor란?

시작하기

• Spark 작업 정의 만들기
• Fabric API를 사용하여 Spark 작업 정의 만들기
• Spark 작업 정의 Git 통합

방법 가이드

• Spark 작업 정의 예약 및 실행
• Apache Spark 라이브러리 관리
• Fabric MSSparkUtils를 사용하는 방법

환경 설정 시작하기

시작하기

• 패브릭 환경

방법 가이드

• 환경에서 Spark 컴퓨팅 관리
• 환경에서 라이브러리 관리
• 환경 Git 통합 및 배포 파이프라인
• 공용 API를 통해 환경 관리
• 아웃바운드 액세스 보호로 보호되는 환경에서 라이브러리 관리

Fabric Livy API

개요

• Livy API란?

시작하기

• Livy API를 사용하여 Spark 작업 만들기 및 실행
• Livy API 세션 작업 제출
• Livy API 일괄 처리 작업 제출

구체화된 레이크 뷰로 최적화

개요

• 구체화된 호수 전망은 무엇인가요?

시작하기

• 구체화된 호수 전망 시작
• 메달리온 아키텍처를 재현된 레이크 뷰와 함께 구현하기
• 구체화된 레이크 뷰 관리