Microsoft Fabric의 데이터 엔지니어 설명서

Microsoft Fabric의 데이터 엔지니어링을 통해 사용자는 조직에서 대량의 데이터를 수집, 저장, 처리 및 분석할 수 있는 인프라 및 시스템을 설계, 빌드 및 유지 관리할 수 있습니다.

데이터 엔지니어링에 관해

개요

• 데이터 엔지니어링이란?
• Lakehouse란?
• 작업 영역 역할 및 권한

Lakehouse 시작하기

시작하기

• Lakehouse 만들기
• Lakehouse 탐색기 탐색

방법 가이드

• Notebook을 사용하여 Lakehouse로 데이터 가져오기

Notebooks 시작하기

시작하기

• Notebook 만들기 및 사용

방법 가이드

• Notebook 개발 및 실행
• Notebook을 사용하여 Lakehouse 데이터 탐색
• Notebook 시각화
• Notebook 소스 제어 및 배포
• Notebook에서 NotebookUtils 사용
• T-SQL Notebook 작성 및 실행

GraphQL용 API

개요

• GraphQL용 Fabric API란?

시작하기

• GraphQL용 API 만들기 및 데이터 추가

방법 가이드

• 관계 관리
• 애플리케이션 연결
• 여러 데이터 원본 쿼리

Delta Lake

개념

• Lakehouse 및 Delta 테이블

방법 가이드

• Delta 최적화 및 V 순서
• 테이블에 로드

Lakehouse 엔드 투 엔드 자습서

개념

• Lakehouse 시나리오 개요

자습서

• 1단계 - 작업 영역 만들기
• 2단계 - Lakehouse 만들기
• 3단계 - Lakehouse에 데이터 수집
• 4단계 - 데이터를 Delta 테이블로 변환
• 5단계 - 보고서 빌드
• 6단계 - 리소스 정리

Apache Spark

개념

• Apache Spark 작업 정의
• Spark 모니터링 개요
• Apache Spark 어드바이저

시작하기

• Spark 작업 정의 만들기
• Fabric API를 사용하여 Spark 작업 정의 만들기
• Spark 작업 정의 Git 통합

방법 가이드

• Spark 작업 정의 예약 및 실행
• Spark 애플리케이션 모니터링
• Apache Spark 라이브러리 관리
• Fabric MSSparkUtils를 사용하는 방법
• 용량 설정 구성

VS Code 통합

방법 가이드

• VS Code에서 Notebook 사용
• VS Code에서 컨테이너 이미지 사용
• 리소스와 함께 VS Code의 Notebook 사용
• VS Code에서 Spark 작업 정의 사용
• VS Code에서 Lakehouse 살펴보기
• VS Code 웹 환경에서 Notebook 개발

환경 만들기 시작하기

시작하기

• Microsoft Fabric 환경

방법 가이드

• 환경에서 Spark 컴퓨팅 관리
• 환경에서 라이브러리 관리
• 환경 Git 통합 및 배포 파이프라인
• 공용 API를 통해 환경 관리
• Fabric 환경에서 리소스 관리
• 기존 작업 영역 라이브러리 및 Spark 속성을 환경으로 마이그레이션