다음을 통해 공유


데이터 흐름 매핑 비디오 자습서

적용 대상: Azure Data Factory Azure Synapse Analytics

Microsoft Fabric의 데이터 팩토리는 더 간단한 아키텍처, 기본 제공 AI 및 새로운 기능을 갖춘 차세대 Azure 데이터 팩토리입니다. 데이터 통합을 접하는 경우 Fabric Data Factory부터 시작합니다. 기존 ADF 워크로드는 Fabric 업그레이드하여 데이터 과학, 실시간 분석 및 보고 전반에 걸쳐 새로운 기능에 액세스할 수 있습니다.

다음은 Azure Data Factory 팀에서 만든 매핑 데이터 흐름 자습서 비디오 목록입니다.

제품에 대한 업데이트가 지속적으로 이루어지기 때문에 일부 기능은 현재 Azure Data Factory 사용자 환경에서 추가되거나 다른 기능을 제공합니다.

시작

Azure Data Factory에서 매핑 데이터 흐름을 시작하기

매핑 데이터 흐름 디버깅 및 개발

매핑 데이터 흐름 디버깅 및 테스트

데이터 탐색

데이터 미리 보기 빠른 작업

매핑 데이터 흐름 성능 모니터링 및 관리

벤치마크 시간

데이터 흐름에 대한 워크플로 디버깅

업데이트된 모니터링 보기

변환 개요

집계 변환

행 변경 변환

파생 열 변환

조인 변환

자체 조인 패턴

조회 변환

조회 변환 업데이트 및 팁

피벗 변환

피벗 변환: 변경된 열 매핑

변환 선택

변환 선택: 규칙 기반 매핑

변환 선택: 대규모 데이터 세트

서로게이트 키 변환

통합 변환

언피벗 변환

윈도우 변환

필터 변환

조건부 분할 변환

있음 변환

동적 조인 및 동적 조회

평면화 변환

Flowlets

문자열화 변환

외부 호출 변환

계층적 데이터 변환

순위 변환

캐시된 조회

윈도우 변환을 통한 행 문맥

구문 분석 변환

복합 데이터 형식 변환

다음 작업으로 출력

문자열화 변환

외부 호출 변환

어설트 변환

어설션 오류 행 로그

퍼지 조인

데이터 출처 및 데이터 수신지

JSON 읽기 및 쓰기

Parquet 및 구분된 텍스트 파일

CosmosDB 커넥터

구분된 텍스트 파일의 데이터 형식 유추

분할된 파일 읽기 및 쓰기

여러 SQL 테이블 변환 및 만들기

Data Lake에서 파일 분할

데이터 웨어하우스 로딩 패턴

Data Lake 파일 출력 옵션

매핑 데이터 흐름 최적화

데이터 계보

매개 변수가 있는 파일 반복

시작 시간 줄이기

SQL DB 성능

로깅 및 감사

런타임 시 데이터 흐름 클러스터 크기를 동적으로 최적화

데이터 흐름 시작 시간 최적화

데이터 흐름용 Azure 통합 런타임

Azure IR을 사용하여 클러스터 시작 시간을 확인합니다

매핑 데이터 흐름 시나리오

유사 항목 조회

데이터 패턴 준비

주소 패턴 지우기

중복 제거

파일 병합

느린 변경 차원 유형 1: 덮어쓰기

느리게 변화하는 차원 유형 2: 기록

팩트 테이블 로드

델타 데이터 로드 패턴을 사용하여 온-프레미스 SQL Server를 변환하기

매개 변수화

중복되지 않는 행 및 행 수

잘림 오류 처리

인텔리전트 데이터 라우팅

중요한 데이터에 대한 데이터 마스킹

논리적 모델 및 물리적 모델

원본 데이터 변경 내용 검색

제네릭 형식 2 느린 변경 차원

원본에 없는 경우 대상의 행 삭제

Azure Data Factory 및 Azure SQL DB를 사용하여 증분 데이터 로드

파싱 및 평탄화를 사용하여 Event Hubs의 Avro 데이터 변환

데이터 흐름 식

날짜/시간 표현

배열 및 Case 문 분할

문자열 보간 및 매개 변수를 사용하는 재미

Data Flow 스크립트 소개: 복사, 붙여넣기, 코드 조각

데이터 품질 식

집계 함수 수집

동적 식을 매개 변수로 사용

사용자 정의 함수

메타데이터

메타데이터 유효성 검사 규칙