매핑 데이터 흐름 Video 자습서

아티클
05/15/2024

적용 대상: Azure Data Factory Azure Synapse Analytics

팁

기업용 올인원 분석 솔루션인 Microsoft Fabric의 Data Factory를 사용해 보세요. Microsoft Fabric은 데이터 이동부터 데이터 과학, 실시간 분석, 비즈니스 인텔리전스 및 보고에 이르기까지 모든 것을 다룹니다. 무료로 새 평가판을 시작하는 방법을 알아봅니다!

다음은 Azure Data Factory 팀에서 만든 매핑 데이터 흐름 자습서 비디오의 목록입니다.

제품이 지속적으로 업데이트되므로 현재 Azure Data Factory 사용자 환경에서 일부 기능이 추가되거나 다른 기능을 수행합니다.

시작

Azure Data Factory의 매핑 데이터 흐름 시작

매핑 데이터 흐름 디버깅 및 개발

매핑 데이터 흐름 디버깅 및 개발

데이터 탐색

데이터 미리 보기 빠른 작업

매핑 데이터 흐름 성능 모니터링 및 관리

타이밍 벤치마크

데이터 흐름에 대한 워크플로 디버깅

업데이트된 모니터링 보기

변환 개요

행 변경 변환

파생 열 변환

자체 조인 패턴

조회 변환 업데이트 및 팁

피벗 변환: 드리프트 열 매핑

변환 선택: 규칙 기반 매핑

변환 선택: 대규모 데이터 세트

서로게이트 키 변환

피벗 해제 변환

조건부 분할 변환

동적 조인 및 동적 조회

평면화 결합

Stringify 변환

외부 호출 변환

계층적 데이터 변환

캐시된 조회

창 변환을 통한 행 컨텍스트

구문 분석 변환

복합 데이터 형식 변환

다음 작업으로 출력

Stringify 변환

외부 호출 변환

어설션 변환

어설션 오류 행 로그

유사 항목 조인

원본 및 싱크

JSON 읽기 및 쓰기

Parquet 및 구분된 텍스트 파일

CosmosDB 커넥터

구분된 텍스트 파일의 데이터 형식 유추

분할된 파일 읽기 및 쓰기

여러 SQL 테이블 변환 및 만들기

Data Lake에서 파일 분할

데이터 웨어하우스 로딩 패턴

Data Lake 파일 출력 옵션

매핑 데이터 흐름 최적화

데이터 계보

매개 변수가 있는 파일 반복

시작 시간 줄이기

로깅 및 감사

런타임 시 데이터 흐름 클러스터 크기를 동적으로 최적화

데이터 흐름 시작 시간 최적화

데이터 흐름에 대한 Azure Integration Runtimes

Azure IR을 사용한 빠른 클러스터 시작 시간

매핑 데이터 흐름 시나리오

유사 항목 조회

데이터 패턴 준비

주소 패턴 지우기

느린 변경 차원 유형 1: 개요

느린 변경 차원 유형 2: 기록

팩트 테이블 로드

델타 데이터 로드 패턴을 사용하여 온-프레미스에서 SQL Server 변환

매개 변수화

고유 행 & 행 수

잘림 오류 처리

인텔리전트 데이터 라우팅

중요한 데이터에 대한 데이터 마스킹

논리적 모델 및 물리적 모델

원본 데이터 변경 내용 검색

제네릭 형식 2 느린 변경 차원

원본에 없는 경우 대상의 행 삭제

Azure Data Factory 및 Azure SQL DB를 사용한 증분 데이터 로드

구문 분석 및 평면을 사용하여 Event Hubs에서 Avro 데이터 변환

데이터 흐름 식

날짜/시간 식

배열 및 Case 문 분할

문자열 보간 및 매개 변수를 사용하는 재미

Data Flow 스크립트 소개: 복사, 붙여넣기, 코드 조각

데이터 품질 식

집계 함수 수집

동적 식을 매개 변수로 사용

사용자 정의 함수

메타데이터

메타데이터 유효성 검사 규칙