Azure Data Factory의 새로운 보관 기능
Azure Data Factory는 지속적으로 개선되고 있습니다. 최신 개발 정보를 확인하려면 다음과 같은 정보를 제공하는 현재 새로운 기능 페이지를 참조하세요.
- 최신 릴리스.
- 알려진 문제.
- 버그 수정.
- 사용되지 않는 기능.
- 변경 계획.
이 보관 페이지는 이전 월의 업데이트를 유지합니다.
모든 월별 업데이트에 대한 새로운 기능 비디오 아카이브를 확인하세요.
2023년 9월
Pipelines
Azure SQL에서 동적 전체 및 증분 처리를 위한 메타데이터 기반 파이프라인에 대한 지원이 추가되었습니다. 자세히 알아보기
2023년 8월
변경 데이터 캡처
- 최상위 CDC 리소스의 Azure Synapse Analytics 대상 가용성 자세히 알아보기
- 공개 미리 보기에서 변경 데이터 캡처를 위한 Mapping Data Flows 지원의 Snowflake 커넥터 자세히 알아보기
데이터 흐름
- 파이프라인 변수에 사용할 수 있는 정수 형식 자세히 알아보기
- 최상위 CDC 리소스에서 사용할 수 있는 Snowflake CDC 원본 커넥터 자세히 알아보기
- 더 많은 연결된 서비스를 위한 매개 변수화의 네이티브 UI 지원 자세히 알아보기
데이터 이동
- Application Gateway 및 MySQL 유연한 서버에 대한 관리 프라이빗 엔드포인트 지원 자세히 알아보기
- 관리되는 가상 네트워크 TTL(수명) 일반 공급 자세히 알아보기
통합 런타임
이제 자체 호스팅 통합 런타임이 자체 포함된 대화형 작성 지원(미리 보기). 자세히 알아보기
2023년 7월
변경 데이터 캡처
이제 최상위 CDC 리소스가 스키마 발전을 지원합니다. 자세한 정보
데이터 흐름
이제 델타 싱크의 스키마 병합 옵션이 Mapping Data Flows에서 스키마 발전을 지원합니다. 자세한 정보
데이터 이동
개발자 생산성
이제 Azure Data Factory 검색 도구 모음에 설명서 검색이 포함되었습니다. 자세한 정보
2023년 6월
연속 통합 및 연속 배포
npm 패키지는 이제 ARM 템플릿 빌드를 위해 사전 다운로드된 번들을 지원합니다. 방화벽 설정이 npm 패키지에 대한 직접 다운로드를 차단하는 경우 이제 패키지를 미리 로드하고 대신 npm 패키지가 로컬 버전을 사용하도록 할 수 있습니다. 이는 방화벽이 있는 환경에서 CI/CD 파이프라인을 크게 향상시킵니다.
지역 확장
이제 Azure Data Factory를 스웨덴 중부에서 사용할 수 있습니다. 최신 데이터 웨어하우스를 저장하고 관리하기 위해 지역을 활용하는 경우 이 새로운 지역에 ETL 워크플로를 같은 위치에 배치할 수 있습니다. 자세한 정보
데이터 이동
이제 Azure Data Factory의 아웃바운드 네트워크 규칙을 사용한 아웃바운드 트래픽 보호가 지원됩니다. 자세한 정보
커넥터
Amazon S3 커넥터는 이제 Mapping Data Flows를 사용하여 싱크 대상으로 지원됩니다. 자세한 정보
데이터 흐름
최상위 CDC 리소스에는 DelimitedText 및 JSON 원본에 대한 선택적 원본 설정이 도입되었습니다. 데이터 팩터리의 최상위 CDC 리소스는 이제 구분 및 JSON 원본에 대한 선택적 원본 구성을 지원합니다. 이제 구분된 원본에 대한 열/행 구분 기호를 선택하고 JSON 원본에 대한 문서 형식을 설정할 수 있습니다. 자세한 정보
2023년 5월
Microsoft Fabric의 Data Factory
Microsoft Fabric의 데이터 팩터리는 가장 복잡한 데이터 팩터리 및 ETL 시나리오를 해결할 수 있는 클라우드 규모 데이터 이동 및 데이터 변환 서비스를 제공합니다. 데이터 팩터리 환경을 사용하기 쉽고 강력하며 진정한 엔터프라이즈급으로 만들기 위한 것입니다.
2023년 4월
데이터 흐름
ADF 데이터 흐름에서 여러 배열을 쉽게 펼칠 수 있습니다. ADF는 이제 단일 Flatten 변환 단계에서 여러 배열을 매우 쉽게 펼칠 수 있게 해주는 Flatten 변환을 업데이트했습니다. 자세한 정보
연속 통합 및 연속 배포
이제 Git 모드에서 커밋 메시지를 사용자 지정할 수 있습니다. 변경 내용에 대한 자세한 설명을 입력하면 해당 내용이 Git 리포지토리에 저장됩니다.
커넥터
이제 Azure Blob Storage 커넥터는 익명 인증을 지원합니다. 자세한 정보
2023년 3월
커넥터
Azure Data Lake Storage Gen2 커넥터는 이제 공유 액세스 서명 인증을 지원합니다. 자세한 정보
2023년 2월
데이터 이동
- Azure Blob Storage에서 지원되는 익명 인증 형식 자세히 알아보기
- SAP 데이터를 델타 형식의 ADLSGen2로 쉽게 이동하도록 업데이트된 SAP 템플릿 자세히 알아보기
오케스트레이션
개발자 생산성
어두운 테마 지원 추가됨(공개 미리 보기) 자세히 알아보기
2023년 1월
데이터 흐름
데이터 이동
새로운 최상위 CDC 리소스 - 간단한 3단계의 네이티브 CDC 구성 자세히 알아보기
오케스트레이션
Synapse Notebook 및 Synapse Spark 작업 정의를 네이티브로 오케스트레이션 자세히 알아보기
지역 확장
SSIS(SQL Server Integration Services)
이제 SSIS에 대한 빠른 가상 네트워크 주입이 일반 공급됨 자세히 알아보기
개발자 생산성
- 홈페이지에서 리소스 선호에 대한 지원이 추가됨
- 파이프라인 모니터링을 위해 열 너비 저장
- 빠른 검색을 위해 필터 업데이트 모니터링
- Azure Portal을 통해 파이프라인 템플릿 갤러리를 직접 시작
2022년 12월
데이터 흐름
SQL CDC(변경 데이터 캡처) 증분 추출 - 매핑 데이터 흐름에서 숫자 열 지원 자세히 알아보기
데이터 이동
Azure Data Factory SSIS에 대한 빠른 가상 네트워크 주입이 일반 공급됨 자세히 알아보기
지역 확장
지속적인 지역 확장 - Azure Data Factory를 중국 북부 3에서 이용 가능 자세히 알아보기
2022년 11월
데이터 흐름
- 증분은 SAP CDC에서만 사용 가능 - 초기 전체 로드 없이 SAP 시스템에서 변경 내용만 가져오기 자세히 알아보기
- 성능 향상을 위한 SAP CDC의 초기 전체 데이터 로드의 원본 파티션 자세히 알아보기
- 새 파이프라인 템플릿 - SAP CDC를 통해 SAP에서 대량으로 여러 개체 로드 자세히 알아보기
데이터 이동
- Data Factory 관리형 가상 네트워크에서 프라이빗 링크를 통해 Azure Databricks 지원 자세히 알아보기
사용자 인터페이스
ADF Studio 미리 보기 환경에 추가된 파이프라인 디자이너 개선 사항 2가지
- 동적 콘텐츠 플라이아웃 - 식 작성기를 사용하지 않고도 파이프라인 작업에서 동적 콘텐츠를 더 쉽게 설정 자세히 알아보기
- 오류 메시지가 상태 열로 재배치 - Failed 파이프라인 실행이 표시될 때 발생하는 오류를 더 쉽게 볼 수 있음 자세히 알아보기
연속 통합 및 연속 배포
자동 게시 구성에서 마지막 자동화된 게시 배포 덮어쓰기를 무효화하는 데 게시 사용 안 함 단추 사용 가능 자세히 알아보기
2022년 10월
동영상 요약
데이터 흐름
- 데이터 흐름 미리 보기에서 최대 1000개의 행 내보내기 자세히 알아보기
- 이제 Mapping Data Flows의 SQL CDC 사용 가능(공개 미리 보기) 자세히 알아보기
- Microsoft 365 Mapping Data Flows 커넥터로 고급 분석 활용 자세히 알아보기
- 현재 일반적으로 사용 가능한 SAP CDC(변경 데이터 캡처) 자세히 알아보기
개발자 생산성
- 이제 템플릿 갤러리에 대한 커뮤니티 기여를 수락합니다. 자세히 알아보기
- Azure Portal의 새로운 디자인 – ADF Studio를 실행하는 방법을 쉽게 알아봅니다. 자세히 알아보기
- 이제 Azure Data Factory 스튜디오에서 학습 센터를 사용할 수 있습니다. 자세히 알아보기
- 클릭 한 번으로 Azure Data Factory를 사용해 보세요. 자세히 알아보기
오케스트레이션
- ADF에 사용 가능한 세분화된 청구 보기 – 파이프라인별 자세한 청구 정보 보기(공개 미리 보기) 자세히 알아보기
- 이제 스크립트 작업 실행 제한 시간을 구성할 수 있습니다. 자세히 알아보기
지역 확장
지속적인 지역 확장 – 이제 카타르 중부 지역이 지원됩니다. 자세히 알아보기
연속 통합 및 연속 배포
현재 배포 시 변경되지 않은 파이프라인 트리거를 제외합니다. 자세히 알아보기
2022년 9월
동영상 요약
데이터 흐름
- Amazon S3 원본 커넥터가 추가되었습니다. 자세히 알아보기
- 원본(미리 보기)로 추가된 Google 스프레드시트 REST 기반 커넥터 자세히 알아보기
- 데이터 흐름에서 최대 열 최적화 자세히 알아보기
- Mapping Data Flows(미리 보기)의 SAP 변경 데이터 캡처 기능 - 보다 효율적인 데이터 새로 고침을 위해 SAP 시스템에서 데이터 변경 내용 추출 및 변환 자세히 알아보기
- 매핑 데이터 흐름을 위해 Dynamics 365/CRM 커넥터에서 지원되는 대체 키를 통해 조회 필드에 데이터 쓰기 자세히 알아보기
데이터 이동
Oracle NUMBER 형식을 원본의 해당 정수로 변환하는 것을 지원합니다. 자세히 알아보기
모니터링
- Azure Data Factory에 대한 추가 모니터링 개선 사항 자세히 알아보기
- 모니터링 로딩 개선 사항 - 확장된 경우에만 가져온 파이프라인 재실행 그룹화 데이터
- 파이프라인 실행의 모든 작업 레코드를 표시하기 위해 파이프라인 활동 실행 보기에 페이지 매김이 추가되었습니다.
- 사용량 개선 모니터링 – 사용량 보고서가 완전히 계산되는 시기를 알 수 있도록 로딩 아이콘 추가
- 모니터링의 추가 정렬 열 – 파이프라인 이름, 실행 종료 및 상태에 대한 정렬 추가
- 시간대 설정이 이제 모니터링에 저장됨
- 이제 IR 모니터링에서 Gantt 차트 보기가 지원됩니다. 자세히 알아보기
오케스트레이션
이제 웹 작업의 DELETE 메서드가 HTTP 요청으로 본문 전송을 지원합니다. 자세히 알아보기
사용자 인터페이스
- 6개의 추가 연결된 서비스(SAP ODP, ODBC, Microsoft Access, Informix, Snowflake 및 DB2)에 대해 추가된 매개 변수화의 네이티브 UI 지원 자세히 알아보기
- Studio 미리 보기 환경에 추가된 파이프라인 디자이너 개선 사항 – 사용자는 For Each, If Then 등과 같은 파이프라인 개체 내부의 워크플로를 볼 수 있습니다. 자세히 알아보기
2022년 8월
동영상 요약
데이터 흐름
- 원본(미리 보기)로 추가된 Appfigures 커넥터 자세히 알아보기
- 캐스트 변환 추가 – 데이터 형식을 시각적으로 변환 자세히 알아보기
- 인라인 데이터 세트용 새 UI - 데이터 원본을 쉽게 찾을 수 있도록 범주가 추가되었습니다. 자세히 알아보기
데이터 이동
Azure Blob Storage에 추가된 서비스 주체 인증 형식 자세히 알아보기
개발자 생산성
- 기본 작업 제한 시간이 7일에서 12시간으로 변경되었습니다. 자세히 알아보기
- 새로운 데이터 팩터리 만들기 환경 - 클릭 한 번으로 몇 초 내에 팩터리를 준비할 수 있습니다. 자세히 알아보기
- 식 빌더 UI 업데이트 - 더 쉽게 사용할 수 있도록 범주 탭이 추가되었습니다. 자세히 알아보기
연속 통합 및 지속적인 업데이트(CI/CD)
CI/CD가 ARM 템플릿을 통합할 때 모든 트리거를 해제하는 대신 배포 시 변경되지 않은 트리거를 제외할 수 있습니다. 자세히 알아보기
2022년 7월
동영상 요약
데이터 흐름
- 원본으로 추가된 Asana 커넥터 자세히 알아보기
- 이제 세 가지 새로운 데이터 변환 함수가 지원됩니다. 자세히 알아보기
- collectUnique() - 배열에 고유한 값의 새 컬렉션을 만듭니다.
- substringIndex() - 구분 기호가 n번 발생하기 전에 하위 문자열을 추출합니다.
- topN() - 데이터를 정렬한 후 상위 n개 결과를 반환합니다.
- 데이터 원본 변경 시나리오를 위해 새로 고침에서 사용할 수 있는 원본에서 다시 가져오기 자세히 알아보기
- 사용자 지정 함수(GA) - 복잡한 논리를 반복해서 빌드하지 않도록 재사용 가능한 사용자 지정식을 만듭니다. 자세히 알아보기 동영상
- 데이터 흐름 런타임에 대한 보다 쉬운 구성 – 컴퓨팅 크기를 소형, 중형 및 대형 중에서 선택하여 모든 통합 런타임 설정을 미리 구성합니다. 자세히 알아보기
연속 통합 및 지속적인 업데이트(CI/CD)
ARM 템플릿에서 지원되는 전역 매개 변수를 포함합니다. 자세한 정보
개발자 생산성
Azure Data Factory 스튜디오 미리 보기 기능을 사용해 보세요 - 최신 Azure Data Factory 기능을 경험하고 가장 먼저 피드백을 공유합니다. 자세히 알아보기
2022년 6월
동영상 요약
| 서비스 범주 | 서비스 개선 사항 | 세부 정보 |
| 데이터 흐름 | 데이터 흐름에 지원되는 유사 항목 조인 | 이제 조인 조건에서 구성 가능한 유사성 점수를 사용하여 데이터 흐름의 조인 변환에서 유사 항목 조인이 지원됩니다. 자세한 정보 |
| 원본 프로젝션의 편집 기능 | 데이터 흐름에서 원본 프로젝션의 편집 기능을 사용하여 스키마를 쉽게 수정할 수 있습니다. 자세한 정보 | |
| 어설션 오류 처리 | 어설션 오류 처리는 이제 데이터 품질 및 데이터 유효성 검사를 위해 데이터 흐름에서 지원됩니다. 자세한 정보 | |
| 데이터 이동 | 추가 4개의 커넥터에서 기본적으로 지원되는 매개 변수화 | Azure Data Lake Gen1, Azure PostgreSQL, Google AdWords 및 PostgreSQL과 같은 연결된 서비스에 대한 매개 변수화에 대한 네이티브 UI 지원을 추가했습니다. 자세한 정보 |
| 새 SAP ODP 커넥터의 SAP CDC(변경 데이터 캡처) 기능(공개 미리 보기) | 이제 새 SAP ODP 커넥터에서 SAP CDC(변경 데이터 캡처) 기능이 지원됩니다. 자세한 정보 | |
| Integration Runtime | 관리형 VNET의 Time To Live(공개 미리 보기) | Time To Live는 관리형 VNET에서 프로비전된 컴퓨팅으로 설정할 수 있습니다. 자세한 정보 |
| Monitoring | 새 매개 변수를 사용하여 파이프라인 다시 실행 | 이제 Azure Data Factory에서 새 매개 변수 값으로 파이프라인을 다시 실행할 수 있습니다. 자세한 정보 |
| 오케스트레이션 | 'turnOffAsync' 속성은 웹 작업에서 사용할 수 있습니다. | 웹 작업은 HTTP 202 응답의 응답 헤더에 있는 위치 필드에서 HTTP GET을 호출하는 비동기 요청-회신 패턴을 지원합니다. 웹 작업은 작업이 실행될 때까지 모니터링 엔드포인트를 자동으로 폴링하는 데 도움이 됩니다. 폴링이 필요하지 않은 경우 이 동작을 사용하지 않도록 설정하려면 'turnOffAsync' 속성이 지원됩니다. 자세한 정보 |
2022년 5월
| 서비스 범주 | 서비스 개선 사항 | 세부 정보 |
| 데이터 흐름 | 데이터 흐름 매핑을 위한 사용자 정의 함수 | Azure Data Factory는 공개 미리 보기 사용자 정의 함수 및 데이터 흐름 라이브러리를 소개합니다. 사용자 정의 함수는 여러 매핑 데이터 흐름에서 논리를 다시 사용할 수 있도록 정의할 수 있는 사용자 지정 식입니다. 사용자 정의 함수는 사용자 정의 함수의 일반적인 세트를 쉽게 그룹화할 수 있도록 데이터 흐름 라이브러리라는 컬렉션에 있습니다. 자세한 정보 |
2022년 4월
| 서비스 범주 | 서비스 개선 사항 | 세부 정보 |
| 데이터 흐름 | 데이터 흐름 매핑의 데이터 미리 보기 및 디버그 개선 사항 | AutoResolve Azure IR(통합 런타임)을 사용하는 디버그 세션은 이제 10초 이내에 시작됩니다. 매핑 데이터 흐름에서 데이터 미리 보기 패널에 대한 새로운 업데이트가 있습니다. 이제 열 머리글을 선택하여 데이터 미리 보기 내의 행을 정렬할 수 있습니다. 열을 대화형으로 이동할 수 있습니다. CSV 내보내기를 사용하여 데이터 미리 보기 결과를 CSV로 저장할 수도 있습니다. 자세한 정보 |
| Dataverse 커넥터는 매핑 데이터 흐름에 사용할 수 있습니다. | Dataverse 커넥터는 매핑 데이터 흐름의 원본 및 싱크로 사용할 수 있습니다. 자세한 정보 | |
| 데이터 흐름 싱크에서 Azure Synapse Analytics 및 PostgreSQL 커넥터로 준비하기 위한 사용자 데이터베이스 스키마 지원 | 데이터 흐름 싱크는 이제 Azure Synapse Analytics 및 PostgreSQL 커넥터 모두에서 준비하기 위해 사용자 데이터베이스 스키마 사용을 지원합니다. 자세한 정보 | |
| Monitoring | Data Factory 모니터링 환경에 대한 여러 업데이트 | Data Factory의 모니터링 환경에 대한 새로운 업데이트에는 결과를 CSV로 내보내고 모든 필터를 지우고 새 탭에서 실행을 여는 기능이 포함됩니다. 열 및 결과 캐싱도 개선되었습니다. 자세한 정보 |
| 사용자 인터페이스 | 새 지역 형식 지원 | 설정에서 언어 및 지역 형식을 선택하면 날짜 및 시간과 같은 데이터가 Azure Data Factory Studio 모니터링에 표시되는 방식에 영향을 줍니다. 예를 들어 모니터링의 시간 형식은 국가별 형식으로 영어를 선택하면 "2022년 4월 2일 오후 3:40:29"로, 프랑스어를 지역 형식으로 선택하면 "2022년 4월 2일 15:40:29"로 표시됩니다. 이러한 설정은 Azure Data Factory Studio 사용자 인터페이스에만 영향을 미치며 실제 데이터 및 표준 시간대를 변경/수정하지 않습니다. |
2022년 3월
동영상 요약
| 서비스 범주 | 서비스 개선 사항 | 세부 정보 |
| 데이터 흐름 | ScriptLines 및 매개 변수화된 연결된 서비스가 추가 매핑 데이터 흐름 지원 | 이제 데이터 흐름 JSON 정의의 ScriptLines를 사용하여 Git의 데이터 흐름 스크립트에 대한 변경 사항을 쉽게 감지할 수 있습니다. 이제 유연한 일반 연결 패턴을 위해 데이터 흐름 내에서 매개 변수화된 연결된 서비스를 사용할 수 있습니다. 자세한 정보 |
| Flowlets GA(일반 공급) | 이제 Flowlet이 일반 공급되어 다른 파이프라인에서 인라인 변환으로 공유할 수 있는 데이터 흐름 논리의 재사용 가능한 부분을 생성할 수 있습니다. Flowlet을 사용하면 ETL(추출, 변환 및 로드) 작업을 사용자 지정 또는 공통 논리 구성 요소로 구성할 수 있습니다. 자세한 정보 | |
| 변경 피드 커넥터는 5가지 데이터 흐름 소스 변환에서 사용할 수 있습니다. | 변경 피드 커넥터는 Azure Cosmos DB, Azure Blob Storage, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2 및 CDM(공통 데이터 모델)에 대한 데이터 흐름 원본 변환에서 사용할 수 있습니다. 자세한 정보 | |
| 데이터 흐름 매핑의 데이터 미리 보기 및 디버그 개선 사항 | 데이터 흐름 매핑의 데이터 미리 보기 및 디버그 환경에 새로운 기능이 추가되었습니다. 자세한 정보 | |
| 매핑 데이터 흐름을 위한 SFTP 커넥터 | SFTP 커넥터는 매핑 데이터 흐름에 소스 및 싱크로 사용할 수 있습니다. 자세한 정보 | |
| 데이터 이동 | 관리형 가상 네트워크의 조회 작업에서 SQL 관련 커넥터에 대해 Always Encrypted 지원 | Always Encrypted는 관리형 가상 네트워크의 조회 작업에서 SQL Server, Azure SQL Database, Azure SQL Managed Instance 및 Synapse Analytics에 대해 지원됩니다. 자세한 정보 |
| 통합 런타임 | Azure IR 생성 및 편집 페이지의 새 UI 레이아웃 | IR 생성 및 편집 페이지의 UI 레이아웃은 이제 설정, 가상 네트워크 및 데이터 흐름 런타임에 탭 스타일을 사용합니다. 자세한 정보 |
| 오케스트레이션 | 스크립트 작업을 사용하여 데이터 변환 | 스크립트 활동을 사용하여 SQL Database, Azure Synapse Analytics, SQL Server, Oracle 또는 Snowflake에서 SQL 스크립트를 호출할 수 있습니다. 자세한 정보 |
| 웹 작업 시간 초과 개선 | 응답 시간이 1분을 초과하는 경우, 특히 동기 API의 경우 시간이 초과되지 않도록 웹 작업에서 응답 시간 초과를 구성할 수 있습니다. 자세한 정보 |
2022년 2월
동영상 요약
| 서비스 범주 | 서비스 개선 사항 | 세부 정보 |
| 데이터 흐름 | 매핑 데이터 흐름에서 지원되는 매개 변수화된 연결된 서비스 | 이제 매핑 데이터 흐름에 매개 변수화된 연결된 서비스를 사용하여 데이터 흐름 파이프라인을 일반적이고 유연하게 만들 수 있습니다. 자세한 정보 |
| 데이터 흐름에서 사용할 수 있는 SQL 데이터베이스 증분 원본 추출(공개 미리 보기) | 증분 추출 사용(미리 보기)이라는 매핑 데이터 흐름 SQL 데이터베이스 원본에 새 옵션이 추가되었습니다. 이제 데이터 흐름을 사용하여 SQL 데이터베이스 원본에서 변경된 행만 자동으로 끌어올 수 있습니다. 자세한 정보 | |
| 매핑 데이터 흐름에 사용할 수 있는 4개의 새 커넥터(공개 미리 보기) | 이제 Data Factory는 매핑 데이터 흐름에 대한 Quickbase 커넥터, Smartsheet 커넥터, TeamDesk 커넥터, Zendesk 커넥터 등의 4가지 새로운 커넥터(공개 미리 보기)를 지원합니다. 자세한 정보 | |
| 매핑 데이터 흐름에 대한 Azure Cosmos DB(SQL API)가 이제 인라인 모드를 지원합니다. | 매핑 데이터 흐름에 대한 Azure Cosmos DB(SQL API)는 이제 인라인 데이터 세트를 사용할 수 있습니다. 자세한 정보 | |
| 데이터 이동 | 10분 이내에 Data Factory 데이터 복사 도구에서 메타데이터 기반 데이터 수집 파이프라인 가져오기(GA) | 데이터 복사 도구에 대한 메타데이터 기반 접근 방식으로 10분 이내에 대규모 데이터 복사 파이프라인을 구축할 수 있습니다. 자세한 정보 |
| Data Factory Google AdWords 커넥터 API 업그레이드 사용 가능 | 이제 Data Factory Google AdWords 커넥터에서 새 AdWords API 버전을 지원합니다. 새 커넥터 사용자는 기본적으로 사용할 수 있으므로 필요한 작업이 없습니다. 자세한 정보 | |
| 연속 통합 및 지속적인 업데이트(CI/CD) | 교차 테넌트 Azure DevOps 지원 | Azure Data Factory와 동일한 테넌트에 없는 Azure DevOps Git을 사용하여 리포지토리를 구성합니다. 자세한 정보 |
| 지역 확장 | Data Factory는 이제 미국 서부3 및 Jio 인도 서부에서 사용할 수 있습니다. | Data Factory는 이제 미국 서부3 및 Jio 인도 서부 등 두 개의 새로운 지역에서 사용할 수 있습니다. 이러한 지역을 사용하여 최신 데이터 웨어하우스를 저장하고 관리하는 경우 이러한 새 지역에서 ETL 워크플로를 공동 배치할 수 있습니다. 지역 내의 다른 지역에서 장애 조치(failover)해야 하는 경우 비즈니스 연속성 및 재해 복구 목적으로 이러한 지역을 사용할 수도 있습니다. 자세한 정보 |
| 보안 | 다른 Entra ID 테넌트의 Azure DevOps 계정에 연결 | 소스 제어 목적으로 Data Factory 인스턴스를 다른 Azure AD 테넌트의 Azure DevOps 계정에 연결할 수 있습니다. 자세한 정보 |
2022년 1월
| 서비스 범주 | 서비스 개선 사항 | 세부 정보 |
| 데이터 흐름 | 이제 TTL(Time to Live)을 사용하는 모든 Azure IR에서 빠른 재사용이 자동으로 수행됩니다. | 더 이상 "빠른 재사용"을 수동으로 지정할 필요가 없습니다. 이제 Data Factory 매핑 데이터 흐름은 TTL을 설정한 후 5초 안에 후속 데이터 흐름 작업을 시작할 수 있습니다. 자세한 정보 |
| 사용자 지정 어설션 설명 검색 | 어설션 변환에서 고유한 동적 설명 메시지를 정의할 수 있습니다. 행별 메시지를 검색하고 대상 데이터에 저장하는 데 assertErrorMessage()라는 새 함수를 사용할 수 있습니다. 자세한 정보 | |
| 구문 분석 변환에서 자동 스키마 검색 | 문자열 열 내에 포함된 복합 필드의 스키마를 자동으로 검색할 수 있도록 구문 분석 변환에 새 기능이 추가되었습니다. 스키마 검색 단추를 선택하여 대상 스키마를 자동으로 설정합니다. 자세한 정보 | |
| Dynamics 365 커넥터를 싱크 및 원본으로 지원 | 이제 Dynamics 365에 직접 연결하여 Dynamics 365용 새 매핑 데이터 흐름 커넥터를 사용하여 Dynamics 데이터를 대규모로 변환할 수 있습니다. 자세한 정보 | |
| 이제 데이터 흐름에서 항상 암호화된 SQL 연결 사용 가능 | Always Encrypted는 이제 데이터 흐름을 사용할 때 SQL Server, SQL Database, SQL Managed Instance 및 Azure Synapse에서 변환을 소싱할 수 있습니다. 자세한 정보 | |
| 데이터 이동 | Data Factory Azure Databricks Delta Lake 커넥터가 새로운 인증 유형 지원 | Data Factory Databricks Delta Lake 커넥터는 이제 시스템 할당 관리 ID 인증 및 사용자 할당 관리 ID 인증의 두 가지 인증 유형을 추가로 지원합니다. 자세한 정보 |
| Data Factory 복사 작업은 몇 가지 추가 커넥터에서 Upsert 지원 | Data Factory 복사 작업은 이제 데이터를 SQL Server, SQL Database, SQL Managed Instance, Azure Synapse에 싱크하는 동안 upsert를 지원합니다. 자세한 정보 |
2021년 12월
| 서비스 범주 | 서비스 개선 사항 | 세부 정보 |
| 데이터 흐름 | 매핑 데이터 흐름을 위한 네이티브 원본 및 싱크로서의 Dynamics 커넥터 | 이제 Dynamics 커넥터가 매핑 데이터 흐름을 위한 원본 및 싱크로 지원됩니다. 자세한 정보 |
| 이제 CDC(네이티브 변경 데이터 캡처)가 기본적으로 지원됨 | CDC는 이제 Azure Cosmos DB, Blob Storage, Data Lake Storage Gen1, Data Lake Storage Gen2 및 CDM용 Data Factory에서 기본적으로 지원됩니다. 자세한 정보 | |
| Flowlets 공개 미리 보기 | Flowlet 공개 미리 보기를 사용하면 데이터 흐름 개발자가 재사용 가능한 구성 요소를 빌드하여 쉽게 구성 가능한 데이터 변환 논리를 빌드할 수 있습니다. 자세한 정보 | |
| 맵 데이터 공개 미리 보기 | 맵 데이터 미리 보기를 사용하면 비즈니스 사용자가 열 매핑 및 변환을 정의하여 Azure Synapse 레이크 데이터베이스를 로드할 수 있습니다. 자세한 정보 | |
| 파워 쿼리의 여러 출력 대상 | 이제 시민 데이터 통합자에 대한 유연한 ETL 패턴을 위해 Data Factory의 파워 쿼리에서 여러 출력 대상을 매핑할 수 있습니다. 자세한 정보 | |
| 외부 호출 변환 지원 | 외부 호출 변환을 사용하여 매핑 데이터 흐름의 기능을 확장합니다. 이제 사용자 지정 코드를 REST 엔드포인트로 추가하거나 큐레이팅된 타사 서비스를 행별로 호출할 수 있습니다. 자세한 정보 | |
| TTL 지원을 통해 Azure Synapse 매핑 데이터 흐름으로 빠르게 재사용 가능 | Azure Synapse 매핑 데이터 흐름은 이제 Azure IR에서 TTL을 설정하여 빠른 재사용을 지원합니다. 설정을 사용하면 후속 데이터 흐름 활동을 5초 이내에 실행할 수 있습니다. 자세한 정보 | |
| 어설션 변환 | 매핑 데이터 흐름에서 어설션 변환을 사용하여 Data Factory 파이프라인에 데이터 품질, 데이터 도메인 유효성 검사, 메타데이터 검사를 쉽게 추가합니다. 자세한 정보 | |
| 더 생산적인 파이프라인 작성 환경을 위한 식 작성기의 IntelliSense 지원 | 식 작성기 및 동적 콘텐츠 작성에서 IntelliSense 지원을 통해 Data Factory 및 Azure Synapse 파이프라인 개발자는 데이터 파이프라인에서 복잡한 식을 작성하는 동안 생산성을 높일 수 있습니다. 자세한 정보 |
2021년 11월
| 서비스 범주 | 서비스 개선 사항 | 세부 정보 |
| 연속 통합 및 지속적인 업데이트(CI/CD) | GitHub 통합 개선 사항 | Data Factory 및 GitHub 통합의 개선으로 데이터 세트 및 파이프라인과 같은 리소스 유형당 1,000개의 Data Factory 리소스에 대한 제한을 제거합니다. 대규모 데이터 팩터리의 경우, 이번 변경은 GitHub API 속도 제한의 영향을 완화하는 데 도움이 됩니다. 자세한 정보 |
| 데이터 흐름 | 실패 작업으로 사용자 지정 오류 코드 및 오류 메시지 설정 | 실패 작업을 사용하면 ETL 개발자가 Data Factory 파이프라인에 대한 오류 메시지 및 사용자 지정 오류 코드를 설정할 수 있습니다. 자세한 정보 |
| 외부 호출 변환 | 매핑 데이터 흐름 외부 호출 변환을 사용하면 ETL 개발자가 REST 엔드포인트 또는 타사 API 서비스에서 제공하는 변환 및 데이터 보강을 사용할 수 있습니다. 자세한 정보 | |
| Synapse 빠른 재사용 | Synapse Analytics에서 데이터 흐름을 실행할 때 TTL 기능을 사용합니다. TTL 기능은 빠른 재사용 기능을 사용하여 몇 초 내에 순차적 데이터 흐름이 실행되도록 합니다. Azure IR을 구성할 때 TTL을 설정할 수 있습니다. 자세한 정보 | |
| 데이터 이동 | 복사 작업은 청크 없이 FTP 또는 SFTP에서 데이터 읽기를 지원합니다. | FTP 또는 SFTP 서버에서 데이터를 복사할 때 읽을 파일 길이 또는 관련 오프셋을 자동으로 결정합니다. 이 기능을 사용하면 Data Factory가 FTP 또는 SFTP 서버에 자동으로 연결하여 파일 길이를 결정합니다. 길이가 결정되면 Data Factory는 파일을 여러 청크로 나누고 병렬로 읽습니다. 자세한 정보 |
| 복사 작업에서 BOM 없이 UTF-8 지원 | 복사 작업은 JSON 및 구분된 텍스트 데이터 세트에 대해 BOM이 없는 UTF-8 유형을 인코딩하여 데이터 쓰기를 지원합니다. | |
| 다중 문자 열 구분 기호 지원 | 복사 작업은 구분된 텍스트 데이터 세트에 대해 다중 문자 열 구분 기호 사용을 지원합니다. | |
| 통합 런타임 | Data Factory의 SSIS(SQL Server Integration Services)를 사용하여 3단계로 모든 프로세스를 어디서나 실행 | 파이프라인에서 Data Factory 및 SSIS 기능을 가장 잘 사용하는 방법을 알아봅니다. 매개 변수화된 속성이 있는 샘플 SSIS 패키지를 사용하면 바로 시작할 수 있습니다. Data Factory Studio를 사용하면 SSIS 패키지를 파이프라인으로 쉽게 끌어다 놓을 수 있으며 SSIS 패키지 실행 활동의 일부로 사용할 수 있습니다. 이 기능을 사용하면 자체 호스팅 IR 또는 SSIS IR에서 SSIS 패키지로 Data Factory 파이프라인을 실행할 수 있습니다. 런타임 매개 변수 값을 제공하면 Data Factory 및 SSIS 기능의 강력한 기능을 함께 사용할 수 있습니다. 이 문서에서는 애플리케이션, 프로그램, 유틸리티 또는 배치 파일과 같은 실행 파일이 될 수 있는 모든 프로세스를 어디서나 실행하는 세 단계를 설명합니다. 자세한 정보 |
2021년 10월
| 서비스 범주 | 서비스 개선 사항 | 세부 정보 |
| 데이터 흐름 | Azure Data Explorer 및 AWS(Amazon Web Services) S3 커넥터 | Microsoft Data Integration 팀은 데이터 흐름 매핑을 위한 두 가지의 새로운 커넥터를 출시했습니다. Azure Synapse를 사용하는 경우 이제 데이터 변환을 위해 AWS S3 버킷에 직접 연결할 수 있습니다. Data Factory 및 Azure Synapse 모두에서 이제 데이터 흐름 매핑에서 기본적으로 Azure Data Explorer 클러스터에 연결할 수 있습니다. 자세한 정보 |
| 파워 쿼리 작업이 GA에 대한 미리 보기 종료 | 이제 Data Factory 파워 쿼리 파이프라인 작업이 일반 공급됩니다. 이 새로운 기능은 데이터 엔지니어를 위한 통합 경험을 위해 Data Factory 브라우저 UI 내에서 시민 통합자를 위해 확장된 데이터 준비 및 데이터 랭글링을 제공합니다. Data Factory의 파워 쿼리 데이터 랭글링 기능은 단일 서비스에서 가장 복잡한 데이터 통합 및 ETL 패턴을 해결할 수 있는 강력하고 사용하기 쉬운 파이프라인 기능을 제공합니다. 자세한 정보 | |
| 매핑 데이터 흐름의 새로운 Stringify 데이터 변환 | 매핑 데이터 흐름은 Stringify라는 새로운 데이터 변환을 추가하여 구조체 및 배열과 같은 복잡한 데이터 유형을 문자열 형식으로 쉽게 변환할 수 있습니다. 그런 다음, 이러한 데이터 유형을 구조화된 출력 대상으로 보낼 수 있습니다. 자세한 정보 | |
| 통합 런타임 | SSIS IR용 고속 가상 네트워크 삽입(공개 미리 보기) | SSIS IR은 이제 고속 가상 네트워크 삽입을 지원합니다. 자세히 보기: SSIS IR용 가상 네트워크 삽입의 개요 SSIS IR용 표준 가상 네트워크 삽입 및 고속 가상 네트워크 삽입의 비교 SSIS IR용 고속 가상 네트워크 삽입의 비교 |
| 보안 | Azure Key Vault 통합 개선 사항 | 이제 Key Vault 통합에는 드롭다운이 있어 사용자가 연결된 서비스에서 비밀 값을 선택할 수 있습니다. 이 기능은 사용자가 비밀을 입력(인적 오류가 발생할 수 있음)할 필요가 없기 때문에 생산성을 높일 수 있습니다. |
| Data Factory에서 사용자 할당 관리 ID 지원 | 자격 증명 안전은 모든 엔터프라이즈에 매우 중요합니다. Data Factory 팀은 데이터 엔지니어를 위해 데이터 엔지니어링 프로세스를 안전하면서도 간단하게 만들기 위해 최선을 다하고 있습니다. 사용자 할당 관리 ID(미리 보기)는 이제 Azure AD 기반 인증을 지원하는 모든 커넥터 및 연결된 서비스에서 지원됩니다. 자세한 정보 |
2021년 9월
| 서비스 범주 | 서비스 개선 사항 | 세부 정보 |
| 연속 통합 및 지속적인 업데이트 | 확장된 CI/CD 기능 | 이제 Data Factory의 다른 분기를 기반으로 새 Git 분기를 만들 수 있습니다. 자세한 정보 |
| 데이터 이동 | Amazon Relational Database Service (RDS) for Oracle 소스 | 이제 Data Factory 및 Azure Synapse에서 Amazon RDS for Oracle 소스 커넥터를 사용할 수 있습니다. 자세한 정보 |
| Amazon RDS for SQL Server 소스 | 이제 Data Factory 및 Azure Synapse에서 Amazon RDS for SQL Server 소스 커넥터를 사용할 수 있습니다. 자세한 정보 | |
| Azure Database for PostgreSQL의 병렬 복사 지원 | 이제 Azure Database for PostgreSQL 커넥터에서 병렬 복사 작업을 지원합니다. 자세한 정보 | |
| 데이터 흐름 | Data Lake Storage Gen2를 사용하여 전처리 및 후처리 명령을 실행합니다. | 이제 데이터 흐름에서 Data Lake Storage Gen2 싱크를 사용하여 Hadoop 분산 파일 시스템 전처리 및 후처리 명령을 실행할 수 있습니다. 자세한 정보 |
| Azure IR의 기존 인스턴스에 대한 데이터 흐름 속성 편집 | Azure IR이 기존 IR에 대한 데이터 흐름 속성을 편집할 수 있도록 업데이트 되었습니다. 이제 새 Azure IR을 만들 필요 없이 데이터 흐름 계산 속성을 수정할 수 있습니다. 자세한 정보 | |
| 파이프라인 작업 실행 시작 시간을 향상시키기 위한 Azure Synapse TTL 설정 | Azure Synapse는 데이터 흐름 파이프라인 작업이 몇 초 만에 실행을 시작할 수 있도록 Azure IR에 TTL을 추가하여 데이터 흐름 파이프라인의 런타임을 최소화합니다. 자세한 정보 | |
| 통합 런타임 | Data Factory 관리형 가상 네트워크 GA | 이제 Azure IR을 관리형 가상 네트워크의 일부로 프로비전하고 프라이빗 엔드포인트를 사용하여 지원되는 데이터 저장소에 안전하게 연결할 수 있습니다. 데이터 트래픽은 데이터 원본에 대한 보안 연결을 제공하는 Azure 개인 링크를 통해 이동합니다. 또한 공용 인터넷으로 데이터가 반출되는 일을 방지합니다. 자세한 정보 |
| 오케스트레이션 | 데이터 파이프라인용 SLA의 운영 및 제공 | Data Factory 경고와 결합된 새로운 경과 시간 파이프라인 실행 메트릭은 데이터 파이프라인 개발자가 고객에게 더 나은 SLA를 제공할 수 있도록 합니다. 이제 파이프라인을 실행해야 하는 시간을 알려주시면 파이프라인이 예상보다 오래 실행될 때 미리 알려드리겠습니다. 자세한 정보 |
| 실패 작업(공개 미리 보기) | 새 실패 작업을 사용하면 어떤 이유로든 파이프라인에서 의도적으로 오류를 throw할 수 있습니다. 예를 들어 조회 작업이 일치하는 데이터를 반환하지 않거나 사용자 지정 작업이 내부 오류로 완료되는 경우 실패 작업을 사용할 수 있습니다. 자세한 정보 |
2021년 8월
| 서비스 범주 | 서비스 개선 사항 | 세부 정보 |
| 연속 통합 및 지속적인 업데이트 | Azure Government 및 21Vianet에서 운영하는 Microsoft Azure의 GitHub 지원을 통한 CI/CD 개선 | 미국 정부에 대한 Azure 및 21Vianet에서 운영하는 Azure에 GitHub에 대한 지원이 추가되었습니다. 자세한 정보 |
| 데이터 이동 | Azure Cosmos DB API for MongoDB 커넥터가 Data Factory에서 버전 3.6 및 4.0 지원 | Data Factory Azure Cosmos DB API for MongoDB 커넥터는 이제 서버 버전 3.6 및 4.0을 지원합니다. 자세한 정보 |
| Azure Synapse에 데이터를 로드하기 위해 COPY 문을 사용하여 개선 | 이제 Data Factory Azure Synapse 커넥터는 COPY 문에 *.*을 wildcardFilename으로 사용하는 단계별 복사 및 복사 소스를 지원합니다. 자세한 정보 | |
| 데이터 흐름 | 데이터 흐름에서 소스 및 싱크로 사용 가능한 REST 엔드포인트 | Data Factory 및 Azure Synapse의 데이터 흐름에서 이제 REST 엔드포인트를 소스 및 싱크 모두로 사용할 수 있으며, JSON 및 XML 페이로드를 모두 완전히 지원합니다. 자세한 정보 |
| 통합 런타임 | 자체 호스팅 IR에 진단 도구 사용 가능 | 자체 호스팅 IR용 진단 도구는 더 나은 사용자 경험을 제공하고 사용자가 잠재적인 문제를 찾도록 돕도록 설계되었습니다. 이 도구는 자체 호스팅 IR 시스템에서 일련의 테스트 시나리오를 실행합니다. 모든 시나리오에는 일반적인 문제에 대한 일반적인 상태 검사 사례가 있습니다. 자세한 정보 |
| 오케스트레이션 | 고급 필터링 옵션 GA가 있는 사용자 지정 이벤트 트리거 | 이제 Azure Event Grid에 게시된 사용자 지정 토픽에 응답하는 트리거를 만들 수 있습니다. 고급 필터링을 사용하여 응답할 이벤트를 세부적으로 제어할 수도 있습니다. 자세한 정보 |
2021년 7월
| 서비스 범주 | 서비스 개선 사항 | 세부 정보 |
| 데이터 이동 | 10분 이내에 Data Factory 데이터 복사 도구에서 메타데이터 기반 데이터 수집 파이프라인 가져오기(공개 미리 보기) | 이제 10분 이내에 데이터 복사 도구(공개 미리 보기)에서 메타데이터 기반 접근 방식을 사용하여 대규모 데이터 복사 파이프라인을 빌드할 수 있습니다. 자세한 정보 |
| 데이터 흐름 | 데이터 흐름 변환 함수에 추가된 새로운 맵 함수 | 새로운 데이터 흐름 변환 함수 집합을 통해 데이터 엔지니어는 맵 데이터 유형과 복잡한 맵 구조를 쉽게 생성하고, 읽고, 업데이트할 수 있습니다. 자세한 정보 |
| 통합 런타임 | Data Factory 관리형 가상 네트워크에서 5개의 새 지역을 사용할 수 있습니다(공개 미리 보기). | Data Factory 관리형 가상 네트워크(공개 미리 보기)에서 5개의 새로운 지역인 중국 동부2, 중국 북부2, 미국 정부 애리조나, 미국 정부 텍사스 및 미국 정부 버지니아를 사용할 수 있습니다. |
| 개발자 생산성 | Data Factory 홈페이지 개선 사항 | Data Factory 홈페이지가 새롭게 디자인되어 대비 및 재배치 기능이 향상되었습니다. 데이터 통합 과정의 생산성을 높이는 데 도움이 되는 몇 가지 섹션이 홈 페이지에 소개되어 있습니다. 자세한 정보 |
| Data Factory Studio의 새로운 방문 페이지 | Azure Portal에서 Data Factory 창의 방문 페이지입니다. 자세한 정보 |
2021년 6월
| 서비스 범주 | 서비스 개선 사항 | 세부 정보 |
| 데이터 이동 | Data Factory 데이터 복사 도구가 포함된 새로운 사용자 환경 | 이제 향상된 데이터 수집 환경에서 다시 디자인된 데이터 복사 도구를 사용할 수 있습니다. 자세한 정보 |
| MongoDB와 MongoDB Atlas는 원본과 싱크 둘 다로 지원됨 | 이 개선 사항은 지원되는 모든 데이터 저장소와 MongoDB 또는 MongoDB Atlas 데이터베이스 간 데이터 복사를 지원합니다. 자세한 정보 | |
| Always Encrypted는 원본 및 싱크로 SQL Database, SQL Managed Instance 및 SQL Server 커넥터에 대해 지원됨 | Always Encrypted는 SQL Database용 Data Factory, SQL Managed Instance 및 복사 작업용 SQL Server 커넥터에서 사용할 수 있습니다. 자세한 정보 | |
| 사용자 지정 메타데이터 설정은 Data Lake Storage Gen2 또는 Blob Storage로 싱크할 때 복사 작업에서 지원됨 | Data Lake Storage Gen2 또는 Blob Storage에 쓸 때 복사 작업은 사용자 지정 메타데이터 또는 원본 파일의 마지막 수정 정보의 스토리지를 메타데이터로 설정하는 것을 지원합니다. 자세한 정보 | |
| 데이터 흐름 | 이제 SQL Server가 데이터 흐름의 원본 및 싱크로 지원됨 | 이제 SQL Server가 데이터 흐름의 원본 및 싱크로 지원됩니다. Azure IR 관리형 가상 네트워크 기능을 사용하여 SQL Server 온-프레미스 및 클라우드 VM 기반 인스턴스와 통신하여 네트워킹을 구성하는 방법에 대한 지침을 보려면 링크를 따르세요. 자세한 정보 |
| 이제 모든 새 Azure IR에 대해 Dataflow Cluster 빠른 재사용이 기본적으로 사용됨 | 널리 사용되는 데이터 흐름 빠른 시작 재사용 기능은 이제 일반적으로 Data Factory에서 사용할 수 있습니다. 이제 모든 새 Azure IR은 빠른 재사용이 기본적으로 사용됩니다. 자세한 정보 | |
| 파워 쿼리(공개 미리 보기) 작업 | 이제 Data Factory 데이터 랭글링을 사용하여 파워 쿼리 싱크에 대한 복합 필드 매핑을 빌드할 수 있습니다. 이 업데이트를 수용하기 위해 이제 싱크가 파워 쿼리(공개 미리 보기) 작업의 파이프라인에서 구성됩니다. 자세한 정보 | |
| Data Factory의 업데이트된 데이터 흐름 모니터링 UI | Data Factory의 모니터링 UI가 데이터 흐름 ETL 작업 실행을 보면서 성능 튜닝 영역을 빠르게 식별하기 쉽도록 새롭게 업데이트되었습니다. 자세한 정보 | |
| SQL Server Integration Services | Data Factory의 SSIS를 사용하여 3단계로 어디서나 SQL 문 또는 스크립트 실행 | 이 게시물은 Data Factory의 SSIS를 사용하여 어디서나 SQL 문 또는 스크립트를 실행하는 3단계를 제공합니다.
|