데이터 흐름 1세대에서 데이터 흐름 2세대로 가져오기

데이터 흐름 Gen2는 새로운 세대의 데이터 흐름입니다. 새로운 세대의 데이터 흐름은 Power BI 데이터 흐름(Gen1)과 함께 상주하며 새로운 기능과 향상된 환경을 제공합니다. 다음 섹션에서는 Dataflow Gen1과 Dataflow Gen2를 비교합니다.

중요

Microsoft Fabric은 현재 미리 보기로 제공됩니다. 이 정보는 릴리스되기 전에 상당히 수정될 수 있는 시험판 제품과 관련이 있습니다. Microsoft는 여기에 제공된 정보와 관련하여 명시적이거나 묵시적인 어떠한 보증도 하지 않습니다. Azure의 서비스에 대한 Azure Data Factory 설명서를 참조하세요.

기능 개요

기능 데이터 흐름 Gen2 데이터 흐름 Gen1
Power Query 사용하여 데이터 흐름 작성
더 짧은 작성 흐름
자동 저장 및 백그라운드 게시
출력 대상
향상된 모니터링 및 새로 고침 기록
데이터 파이프라인과의 통합
대규모 컴퓨팅
데이터 흐름 커넥터를 통해 데이터 가져오기
데이터 흐름 커넥터를 통한 직접 쿼리
증분 새로 고침
AI 인사이트 지원

더 짧은 제작 환경

Dataflow Gen2로 작업하는 것은 집으로 돌아오는 것 같은 느낌이 듭니다. Power BI 데이터 흐름에서 익숙한 전체 Power Query 환경을 유지했습니다. 환경을 입력하면 데이터를 데이터 흐름으로 가져오기 위한 단계별 안내를 받습니다. 또한 데이터 흐름을 만드는 데 필요한 단계 수를 줄이기 위해 제작 환경을 단축하고 환경을 더욱 향상하기 위해 몇 가지 새로운 기능을 추가했습니다.

데이터 흐름의 전체 제작 환경 스크린샷

새 데이터 흐름 저장 환경

Dataflow Gen2를 사용하여 데이터 흐름 저장의 작동 방식을 변경했습니다. 데이터 흐름에 대한 모든 변경 내용은 클라우드에 자동으로 저장됩니다. 따라서 언제든지 제작 환경을 종료하고 나중에 중단한 위치에서 계속할 수 있습니다. 데이터 흐름 작성이 완료되면 변경 내용을 게시하고 데이터 흐름이 새로 고쳐지면 해당 변경 내용이 사용됩니다. 또한 데이터 흐름을 게시하면 변경 내용이 저장되고 백그라운드에서 수행해야 하는 유효성 검사가 실행됩니다. 이 기능을 사용하면 유효성 검사가 완료되기를 기다리지 않고도 데이터 흐름을 저장할 수 있습니다.

새 저장 환경에 대해 자세히 알아보려면 데이터 흐름 초안 저장으로 이동하세요.

출력 대상

Dataflow Gen1과 마찬가지로 Dataflow Gen2를 사용하면 데이터 흐름 커넥터를 사용하여 액세스할 수 있는 데이터 흐름의 내부/스테이징 스토리지로 데이터를 변환할 수 있습니다. 또한 Dataflow Gen2를 사용하면 데이터의 출력 대상을 지정할 수 있습니다. 이제 이 기능을 사용하여 ETL 논리와 대상 스토리지를 분리할 수 있습니다. 이 기능은 여러 가지 면에서 이점을 제공합니다. 예를 들어 이제 데이터 흐름을 사용하여 레이크하우스에 데이터를 로드한 다음 Notebook을 사용하여 데이터를 분석할 수 있습니다. 또는 데이터 흐름을 사용하여 Azure SQL 데이터베이스에 데이터를 로드한 다음 데이터 파이프라인을 사용하여 데이터를 데이터 웨어하우스에 로드할 수 있습니다.

Dataflow Gen2에서는 다음 대상에 대한 지원이 추가되었으며 곧 더 많은 대상이 제공될 예정입니다.

  • 패브릭 레이크하우스
  • Azure Data Explorer(Kusto)
  • Azure Synapse Analytics(SQL DW)
  • Azure SQL Database

참고

패브릭 웨어하우스에 데이터를 로드하려면 SQL 연결 문자열을 검색하여 sql DW(Azure Synapse Analytics) 커넥터를 사용할 수 있습니다. 추가 정보: Microsoft Fabric의 데이터 웨어하우징에 연결

지원되는 출력 대상이 표시된 스크린샷

새 새로 고침 기록 및 모니터링

Dataflow Gen2에서는 데이터 흐름 새로 고침을 모니터링하는 새로운 방법을 소개합니다. 모니터링 허브에 대한 지원을 통합하고 새로 고침 기록 환경을 주요 업그레이드로 제공합니다.

새로 고침 상태 세부 정보를 보여 주는 스크린샷

데이터 파이프라인과의 통합

데이터 파이프라인을 사용하면 작업을 함께 수행하는 활동을 그룹화할 수 있습니다. 작업은 실행할 수 있는 작업 단위입니다. 예를 들어 활동은 한 위치에서 다른 위치로 데이터를 복사하거나, SQL 쿼리를 실행하거나, 저장 프로시저를 실행하거나, Python Notebook을 실행할 수 있습니다.

파이프라인에는 종속성으로 연결된 하나 이상의 활동이 포함될 수 있습니다. 예를 들어 파이프라인을 사용하여 Azure Blob에서 데이터를 수집하고 클린 다음 Dataflow Gen2를 시작하여 로그 데이터를 분석할 수 있습니다. 파이프라인을 사용하여 Azure Blob에서 Azure SQL 데이터베이스로 데이터를 복사한 다음 데이터베이스에서 저장 프로시저를 실행할 수도 있습니다.

데이터 파이프라인과의 통합을 보여 주는 스크린샷

초안으로 저장

Dataflow Gen2에서는 변경 내용을 저장하기 위해 게시할 필요성을 제거하여 걱정 없는 환경을 소개합니다. 초안으로 저장 기능을 사용하면 변경할 때마다 데이터 흐름의 초안 버전을 저장합니다. 인터넷 연결이 끊어지나요? 실수로 브라우저를 닫았나요? 걱정하지 마; 우리는 당신의 등을 얻었다. 데이터 흐름으로 돌아가면 최근 변경 내용이 그대로 남아 있으며 중단된 위치에서 계속할 수 있습니다. 이는 원활한 환경이며 사용자의 입력이 필요하지 않습니다. 이렇게 하면 변경 내용을 저장하기 전에 변경 내용이 손실되거나 모든 쿼리 오류를 수정할 필요 없이 데이터 흐름에서 작업할 수 있습니다. 이 기능에 대해 자세히 알아보려면 데이터 흐름 초안 저장으로 이동하세요.

대규모 컴퓨팅

Dataflow Gen1과 마찬가지로 Dataflow Gen2는 참조된 쿼리 변환의 성능을 향상시키고 데이터 시나리오를 가져오는 향상된 컴퓨팅 엔진도 제공합니다. 이를 위해 Dataflow Gen2는 작업 영역에 Lakehouse 및 Warehouse 항목을 모두 만들고 이를 사용하여 데이터를 저장하고 액세스하여 모든 데이터 흐름의 성능을 향상시킵니다.

Dataflow Gen1에서 쿼리를 다시 사용하여 Dataflow Gen2 사용해 보기

Dataflow Gen1 쿼리가 많을 수 있으며 Dataflow Gen2에서 이를 사용해 볼 수 있는 방법이 궁금합니다. Gen1 데이터 흐름을 Dataflow Gen2로 다시 만들 수 있는 몇 가지 옵션이 있습니다.

  • Dataflow Gen1 쿼리를 내보내고 Dataflow Gen2로 가져오기

    이제 Dataflow Gen1 및 Gen2 작성 환경 모두에서 쿼리를 내보낸 다음, Dataflow Gen2로 가져올 수 있는 PQT 파일에 저장할 수 있습니다. 자세한 내용은 내보내기 템플릿 기능 사용을 참조하세요.

  • Power Query 복사하여 붙여넣기

    Power BI 또는 Power Apps에 데이터 흐름이 있는 경우 쿼리를 복사하여 Dataflow Gen2의 편집기에서 붙여넣을 수 있습니다. 이 기능을 사용하면 쿼리를 다시 작성하지 않고도 데이터 흐름을 Gen2로 마이그레이션할 수 있습니다. 자세한 내용은 기존 Dataflow Gen1 쿼리 복사 및 붙여넣기를 참조하세요.

다음 단계