Stream Analytics 코드 없는 편집기를 사용하여 실시간 Power BI 대시보드 빌드

  • 아티클

이 자습서에서는 Stream Analytics 코드 없는 편집기를 사용하여 실시간 데이터 스트림에 대한 집계를 계산하고 Azure Synapse Analytics에 저장하는 방법을 보여 줍니다.

이 자습서에서는 다음을 하는 방법을 알아볼 수 있습니다.

  • 이벤트 허브에 데이터를 보내는 이벤트 생성기 배포
  • 코드 없는 편집기를 사용하여 Stream Analytics 작업 만들기
  • 입력 데이터 및 스키마 검토
  • 그룹화할 필드를 선택하고 개수와 같은 집계를 정의
  • 결과를 작성할 Azure Synapse Analytics 구성
  • Stream Analytics 작업 실행
  • Power BI에서 데이터 시각화

필수 조건

시작하기 전에 다음 단계를 완료해야 합니다.

  1. Azure 구독이 없는 경우 무료 계정을 만드세요.

  2. TollApp 이벤트 생성기를 Azure에 배포하려면 TollApp Azure 템플릿 배포에 대한 이 링크를 사용하세요. ‘interval’ 매개 변수를 1로 설정합니다. 그리고 이 단계에 새 리소스 그룹을 사용합니다.

  3. 전용 SQL 풀을 사용하여 Azure Synapse Analytics 작업 영역을 만듭니다.

    참고 항목

    데이터를 데이터베이스로 캡처하지 않고 실시간 Power BI 대시보드를 직접 빌드하려는 경우 3단계와 4단계를 건너뛰고 이 가이드로 이동하여 Stream Analytics 작업에서 생성된 Power BI 데이터 세트를 사용하여 실시간 대시보드를 빌드할 수 있습니다.

  4. Dedicated SQL 풀을 사용하여 명명된 carsummary 테이블을 만듭니다. 다음 SQL 스크립트를 실행하면 됩니다.

    CREATE TABLE carsummary   
(  
    Make nvarchar(20),  
    CarCount int,
	times datetime
)
WITH ( CLUSTERED COLUMNSTORE INDEX ) ;

코드 없는 편집기를 사용하여 Stream Analytics 작업 만들기

  1. TollApp 이벤트 생성기가 배포된 리소스 그룹을 찾습니다.

  2. Azure Event Hubs 네임스페이스를 선택합니다.

  3. Event Hubs 네임스페이스 페이지에서 왼쪽의 엔터티 아래에 있는 Event Hubs를 선택합니다.

  4. entrystream 인스턴스를 선택합니다.

    이벤트 허브 선택을 보여 주는 스크린샷

  5. 기능 섹션에서 데이터 처리로 이동한 다음 빈 캔버스 템플릿으로 시작에서 시작을 선택합니다.

    빈 캔버스로 시작 타일의 시작 단추 선택을 보여 주는 스크린샷

  6. 작업 이름을 carsummary로 지정하고 만들기를 선택합니다.

    새 Stream Analytics 작업 페이지의 스크린샷.

  7. 이벤트 허브 구성 페이지에서 다음 설정을 확인한 다음 연결을 선택합니다.

    1. 소비자 그룹의 경우 기존 항목 사용을 선택한 다음 기본값을 선택합니다.

    2. Serialization 형식의 경우 JSON이 선택되어 있는지 확인합니다.

    3. 인증 모드의 경우 커넥트ion 문자열이 이벤트 허브인 커넥트ion 문자열에 연결하는 데 사용되는지 확인합니다.

      이벤트 허브의 구성 페이지 스크린샷.

  8. 몇 초 내에 샘플 입력 데이터와 스키마가 표시됩니다. 원하는 경우 필드를 삭제하거나, 필드 이름을 바꾸거나, 데이터 형식을 변경하도록 선택할 수 있습니다.

    이벤트 허브 및 필드의 데이터 미리 보기를 보여 주는 스크린샷

  9. 명령 모음에서 작업을 선택한 다음 그룹화 기준(Group by)을 선택합니다.

    명령 모음에서 그룹이 선택된 작업 메뉴를 보여 주는 스크린샷

  10. 캔버스에서 그룹별 타일을 선택하고 이벤트 허브 타일에 연결합니다.

    Event Hubs 타일에 연결된 그룹 타일을 보여 주는 스크린샷

  11. 다음을 지정하여 그룹별 타일을 구성합니다.

    1. 집계를 개수로 지정합니다.

    2. 필드를 CarModel 내의 중첩 필드인 만들기로 지정합니다.

    3. 추가를 선택합니다.

      구성별 그룹화 페이지의 집계 설정 스크린샷

    4. 설정 섹션에서 다음을 수행합니다.

      1. 그룹 집계 기준의 경우 만들기를 선택합니다.

      2. 시간 창의 경우 값이 연속으로 설정되어 있는지 확인합니다.

      3. 기간 동안 3분 입력

      4. 페이지 하단에서 완료를 선택합니다.

        구성별 그룹화 페이지의 스크린샷

  12. 그룹화 기준 선택 및 페이지 아래쪽의 데이터 미리 보기 탭에서 그룹화된 데이터를 확인합니다.

    작업별 그룹화에 대한 데이터 미리 보기 탭을 보여 주는 스크린샷

  13. 명령 모음에서 작업을 선택한 다음, 필드를 관리합니다.

  14. 커넥트 그룹화 및 필드 타일 관리

  15. 필드 관리 페이지에서 다음 단계를 수행합니다.

    1. 다음 이미지와 같이 Make 필드를 추가한 다음 추가를 선택합니다.

      만들기 필드의 추가를 보여 주는 스크린샷

    2. 추가 단추를 선택합니다.

      필드 관리 페이지의 추가 단추를 보여 주는 스크린샷.

  16. 필드 관리 구성 페이지에서 모든 필드 추가를 선택합니다.

    필드 관리 페이지의 스크린샷

  17. 필드 옆에 있는 ...를 선택하고 편집을 선택하여 이름을 바꿉니다.

    • COUNT_make를 CarCount로 변경

    • Window_End_Time을 times로 변경

      필드 이름이 변경된 필드 관리 페이지의 스크린샷

  18. 필드 관리 페이지에서 완료를 선택합니다. 필드 관리 페이지는 다음과 같은 이미지가 표시됩니다.

    세 개의 필드가 있는 필드 관리 페이지의 스크린샷

  19. 필드 관리 타일을 선택하고 페이지 아래쪽의 데이터 미리 보기 탭에서 작업으로 흐르는 데이터를 확인합니다.

    관리되는 필드 작업에 대한 데이터 미리 보기 탭을 보여 주는 스크린샷

  20. 명령 모음에서 출력을 선택한 다음, Synapse를 선택합니다.

    출력, Synapse가 선택된 명령 모음의 스크린샷

  21. Synapse 타일을 캔버스의 필드 관리 타일에 연결합니다.

  22. Synapse 설정 페이지에서 다음 단계를 수행합니다.

    1. 작업 스토리지 계정이 아직 설정되지 않은 경우 리소스 그룹에서 Azure Data Lake Storage 계정을 선택합니다. Synapse SQL에서 데이터 웨어하우스에 데이터를 로드하는 데 사용하는 스토리지 계정입니다.

      스토리지 계정이 선택된 Synapse를 보여 주는 스크린샷

    2. Azure Synapse Analytics가 있는 Azure 구독을 선택합니다.

    3. 이전 섹션에서 테이블을 만드는 데 사용한 전용 SQL 풀의 carsummary 데이터베이스를 선택합니다.

    4. 인증할 사용자 이름 및 암호를 입력합니다.

    5. 테이블 이름을 로 carsummary입력합니다.

    6. 연결을 선택합니다. Synapse SQL 테이블에 기록될 샘플 결과가 표시됩니다.

      Synapse 타일 설정의 스크린샷

  23. Synapse 타일을 선택하고 페이지 맨 아래에 있는 데이터 미리 보기 탭을 확인합니다. 전용 SQL 풀로 흐르는 데이터가 표시됩니다.

    Synapse 타일의 데이터 미리 보기를 보여 주는 스크린샷

  24. 위쪽 리본에서 저장을 선택하여 작업을 저장한 다음 시작을 선택합니다. 명령 모음에서 선택한 시작 단추를 보여 주는 스크린샷.

  25. Stream Analytics 작업 시작 페이지에서 시작을 선택하여 작업을 실행합니다.

    Stream Analytics 작업 시작 페이지의 스크린샷

  26. 그런 다음 코드 편집기를 사용하지 않고 만든 모든 Stream Analytics 작업 목록이 표시됩니다. 그리고 2분 이내에 작업이 실행 중 상태로 이동합니다. 페이지에서 새로 고침 단추를 선택하여 상태가 생성됨 ->시작 -> 실행 중으로 변경되는 것을 확인합니다.

    작업 목록을 보여 주는 스크린샷

Power BI 시각화 만들기

  1. 최신 버전의 Power BI Desktop을 다운로드합니다.

  2. Azure Synapse SQL용 Power BI 커넥터를 사용합니다.

    Azure 및 Synapse Analytics SQL이 선택된 Power BI Desktop을 보여 주는 스크린샷

  3. 를 사용하여 데이터베이스 에 커넥트DirectQuery 및 이 쿼리를 사용하여 데이터베이스에서 데이터 가져오기

    SELECT [Make],[CarCount],[times]
FROM [dbo].[carsummary]
WHERE times >= DATEADD(day, -1, GETDATE())

    Azure Synapse SQL Database에 연결하기 위한 Power BI Destop의 구성을 보여 주는 스크린샷

    데이터베이스 탭으로 전환하고 자격 증명(사용자 이름 및 암호)을 입력하여 데이터베이스에 연결하고 쿼리를 실행합니다.

  4. 부하를 선택하여 Power BI에 데이터를 로드합니다.

  5. 그런 다음 꺾은선형 차트를 만들 수 있습니다.

    • X축을 횟수로
    • Y축을 CarCount로
    • 범례는 Make로 하면 게시할 수 있는 차트가 표시됩니다. 자동 페이지 새로 고침을 구성하고 3분으로 설정하면 실시간으로 볼 수 있습니다. 자동차 요약 데이터를 보여 주는 Power BI 대시보드의 스크린샷

추가 옵션

Azure Synapse SQL을 제외하고 SQL Database를 코드 없는 편집기 출력으로 사용하여 스트리밍 데이터를 받을 수도 있습니다. 그런 다음, Power BI 커넥터를 사용하여 DirectQuery를 통해 SQL Database를 사용자 데이터베이스에 연결하고 실시간 대시보드를 빌드합니다.

스트리밍 데이터로 실시간 대시보드를 빌드하는 것도 좋은 옵션입니다. SQL Database 출력에 대한 자세한 내용은 변환 및 SQL Database로 수집을 참조하세요.

리소스 정리

  1. Event Hubs 인스턴스를 찾고 프로세스 데이터 섹션에서 Stream Analytics의 작업 목록을 확인합니다. 실행 중인 작업 중지
  2. TollApp 이벤트 생성기를 배포하는 동안 사용한 리소스 그룹으로 이동합니다.
  3. 리소스 그룹 삭제를 선택합니다. 삭제를 확인할 리소스 그룹의 이름을 입력합니다.

다음 단계

이 자습서에서는 코드 없는 편집기를 사용하여 Stream Analytics 작업을 만들어 집계를 정의하고 결과를 Azure Synapse Analytics에 작성했습니다. 그런 다음, Power BI를 사용하여 실시간으로 대시보드를 빌드하고 작업에서 생성된 결과를 확인했습니다.

Azure Stream Analytics를 사용하는 코드 없는 스트림 처리