데이터 세트 최적화 및 캐싱

AI/BI 대시보드는 중요한 데이터 분석 및 의사 결정 도구이며 효율적인 로드 시간은 사용자 환경을 크게 향상시킬 수 있습니다. 이 문서에서는 캐싱 및 데이터 세트 최적화를 통해 대시보드의 성능과 효율성을 높이는 방법을 설명합니다.

쿼리 성능

작업 영역 쿼리 기록에서 쿼리 및 해당 성능을 검사할 수 있습니다. 쿼리 기록에는 SQL 웨어하우스를 사용하여 수행된 SQL 쿼리가 표시됩니다. 사이드바에서 쿼리 기록을 클릭하여 쿼리 기록을 봅니다. 쿼리 기록 보기를 참조하세요.

대시보드 데이터 세트의 경우 Azure Databricks는 데이터 세트의 결과 크기에 따라 성능 최적화를 적용합니다.

데이터 세트 최적화

AI/BI 대시보드 데이터 세트에는 다음과 같은 성능 최적화가 포함됩니다.

• 데이터 세트 결과 크기가 작거나 100K 행 또는 100MB보다 작으면 데이터 세트 결과가 클라이언트로 끌어오고 브라우저에서 시각화별 필터링 및 집계가 수행됩니다. 작은 데이터 세트에 대한 데이터 필터링 및 집계는 매우 빠르며 데이터 세트가 작은지 확인하면 대시보드 성능을 optimize 수 있습니다. 작은 데이터 세트를 사용하면 데이터 세트 쿼리만 쿼리 기록에 표시됩니다.
• 데이터 세트 결과 크기가 100K 행 또는 100MB보다 크면 데이터 세트 쿼리 텍스트가 SQL WITH 절로 래핑되고 시각화별 필터링 및 집계가 브라우저가 아닌 백 엔드의 쿼리에서 수행됩니다. 큰 데이터 세트를 사용하면 시각화 쿼리가 쿼리 기록에 표시됩니다.
• 백 엔드로 전송된 시각화 쿼리의 경우 동일한 절과 필터 조건자를 공유하는 동일한 GROUP BY 데이터 세트에 대한 별도의 시각화 쿼리가 처리를 위해 단일 쿼리로 결합됩니다. 이 경우 사용자는 쿼리 기록에 여러 시각화에 대한 결과를 가져오는 하나의 결합된 쿼리를 볼 수 있습니다.

캐싱 및 데이터 새로 고침

대시보드는 초기 로드 시간을 optimize로 유지하기 위해 24시간 결과 캐시를 관리하며 가능한 한 최선을 다해 작동합니다. 즉, 시스템은 항상 대시보드 credentials에 연결된 기록 쿼리 결과를 사용하여 성능을 높이려 하지만, 캐시된 결과를 만들거나 유지할 수 없는 경우가 where 있습니다. 캐시된 데이터는 고유한 메모리 limit이나 고정된 쿼리 수가 없습니다.

다중 페이지 대시보드의 경우 다음이 적용됩니다.

• 초안 대시보드를 편집할 경우 모든 데이터 세트가 로드되고 캐시됩니다.
• 뷰어에서 게시된 대시보드를 열면 활성 페이지를 지원하는 데이터 세트만 실행되고 캐시됩니다.
• 일정이 set인 경우, 모든 데이터 세트 refresh 는 일정에 따라 처리되고, 해당 결과는 캐시됩니다.

다음 table 대시보드 상태 및 credentials따라 캐싱이 어떻게 달라지는지 설명합니다.

대시보드 유형	캐싱 형식
포함된 credentials 있는 게시된 대시보드	공유 캐시. 모든 뷰어는 동일한 결과를 볼 수 있습니다.
포함된 credentials이 없는 대시보드 초안 또는 게시된 대시보드	사용자 캐시당. 뷰어는 데이터 사용 권한에 따라 결과를 볼 수 있습니다.

대시보드는 마지막 쿼리 이후 기본 데이터가 변경되지 않은 상태로 유지되거나 결과가 24시간 전에 검색된 경우 캐시된 쿼리 결과를 자동으로 사용합니다. 부실 결과가 존재하고 대시보드에 parameters이 적용된 경우, 지난 24시간 동안 같은 parameters이 사용되지 않았다면 쿼리가 다시 실행됩니다. 마찬가지로 100,000개 행을 초과하는 데이터 세트에 필터를 적용하면 지난 24시간 동안 동일한 필터가 이전에 적용되지 않은 한 쿼리를 다시 실행하라는 메시지가 표시됩니다.

예약된 쿼리

포함된 credentials 사용하여 게시된 대시보드에 일정을 추가하면 모든 대시보드 뷰어의 초기 로드 프로세스가 크게 단축될 수 있습니다.

예약된 각 대시보드 update에 대해 다음이 발생합니다.

• 데이터 세트를 정의하는 모든 SQL 논리는 지정된 시간 간격에 따라 실행됩니다.
• 결과는 쿼리 결과 캐시를 채우고 초기 대시보드 로드 시간을 개선하는 데 도움이 될 수 있습니다.