핫 창을 사용하여 콜드 데이터 쿼리

  • 아티클

핫 창을 사용하면 데이터를 내보내거나 다른 도구를 사용할 필요 없이 콜드 데이터를 효율적으로 쿼리할 수 있습니다. 콜드 데이터 크기가 크고 관련 데이터가 과거 특정 시점의 데이터인 경우 핫 창을 사용합니다. 핫 창은 캐시 정책에 정의되어 있습니다.

Azure Data Explorer 신뢰할 수 있는 장기 스토리지에 데이터를 저장하고 이 데이터의 일부를 클러스터 노드에 캐시합니다. 캐시 정책은 캐시되는 데이터를 제어합니다. 캐시된 데이터는 핫으로 간주되고, 나머지 데이터는 콜드로 간주됩니다.

콜드 데이터를 쿼리하기 위해 Azure Data Explorer는 로컬 디스크보다 대기 시간이 훨씬 긴 스토리지 계층에 액세스해야 하는 로드 단계를 처리합니다. 쿼리가 "특정 시점" 쿼리라고도 하는 작은 시간 범위로 제한되는 경우 검색할 데이터의 양이 일반적으로 적고 쿼리가 빠르게 완료됩니다. 예를 들어, 과거의 특정 날짜에 원격 분석을 쿼리하는 포렌식 분석이 이 범주에 속합니다. 쿼리 기간에 대한 영향은 스토리지에서 가져오는 데이터의 크기에 따라 달라지며, 상당히 클 수 있습니다. 많은 양의 콜드 데이터를 스캔하는 경우 핫 창을 사용하면 쿼리 성능이 향상될 수 있습니다.

이 문서는 핫 창을 사용하여 콜드 데이터를 쿼리하는 방법을 보여줍니다.

사전 요구 사항

클러스터에서 자동 크기 조정 구성

캐시 정책이 변경되면 클러스터에서 관련 데이터를 해당 디스크에 자동으로 캐시합니다. 새 캐시 정의에 필요한 추가 디스크를 수용하기 위해 클러스터의 크기를 조정해야 합니다. 자동 크기 조정 최적화 설정을 사용하도록 클러스터를 구성하는 것이 좋습니다.

  1. Azure Portal에서 Azure Data Explorer 클러스터 리소스로 이동합니다. 설정에서 스케일 아웃을 선택합니다.

  2. 스케일 아웃 창에서 최적화된 자동 크기 조정을 선택합니다.

  3. 최소 인스턴스 수와 최대 인스턴스 수를 선택합니다. 클러스터 자동 크기 조정 범위는 부하에 따라 두 숫자 사이에서 정해집니다.

  4. 저장을 선택합니다.

    최적화된 자동 크기 조정 방법.

이제 핫 창을 사용하는 동안 최적의 성능을 기대할 수 있습니다.

핫 창 설정

핫 창은 캐시 정책 명령 구문의 일부이며 .alter policy caching 명령으로 설정됩니다.

참고

업데이트된 캐시 정책 정의에 따라 클러스터 디스크 캐시를 완전히 업데이트하는 데 최대 1시간이 걸릴 수 있습니다.

  1. .show policy caching 명령을 사용하여 초기 캐싱 정책을 기록해 둡니다.

    .show table MyDatabase.MyTable policy caching

  2. 다음 구문을 사용하여 캐시 정책을 변경합니다. 단일 데이터베이스 또는 테이블에 대해 여러 핫 창을 정의할 수 있습니다.

    .alter <entity_type> <database_or_table_or_materialized-view_name> policy caching 
      hot = <timespan> 
      [, hot_window = datetime(*from*) .. datetime(*to*)] 
      [, hot_window = datetime(*from*) .. datetime(*to*)] 
      ...

    위치:

    • from: 핫 창의 시작 시간(날짜/시간)
    • to: 핫 창의 종료 시간(날짜/시간)

    예를 들어 다음 설정에서 실행되는 쿼리는 3년 동안 보관된 데이터에서 지난 14일 동안의 데이터를 검사합니다.

    .alter table MyTable policy caching 
        hot = 14d,
        hot_window = datetime(2021-01-01) .. datetime(2021-02-01),
        hot_window = datetime(2021-04-01) .. datetime(2021-05-01)

쿼리 실행

핫 창에 지정된 기간 동안 원하는 쿼리를 실행합니다.

설정 되돌리기

  1. 위의 핫 창 설정에서 검색한 원래 캐시 설정을 사용합니다.
  2. .alter policy caching 명령을 사용하여 캐시 정책을 원래 설정으로 되돌립니다.

해당 클러스터에 대해 최적화된 자동 크기 조정을 구성했기 때문에 클러스터는 원래 크기로 축소됩니다.

관련 콘텐츠