다음을 통해 공유

수집 시간 정규화

  • 아티클

쿼리 시간 구문 분석

ASIM 개요에서 설명하는 것처럼 Microsoft Sentinel은 쿼리 시간과 수집 시간 정규화를 모두 사용하여 각각의 이점을 활용합니다.

쿼리 시간 정규화를 사용하려면 쿼리와 같이 _Im_Dns 쿼리 시간 통합 파서를 사용합니다. 쿼리 시간 구문 분석을 사용하여 정규화하면 다음과 같은 몇 가지 이점이 있습니다.

  • 원래 형식 유지: 쿼리 시간 정규화에서는 데이터를 수정할 필요가 없으므로 원본에서 보낸 원래 데이터 형식이 유지됩니다.
  • 잠재적인 중복 스토리지 방지: 정규화된 데이터는 원래 데이터의 보기일 뿐이므로 원래 데이터와 정규화된 데이터를 모두 저장할 필요가 없습니다.
  • 더 쉽게 개발: 쿼리 시간 파서는 데이터의 보기를 표시하고 데이터를 수정하지 않으므로 쉽게 개발할 수 있습니다. 파서 개발, 테스트 및 수정은 모두 기존 데이터에서 수행할 수 있습니다. 또한 문제가 검색되고 수정 사항이 기존 데이터에 적용될 때 파서가 해결될 수 있습니다.

수집 시간 구문 분석

ASIM 쿼리 시간 파서는 최적화되어 있지만 쿼리 시간 구문 분석으로 인해 특히 큰 데이터 집합에서 쿼리 속도가 느려질 수 있습니다.

시간 구문 분석을 통해 Microsoft Sentinel로 수집될 때 이벤트를 정규화된 스키마로 변환하고 정규화된 형식으로 저장할 수 있습니다. 수집 시간 구문 분석이 덜 유연하고 파서 개발이 어렵지만 데이터가 정규화된 형식으로 저장되므로 성능이 향상됩니다.

정규화된 데이터는 Microsoft Sentinel의 기본 정규화된 테이블 또는 ASIM 스키마를 사용하는 사용자 지정 테이블에 저장할 수 있습니다. 스키마가 ASIM 스키마와 가깝지만 동일하지 않은 사용자 지정 테이블은 수집 시간 정규화의 성능 이점도 제공합니다.

현재 ASIM은 다음 네이티브 정규화된 테이블을 수집 시간 정규화를 위한 대상으로 지원합니다.

기본 정규화된 테이블의 장점은 기본적으로 ASIM 통합 파서에 포함된다는 것입니다. 사용자 지정 정규화된 테이블은 파서 관리에서 설명한 대로 통합 파서에 포함될 수 있습니다.

수집 시간 및 쿼리 시간 정규화 결합

쿼리는 항상 쿼리 시간 및 수집 시간 정규화를 모두 활용하기 위해 쿼리 시간 통합 파서를_Im_Dns 사용해야 합니다. 네이티브 정규화된 테이블은 스텁 파서로 쿼리된 데이터에 포함됩니다.

스텁 파서는 정규화된 테이블을 입력으로 사용하는 쿼리 시간 파서입니다. 정규화된 테이블에는 구문 분석이 필요하지 않으므로 스텁 파서가 효율적입니다.

스텁 파서는 ASIM 네이티브 테이블에 추가하는 호출 쿼리에 대한 뷰를 제공합니다.

  • 별칭 - 반복 값에 대한 스토리지를 낭비하지 않기 위해 별칭은 ASIM 네이티브 테이블에 저장되지 않으며 쿼리 시 스텁 파서에 의해 추가됩니다.
  • 상수 값 - 별칭과 마찬가지로 ASIM 정규화된 테이블도 EventSchema와 같은 상수 값을 저장하지 않습니다. 스텁 파서는 해당 필드를 추가합니다. ASIM 정규화된 테이블은 많은 원본에서 공유되며 수집 시간 파서는 출력 버전을 변경할 수 있습니다. 따라서 EventProduct, EventVendor 및 EventSchemaVersion과 같은 필드는 상수가 아니며 스텁 파서에 의해 추가되지 않습니다.
  • 필터링 - 스텁 파서도 필터링을 구현합니다. ASIM 네이티브 테이블은 성능 향상을 위해 필터링 파서를 필요로 하지 않지만 통합 파서에 포함을 지원하려면 필터링이 필요합니다.
  • 업데이트 및 수정 - 스텁 파서 사용으로 문제를 더 빠르게 해결할 수 있습니다. 예를 들어 데이터가 잘못 수집된 경우 수집하는 동안 메시지 필드에서 IP 주소가 추출되지 않았을 수 있습니다. 쿼리 시 스텁 파서에서 IP 주소를 추출할 수 있습니다.

사용자 지정 정규화된 테이블을 사용하는 경우 사용자 고유의 스텁 파서를 만들어 이 기능을 구현하고 파서 관리에서 설명한 대로 통합 파서에 추가합니다. DNS 네이티브 테이블 스텁 파서 및 해당 필터링과 같은 네이티브 테이블에 대한 스텁 파서(stub parser)를 시작점으로 사용합니다. 테이블이 반정형화된 경우 스텁 파서로 필요한 추가 구문 분석 및 정규화를 수행합니다.

ASIM 파서 개발에서 파서를 작성하는 방법에 대해 자세히 알아봅니다.

수집 시간 정규화 구현

수집 시 데이터를 정규화하려면 DCR(데이터 수집 규칙)을 사용해야 합니다. DCR을 구현하는 절차는 데이터를 수집하는 데 사용되는 방법에 따라 달라집니다. 자세한 내용은 Microsoft Sentinel에서 수집 시 데이터 변환 또는 사용자 지정 문서를 참조하세요.

KQL 변환 쿼리는 DCR의 핵심입니다. DCR에서 사용되는 KQL 버전은 파이프라인 이벤트 처리 요구 사항을 수용하기 위해 Microsoft Sentinel의 다른 곳에서 사용되는 버전과 약간 다릅니다. 따라서 DCR에서 사용하도록 쿼리 시간 파서가 수정되어야 합니다. 차이점 및 쿼리 시간 파서에서 수집 시간 파서로 변환하는 방법에 대한 자세한 내용은 DCR KQL 제한 사항에 대해 읽어보세요.

다음 단계

자세한 내용은 다음을 참조하세요.