Splunk에서 Azure Monitor 로그로 마이그레이션

  • 아티클

Azure Monitor 로그는 비용 관리, 확장성, 유연성, 통합 및 낮은 유지 관리 오버헤드 측면에서 많은 이점을 제공하는 클라우드 기반 관리 모니터링 및 관찰성 서비스입니다. 이 서비스는 많은 양의 데이터를 처리하고 모든 규모의 조직의 요구 사항을 충족하기 위해 쉽게 스케일링되도록 설계되었습니다.

Azure Monitor 로그는 Windows 이벤트 로그, Syslog 및 사용자 지정 로그를 비롯한 다양한 원본에서 데이터를 수집하여 모든 Azure 및 비 Azure 리소스에 대한 통합 보기를 제공합니다. 정교한 쿼리 언어와 큐레이팅된 시각화를 사용하여 수백만 개의 레코드를 신속하게 분석하여 모니터링 데이터의 중요한 패턴을 식별, 이해 및 대응할 수 있습니다.

이 문서에서는 로깅 및 로그 데이터 분석을 위해 Splunk 가시성 배포를 Azure Monitor 로그로 마이그레이션하는 방법을 설명합니다.

Splunk Enterprise Security에서 Azure Sentinel로 SIEM(보안 정보 및 이벤트 관리) 배포를 마이그레이션하는 방법에 대한 내용은 Microsoft Sentinel로의 마이그레이션 계획을 참조하세요.

Azure Monitor로 마이그레이션하는 이유는 무엇인가요?

Azure로 마이그레이션할 때의 장점은 다음과 같습니다.

제품 비교

Splunk 제품 Product Azure 제품
Splunk Platform
  • Splunk Cloud Platform
  • Splunk Enterprise
 Azure Monitor 로그 는 Azure 및 비 Azure 리소스 및 애플리케이션에서 생성된 원격 분석 데이터를 수집, 분석 및 작동하기 위한 중앙 집중식 SaaS(Software as a Service) 플랫폼입니다.
Splunk 관찰성
  • Splunk 인프라 모니터링
  • Splunk 애플리케이션 성능 모니터링
  • Splunk IT Service Intelligence
 Azure Monitor는 Microsoft Sentinel과 공유되는 강력한 데이터 수집 파이프라인 위에 빌드된 클라우드, 다중 클라우드 및 온-프레미스 환경에서 원격 분석을 수집, 분석하고 관련 작업을 수행하기 위한 엔드 투 엔드 솔루션입니다. Azure Monitor는 기업에게 네트워크 격리, 복원력 기능 및 데이터 센터 오류로부터 보호, 보고 및 경고 및 대응 기능을 통해 클라우드, 하이브리드 및 온-프레미스 환경을 모니터링하기 위한 포괄적인 솔루션을 제공합니다.
Azure Monitor의 기본 제공 기능은 다음과 같습니다.
  • Azure Monitor Insights - 미리 구성된 데이터 입력, 검색, 경고 및 시각화를 사용하여 즉시 사용할 수 있는 큐레이팅된 모니터링 환경입니다.
  • Application Insights - 라이브 웹 애플리케이션에 대한 APM(애플리케이션 성능 관리)을 제공합니다.
  • Azure Monitor AIOps 및 기본 제공 기계 학습 기능 - 인사이트를 제공하고 용량 사용량 및 자동 크기 조정 예측, 애플리케이션 성능 문제 식별 및 분석, 가상 머신, 컨테이너 및 기타 리소스에서 비정상적인 동작 검색과 같은 데이터 기반 작업을 자동화하고 문제를 해결하는 데 도움이 됩니다.
이러한 기능은 설치 요금이 부과되지 않습니다.
Splunk 보안
  • Splunk Enterprise Security
  • 스플렁크 미션 컨트롤
    스플렁크 SOAR
 Microsoft Sentinel은 엔터프라이즈 전체에 지능형 보안 분석 및 위협 인텔리전스를 제공하기 위해 Azure Monitor 플랫폼을 통해 실행되는 클라우드 네이티브 솔루션입니다.

주요 개념 소개

Azure Monitor 로그 유사한 Splunk 개념 설명
Log Analytics 작업 영역 네임스페이스 Log Analytics 작업 영역은 모든 Azure 및 비 Azure 모니터링 리소스에서 로그 데이터를 수집할 수 있는 환경입니다. 작업 영역의 데이터는 쿼리 및 분석, Azure Monitor 기능 및 기타 Azure 서비스에 사용할 수 있습니다. Splunk 네임스페이스와 마찬가지로 Log Analytics 작업 영역에서 경고 및 통합 문서와 같은 데이터 및 아티팩트에 대한 액세스를 관리할 수 있습니다.
필요에 따라 Log Analytics 작업 영역 아키텍처 를 디자인합니다(예: 분할 청구, 지역 데이터 스토리지 요구 사항 및 복원력 고려 사항).
테이블 관리 인덱싱 Azure Monitor 로그는 관리되는 Azure Data Explorer 데이터베이스의 테이블에 로그 데이터를 수집합니다. 수집 중에 이 서비스는 데이터를 자동으로 인덱싱하고 타임스탬프를 지정합니다. 즉, 다양한 유형의 데이터를 저장하고 KQL(Kusto 쿼리 언어) 쿼리를 사용하여 데이터에 빠르게 액세스할 수 있습니다.
테이블 속성을 사용하여 테이블 스키마, 데이터 보존 및 보관, 간헐적인 감사 및 문제 해결을 위해 데이터를 저장할지 또는 지속적인 분석을 위해 데이터를 저장할지, 기능 및 서비스별 사용을 관리합니다.
Splunk와 Azure Data Explorer 데이터 처리 및 쿼리 개념을 비교하려면 Splunk-Kusto 쿼리 언어 매핑을 참조하세요.
기본 및 분석 로그 데이터 요금제 Azure Monitor 로그는 로그 수집 및 보존 비용을 줄이고 필요에 따라 Azure Monitor의 유용한 기능과 분석 기능을 활용할 수 있는 두 가지 로그 데이터 요금제를 제공합니다.
분석 플랜을 사용하면 기능 및 서비스에서 대화형 쿼리 및 사용에 로그 데이터를 사용할 수 있습니다.
기본 로그 데이터 플랜은 문제 해결, 디버깅, 감사 및 규정 준수를 위해 로그를 수집하고 보존하는 저렴한 방법을 제공합니다.
보관 및 보관된 데이터에 대한 빠른 액세스 데이터 버킷 상태(핫, 웜, 콜드, 재개), 보관, DDAA(Dynamic Data Active Archive) 비용 효율적인 보관 옵션은 Log Analytics 작업 영역에 로그를 유지하고, 필요할 때 보관된 로그 데이터에 즉시 액세스할 수 있도록 합니다. 보관 구성 변경 내용은 데이터가 외부 스토리지로 물리적으로 전송되지 않으므로 즉시 적용됩니다. 보관된 데이터를 복원하거나 검색 작업을 실행하여 특정 시간 범위의 보관된 데이터를 실시간 분석에 사용할 수 있도록 할 수 있습니다.
액세스 제어 역할 기반 사용자 액세스, 권한 Azure RBAC(역할 기반 액세스 제어)를 사용하여 특정 리소스에서 읽고 쓰고 작업을 수행할 수 있는 사용자 및 리소스를 정의합니다. 리소스에 액세스할 수 있는 사용자는 리소스의 로그에 액세스할 수 있습니다.
Azure는 기본 제공 역할, 사용자 지정 역할, 역할 권한 상속 및 감사 기록과 같은 기능을 사용하여 데이터 보안 및 액세스 관리를 용이하게 합니다.
특정 데이터 형식에 대한 세분화된 액세스 제어를 위해 작업 영역 수준 액세스 및 테이블 수준 액세스를 구성할 수도 있습니다.
데이터 변환 변환, 필드 추출 변환을 사용하면 들어오는 데이터를 Log Analytics 작업 영역으로 전송되기 전에 필터링하거나 수정할 수 있습니다. 변환을 사용하여 중요한 데이터를 제거하고, Log Analytics 작업 영역에서 데이터를 보강하고, 계산을 수행하고, 필요 없는 데이터를 필터링하여 데이터 비용을 절감합니다.
데이터 수집 규칙 데이터 입력, 데이터 파이프라인 수집할 데이터, 해당 데이터를 변환하는 방법 및 데이터를 보낼 위치를 정의합니다.
KQL(Kusto 쿼리 언어) Splunk SPL(검색 처리 언어) Azure Monitor 로그는 단순 로그 쿼리에 적합하지만 집계, 조인, 스마트 분석 같은 고급 기능도 포함하는 KQL 부분을 사용합니다. Splunk-Kusto 쿼리 언어 매핑을 사용하여 Splunk SPL 지식을 KQL로 변환합니다. 자습서 및 KQL 학습 모듈을 사용하여 KQL을 배울 수도 있습니다.
Log Analytics Splunk Web, 검색 앱, 피벗 도구 Azure Monitor 로그에서 로그 쿼리를 편집하고 실행하기 위한 Azure Portal 도구입니다. 또한 Log Analytics는 KQL을 사용하지 않고 데이터를 탐색하고 시각화하기 위한 다양한 도구 집합을 제공합니다.
비용 최적화 Azure Monitor는 필요에 따라 비용을 이해하고, 모니터링하고, 최적화하는 데 도움이 되는 도구와 모범 사례를 제공합니다.

1. 현재 사용 현황 이해

Splunk의 현재 사용 현황은 Azure Monitor에서 선택할 가격 책정 계층을 결정하고 향후 비용을 예측하는 데 도움이 됩니다.

2. Log Analytics 작업 영역 설정

Log Analytics 작업 영역은 모니터링되는 모든 리소스에서 로그 데이터를 수집하는 위치입니다. Log Analytics 작업 영역에서 최대 7년 동안 데이터를 보존할 수 있습니다. 작업 영역 내의 저비용 데이터 보관을 사용하면 외부 데이터 저장소를 관리하는 오버헤드 없이 필요할 때 보관된 데이터에 빠르고 쉽게 액세스할 수 있습니다.

관리 용이성을 위해 단일 Log Analytics 작업 영역에서 모든 로그 데이터를 수집하는 것이 좋습니다. 여러 작업 영역 사용을 고려 중인 경우 Log Analytics 작업 영역 아키텍처 디자인을 참조하세요.

데이터 수집에 대한 Log Analytics 작업 영역을 설정하려면 다음을 수행합니다.

  1. Log Analytics 작업 영역을 만듭니다.

    Azure Monitor 로그는 사용하는 Azure 서비스 및 Azure 리소스에 대해 정의한 데이터 수집 설정에 따라 작업 영역에 Azure 테이블을 자동으로 만듭니다.

  2. 다음을 포함하여 Log Analytics 작업 영역을 구성합니다.

    1. 가격 책정 계층.
    2. 가격 책정 계층에 따라 적절한 경우 고급 기능을 활용하려면 Log Analytics 작업 영역을 전용 클러스터에 연결합니다.
    3. 일일 한도.
    4. 데이터 보존.
    5. 네트워크 격리.
    6. 액세스 제어.

  3. 테이블 수준 구성 설정을 사용하여 다음을 수행합니다.

    1. 각 테이블의 로그 데이터 요금제를 정의합니다.

      기본 로그 데이터 요금제는 Azure Monitor의 풍부한 모니터링 및 분석 기능을 활용할 수 있는 분석입니다.

    2. 작업 영역 수준 데이터 보존 및 보관 정책과 달라야 하는 경우 특정 테이블에 대한 데이터 보존 및 보관 정책을 설정합니다.

    3. 데이터 모델에 따라 테이블 스키마를 수정합니다.

3. Splunk 아티팩트를 Azure Monitor로 마이그레이션

대부분의 Splunk 아티팩트를 마이그레이션하려면 SPL(Splunk Processing Language)을 KQL(Kusto 쿼리 언어)로 변환해야 합니다. 자세한 내용은 Splunk-Kusto 쿼리 언어 매핑 및 Azure Monitor에서 로그 쿼리 시작을 참조하세요.

이 표에는 Splunk 아티팩트와 Azure Monitor에서 동등한 아티팩트를 설정하기 위한 지침에 대한 링크가 나열되어 있습니다.

Splunk 아티팩트 Azure Monitor 아티팩트
경고 경고 규칙
경고 작업 작업 그룹
인프라 모니터링 Azure Monitor 인사이트는 데이터 분석을 빠르고 효과적으로 시작할 수 있도록 미리 구성된 데이터 입력, 검색, 경고 및 시각화를 지원하는 즉시 사용할 수 있는 큐레이팅된 모니터링 환경 집합입니다.
대시보드 통합 문서
조회 Azure Monitor는 다음을 포함하여 데이터를 보강하는 다양한 방법을 제공합니다.
- 데이터 수집 규칙: 데이터를 수집하기 전에 여러 원본에서 Log Analytics 작업 영역으로 데이터를 보내고 계산 및 변환을 수행할 수 있습니다.
- KQL 연산자(예: 서로 다른 테이블의 데이터를 결합하는 연산자 및 외부 스토리지에서 데이터를 반환하는 externaldata 연산자).
- Azure Machine Learning 또는 Azure Event Hubs 등의 서비스와 통합하여 고급 기계 학습을 적용하고 추가 데이터를 스트리밍합니다.
네임스페이스 Log Analytics 작업 영역 또는 Azure 리소스 그룹에서 정의한 액세스 제어에 따라 Azure Monitor의 아티팩트에 대해 권한을 부여하거나 권한을 제한할 수 있습니다.
사용 권한 액세스 관리
보고서 Azure Monitor는 다음을 포함하여 데이터를 분석, 시각화 및 공유하기 위한 다양한 옵션을 제공합니다.
- Grafana와 통합
- Insights
- 통합 문서
- 대시보드
- Power BI와 통합
- Excel과 통합
검색 쿼리
원본 유형 Log Analytics 작업 영역에서 데이터 모델을 정의합니다. 수집 시간 변환을 사용하여 들어오는 데이터를 필터링하거나, 서식을 지정하거나, 수정합니다.
데이터 수집 방법 특정 리소스용으로 설계된 Azure Monitor 도구에 대해서는 데이터 수집을 참조하세요.

검색 규칙 및 SOAR 자동화를 포함하여 Splunk SIEM 아티팩트 마이그레이션에 대한 내용은 Microsoft Sentinel로의 마이그레이션 계획을 참조하세요.

4. 데이터 수집

Azure Monitor는 사용자 환경의 Azure 및 비 Azure 리소스의 로그 데이터 원본에서 데이터를 수집하기 위한 도구를 제공합니다.

리소스에서 데이터를 수집하려면 다음을 수행합니다.

  1. 아래 표를 기준으로 관련 데이터 수집 도구를 설정합니다.
  2. 리소스에서 수집해야 하는 데이터를 결정합니다.
  3. 변환을 사용하여 중요한 데이터를 제거하거나, 데이터를 보강하거나, 계산을 수행하고, 필요하지 않은 데이터를 필터링하여 비용을 절감할 수 있습니다.

이 표에는 다양한 리소스 유형에서 데이터를 수집하기 위해 Azure Monitor에서 제공하는 도구가 나열됩니다.

리소스 종류 데이터 수집 도구 유사한 Splunk 도구 수집된 데이터
Azure 진단 설정 Azure 테넌트 - Microsoft Entra 감사 로그는 로그인 활동 기록 및 테넌트 내에서 변경된 내용의 감사 내역을 제공합니다.
Azure 리소스 - 로그 및 성능 카운터.
Azure 구독 - Azure 구독의 리소스에 대한 구성 변경 기록과 함께 서비스 상태 기록을 포함합니다.
애플리케이션 애플리케이션 인사이트 Splunk 애플리케이션 성능 모니터링 애플리케이션 성능 모니터링 데이터입니다.
컨테이너 컨테이너 인사이트 컨테이너 모니터링 컨테이너 성능 데이터입니다.
운영 체제 Azure Monitor 에이전트 Universal Forwarder, Heavy Forwarder Azure 및 비 Azure 가상 머신의 게스트 운영 체제에서 데이터 모니터링.
비 Azure 원본 로그 수집 API HTTP 이벤트 수집기(HEC) 파일 기반 로그 및 모니터링되는 리소스의 데이터 수집 엔드포인트로 보내는 모든 데이터입니다.

Azure Monitor 로그에 연결된 다양한 데이터 원본을 보여 주는 다이어그램

5. Azure Monitor 로그로 전환

일반적인 방법은 Splunk에서 기록 데이터를 유지하면서 Azure Monitor 로그로 점진적으로 전환하는 것입니다. 이 기간 동안 다음을 수행할 수 있습니다.

Splunk에서 기록 데이터를 내보내려면 다음을 수행합니다.

  1. Splunk 내보내기 방법 중 하나를 사용하여 CSV 형식으로 데이터를 내보냅니다.
  2. 내보낸 데이터를 수집하려면 다음을 수행합니다.

    1. Azure Monitor 에이전트로 텍스트 로그 수집에 설명된 대로 Azure Monitor 에이전트를 사용하여 Splunk에서 내보낸 데이터를 수집합니다.

      또는

    2. REST API를 사용하여 Azure Monitor 로그에 데이터 보내기에 설명된 대로 로그 수집 API를 사용하여 내보낸 데이터를 직접 수집합니다.

Splunk에서 Azure Monitor 로그의 Log Analytics 작업 영역으로의 데이터 스트리밍을 보여 주는 다이어그램.

다음 단계