Microsoft Sentinel 데이터 레이크 데이터 수집

샘플 IdentityDrift 텔레메트리 및 관련 테이블을 Sentinel 데이터 레이크에 수집하여 저장합니다. 이 시리즈의 후속 문서에서 이 데이터를 쿼리할 수 있습니다.

이 문서는 테스트 데이터를 데이터 레이크로 수집하고, 에이전트를 개발하고, 예제 IdentityDrift 플랫폼 솔루션을 게시하는 방법을 안내하는 시리즈의 일부입니다. 솔루션에는 ID, 엔드포인트 및 클라우드 보안 신호의 상관 관계를 지정하여 위협 조사를 자동화하는 보안 Copilot 에이전트 포함되어 있습니다.

ISV에 대한 일반적인 프로덕션 접근 방식

ISV는 다음 방법을 사용하여 Sentinel에 데이터를 수집해야 합니다.

1. 데이터 커넥터 개발
   • GitHub Copilot이 포함된 VS Code에서 Sentinel 커넥터 빌더 에이전트를 사용하여 Sentinel 데이터 커넥터를 생성합니다. 이 AI 지원 접근 방식은 개발 시간을 몇 주에서 몇 시간으로 단축하고 자연어 프롬프트를 사용하여 폴링 구성, 데이터 수집 규칙, 커넥터 정의 및 스키마를 빌드합니다.
   • 끌어오기 기반 데이터 원본의 경우 CCF(Codeless Connector Framework)를 사용합니다.
   • 푸시 기반 데이터 원본의 경우 CCF 푸시를 사용합니다.
2. 데이터 레이크로 데이터 수집 커넥터를 통해 텔레메트리를 Sentinel 데이터 레이크로 스트리밍
3. Sentinel 플랫폼 사용 데이터 탐색, 그래프, MCP 서버 및 Security Copilot 에이전트에 Sentinel 플랫폼 기능을 사용합니다.

대신: 데이터 원본용 커넥터가 이미 있는 경우 Sentinel 데이터 커넥터 참조를 확인하여 이를 활성화하고 데이터 수집을 시작하세요.

실습 방법: KQL Jobs를 통해 샘플 데이터 가져오기

KQL Jobs를 사용하여 데이터 레이크에 샘플 레코드를 채워 넣습니다. 이 접근 방식은 다음과 같습니다.

• 실제 데이터 스키마 미러링 샘플 데이터는 커넥터 수집 데이터와 동일한 스키마를 준수하므로 데이터 레이크 및 테스트 에이전트 논리를 즉시 채울 수 있습니다.
• 실제 공격 시나리오를 나타냅니다. 모의 데이터는 프로덕션 환경에서 조사할 공격 패턴과 상관 관계를 재현합니다.

사전 요구 사항

• 먼저 데이터 레이크에 온보딩해야 합니다. Sentinel 데이터 레이크 온보딩 가이드를 참조하세요.

필요한 권한

• 보안 관리자 또는 보안 운영자 역할이 있어야 합니다.

KQL 작업 만들기

새 KQL 작업을 만들려면 다음 단계를 수행합니다.

1. Defender 포털에서 Sentinel > 데이터 레이크 탐색 > 작업으로 이동합니다.

2. 작업 만들기를 선택한 다음, 새 KQL 작업 만들기

3. 작업 이름 - 고유한 작업 이름 입력(예: CommonSecurity_ID_logs1)

4. 작업 설명 - 작업의 컨텍스트 및 목적 제공(예: identityDrift 공급업체에서 CommonSecurity_ID_logs 1로 수집할 로그 생성)

5. 작업 영역 선택 - 대상 작업 영역 선택

6. "새 테이블 만들기" 아래에 테이블 이름(예: CommonSecurity_ID)을 입력합니다. KQL 작업에서 만든 테이블에는 접미사가 _KQL_CL 자동으로 추가됩니다.

7. 다음을 선택합니다.

8. 관련 데이터 수집 KQL 탭에서 쿼리 필드로 KQL 쿼리를 복사합니다.

   팁 (조언)

   다음 단추가 회색으로 표시된 경우 선택한 작업 영역 단추를 사용하여 작업 영역을 선택해야 합니다.

9. 다음을 선택하여 일정 페이지로 진행합니다.

작업 예약

작업에 대한 실행 일정을 설정하려면 다음을 수행합니다.

1. 쿼리 작업 예약 페이지에서 실행 옵션을 선택합니다.
   • 예약된 작업 - 작업은 사용자가 지정한 일정에 따라 실행되고 주기적으로 샘플 데이터를 수집합니다.

되풀이 레코드가 테이블에 추가되도록 작업 옵션을 예약합니다.

예약된 작업의 경우:

1. 일정 옵션 선택
2. 다음 세부 정보를 입력합니다.
   • 반복 빈도 - 선택: 분, 매시간, 매일, 매주 또는 매월
   • 모든 반복 - 선택한 빈도에 따라 작업이 실행되는 빈도
   • 날짜부터 - 날짜를 선택하고 작업을 시작할 시간을 입력합니다.
   • 날짜 - 일정이 완료되는 시기를 선택합니다. 종료 날짜 없이 계속 하려면 무기한 실행하도록 작업 설정 선택

검토 및 제출

작업을 검토하고 제출하려면 다음을 수행합니다.

1. 다음을 선택하여 작업 세부 정보를 검토합니다.
2. 모든 설정을 검토합니다.
3. 제출을 선택하여 작업을 만듭니다.

데이터 수집 KQL

SigninLogs, AADRiskyUsers, CommonSecurity_ID_Logs, DeviceProcessEvents 및 SecurityAlerts 테이블에 데이터를 수집하려면 아래 각 탭의 KQL 쿼리를 사용하여 KQL 작업을 만드는 단계를 반복합니다.

AADRiskyUsers

KQL 작업에서 다음 쿼리를 사용하여 샘플 위험한 사용자 데이터를 Sentinel 데이터 레이크의 AADRiskyUsers 테이블에 수집합니다.

datatable(
    TimeGenerated:datetime,
    CorrelationId:string,
    Id:string,
    IsDeleted:bool,
    IsProcessing:bool,
    OperationName:string,
    RiskDetail:string,
    RiskLastUpdatedDateTime:datetime,
    RiskLevel:string,
    RiskState:string,
    UserDisplayName:string,
    UserPrincipalName:string
)
[
    datetime(2026-03-05T14:22:00Z), "riskcorr-identity-047", "a7d2f8c1-4e2b-48f3-9a06-2e5c7b3d9f1a", false, false, "RiskyUserDetected", "adminConfirmedUserCompromised", datetime(2026-02-28T10:15:00Z), "high", "confirmedCompromised", "U1291", "u1291@contoso.onmicrosoft.com",
    datetime(2026-03-05T15:18:00Z), "riskcorr-identity-052", "b9e4a6d2-7f3c-41b8-a2e5-3f6c8d1e2b4a", false, false, "RiskyUserUpdated",  "anonymousIpAddress",             datetime(2026-02-27T14:42:00Z), "medium", "atRisk",              "U3415", "u3415@contoso.onmicrosoft.com",
    datetime(2026-03-05T16:33:00Z), "riskcorr-identity-059", "c5f1b7e3-9d4a-42c1-b8f6-5e7d9c2a3f5b", false, false, "RiskyUserUpdated",  "userPerformedSecuredPasswordReset", datetime(2026-02-26T11:20:00Z), "medium", "remediated",          "U2847",   "u2847@contoso.onmicrosoft.com",
];

CommonSecurity_ID_Logs

KQL 작업에서 다음 쿼리를 사용하여 Sentinel 데이터 레이크의 CommonSecurity_ID_Logs 테이블에 샘플 ID 드리프트 로그를 수집합니다.

datatable(
    TimeGenerated: datetime,
    SourceUserName: string,
    SourceIP: string,
    DestinationHostName: string,
    DeviceCustomString1: string,
    DeviceCustomString1Label: string,
    AdditionalExtensions: string
)
[
    // u1291 – MFA-approved privileged access to AKS
    datetime(2026-03-05T09:20:48Z),
    "u1291@contoso.onmicrosoft.com",
    "185.92.44.17",
    "prod-aks-eastus",
    "MFA Approved",
    "Authentication Status",
    "User accessed Kubernetes cluster with ClusterAdmin role",
    // u1291 – privilege escalation detected
    datetime(2026-03-05T09:22:36Z),
    "u1291@contoso.onmicrosoft.com",
    "185.92.44.17",
    "prod-aks-eastus",
    "Privilege Escalation",
    "Authentication Status",
    "RoleBinding created granting cluster-admin privileges",
    // u2847 – sensitive workload interaction
    datetime(2026-03-05T11:50:14Z),
    "u2847@contoso.onmicrosoft.com",
    "185.92.44.17",
    "prod-aks-eastus",
    "Sensitive Access",
    "Authentication Status", 	
    "kubectl exec executed on workload with known ingress vulnerability",
    // u3415 – service-level access to backup storage
    datetime(2026-03-05T10:45:02Z),
    "u3415@contoso.onmicrosoft.com",
    "10.10.5.24",
    "stgprodbackup01",
    "Access Allowed",
    "Authentication Status",
    "Service account accessed production backup storage"
]

DeviceProcessEvents

KQL 작업에서 다음 쿼리를 사용하여 샘플 디바이스 프로세스 이벤트를 Sentinel 데이터 레이크의 DeviceProcessEvents 테이블에 수집합니다.

datatable(
    TimeGenerated:datetime,
    DeviceName:string,
    DeviceId:string,
    ActionType:string,
    FileName:string,
    FolderPath:string,
    ProcessId:long,
    ProcessCommandLine:string,
    ProcessIntegrityLevel:string,
    AccountName:string,
    AccountDomain:string,
    InitiatingProcessFileName:string,
    InitiatingProcessCommandLine:string,
    InitiatingProcessAccountName:string,
    InitiatingProcessAccountDomain:string
)
[
    // Record 1 – Azure CLI authentication and subscription context
    datetime(2026-03-05T09:23:15.445Z),
    "WIN-DESKTOP-CONTOSO-401",
    "d7e2f9c3a5b1e8d4c6f2",
    "ProcessCreated",
    "az.exe",
    @"C:\Program Files (x86)\Microsoft SDKs\Azure\CLI2\wbin\",
    4156,
    "az login",
    "Medium",
    "u1291",
    "contoso.onmicrosoft.com",
    "powershell.exe",
    "powershell.exe -Command az login",
    "u1291",
    "contoso.onmicrosoft.com",
    // Record 2 – AKS credential retrieval (kubectl context setup)
    datetime(2026-03-05T10:47:22.831Z),
    "WIN-DESKTOP-CONTOSO-502",
    "c3a4b8d2e7f1a5c9e6d4",
    "ProcessCreated",
    "az.exe",
    @"C:\Program Files (x86)\Microsoft SDKs\Azure\CLI2\wbin\",
    5843,
    "az aks get-credentials --resource-group rg-prod --name prod-aks-eastus",
    "Medium",
    "u3415",
    "contoso.onmicrosoft.com",
    "cmd.exe",
    "cmd.exe /c az aks get-credentials --resource-group rg-prod --name prod-aks-eastus",
    "u3415",
    "contoso.onmicrosoft.com",
    // Record 3 – Kubernetes workload inspection
    datetime(2026-03-05T11:52:09.567Z),
    "WIN-DESKTOP-CONTOSO-603",
    "b9c1d5e8f2a4c6d9e1f3",
    "ProcessCreated",
    "kubectl.exe",
    @"C:\Program Files\Kubernetes\",
    6521,
    "kubectl get pods -A",
    "High",
    "u2847",
    "contoso.onmicrosoft.com",
    "explorer.exe",
    "explorer.exe",
    "u2847",
    "contoso.onmicrosoft.com"
]

SecurityAlerts

KQL 작업에서 다음 쿼리를 사용하여 샘플 보안 경고를 Sentinel 데이터 레이크의 SecurityAlerts 테이블에 수집합니다.

datatable(
    TimeGenerated: datetime,
    DisplayName: string,
    AlertName: string,
    AlertSeverity: string,
    Description: string,
    ProviderName: string,
    VendorName: string,
    AlertType: string,
    ConfidenceLevel: string,
    IsIncident: bool,
    CompromisedEntity: string,
    ExtendedProperties: dynamic,
    Entities: dynamic,
    ProductName: string
)
[
    // AKS – malware execution blocked after privilege escalation activity
    datetime(2026-03-05T09:24:10Z),
    "Microsoft Defender for Cloud Kubernetes malware execution blocked",
    "Kubernetes malware execution blocked on node",
    "High",
    "Malware execution was detected and blocked on a Kubernetes node. The activity occurred shortly after privileged access and RBAC changes were performed on the cluster, increasing confidence of malicious intent.",
    "Azure Security Center",
    "Microsoft",
    "K8S.NODE_MalwareBlocked",
    "High",
    true,
    "prod-aks-eastus",
    dynamic({
        "ClusterName": "prod-aks-eastus",
        "Namespace": "prod",
        "NodeRole": "Worker",
        "DetectionSource": "microsoftDefenderForContainers",
        "SuspiciousActivity": "Malware execution in container runtime",
        "RelatedContext": "Recent ClusterAdmin access and RoleBinding creation detected"
    }),
    dynamic([
        {
            "Type": "KubernetesCluster",
            "Name": "prod-aks-eastus",
            "CloudPlatform": "Azure"
        },
        {
            "Type": "Host",
            "HostName": "prod-aks-eastus"
        }
    ]),
    "Azure Security Center",
    // AKS – binary drift blocked on vulnerable workload
    datetime(2026-03-05T11:51:58Z),
    "Microsoft Defender for Cloud Kubernetes binary drift blocked",
    "Kubernetes workload binary drift blocked",
    "Medium",
    "Execution of a workload binary that drifted from the original container image was detected and blocked. The affected workload resides in a production Kubernetes cluster and is associated with a workload previously accessed via kubectl exec.",
    "Azure Security Center",
    "Microsoft",
    "K8S.NODE_DriftBlocked",
    "Medium",
    true,
    "prod-aks-eastus",
    dynamic({
        "ClusterName": "prod-aks-eastus",
        "Namespace": "prod",
        "Workload": "ingress-controller",
        "DriftType": "Binary drift from image baseline",
        "DetectionSource": "microsoftDefenderForContainers"
    }),
    dynamic([
        {
            "Type": "KubernetesCluster",
            "Name": "prod-aks-eastus",
            "CloudPlatform": "Azure"
        },
        {
            "Type": "Host",
            "HostName": "prod-aks-eastus"
        }
    ]),
    "Azure Security Center"
];

SigninLogs

KQL 작업에서 다음 쿼리를 사용하여 Sentinel 데이터 레이크의 SigninLogs 테이블에 샘플 로그인 로그를 수집합니다.

datatable(
    TimeGenerated: datetime,
    UserPrincipalName: string,
    UserId: string,
    AppDisplayName: string,
    ClientAppUsed: string,
    AuthenticationRequirement: string,
    ConditionalAccessStatus: string,
    RiskLevelAggregated: string,
    RiskState: string,
    RiskDetail: string,
    Location: dynamic,
    IPAddress: string,
    DeviceDetail: dynamic,
    Status: dynamic
)
[
    // Normal sign-in from known device and location (baseline)
    datetime(2026-03-08T14:10:00Z),
    "u1291@contoso.onmicrosoft.com",
    "9214593d-65f8-43fd-c4a5-f80aty691141",
    "Microsoft Teams",
    "Browser",
    "singleFactorAuthentication",
    "success",
    "low",
    "none",
    "noRiskDetected",
    dynamic({"countryOrRegion":"US","state":"Texas","city":"Dallas"}),
    "20.81.45.10",
    dynamic({"deviceId":"device-jm-001","operatingSystem":"Windows 11","browser":"Edge","isCompliant":true,"isManaged":true}),
    dynamic({"errorCode":0,"failureReason":"None"}),
    // Identity drift: new device and new geographic location
    datetime(2026-03-08T14:18:00Z),
    "u1291@contoso.onmicrosoft.com",
    "9214593d-65f8-43fd-c4a5-f80aty691141",
    "Azure Portal",
    "Browser",
    "multiFactorAuthentication",
    "success",
    "medium",
    "atRisk",
    "newDevice",
    dynamic({"countryOrRegion":"Germany","state":"Berlin","city":"Berlin"}),
    "91.198.174.22",
    dynamic({"deviceId":"unknown","operatingSystem":"Linux","browser":"Chrome","isCompliant":false,"isManaged":false}),
    dynamic({"errorCode":0,"failureReason":"MFA required due to unfamiliar sign-in"}),
    // Identity drift: impossible travel detected
    datetime(2026-03-08T14:21:00Z),
    "u3415@contoso.onmicrosoft.com",
    "8214593d-75e8-4efd-c4a5-f80aty691131",
    "Microsoft 365",
    "Browser",
    "multiFactorAuthentication",
    "success",
    "high",
    "confirmedCompromised",
    "impossibleTravel",
    dynamic({"countryOrRegion":"China","state":"Beijing","city":"Beijing"}),
    "101.226.4.6",
    dynamic({"deviceId":"unknown","operatingSystem":"macOS","browser":"Safari","isCompliant":false,"isManaged":false}),
    dynamic({"errorCode":0,"failureReason":"Impossible travel detected"}),
    // Identity drift: sign-in blocked by Conditional Access
    datetime(2026-03-08T14:25:00Z),
    "u1291@contoso.onmicrosoft.com",
    "3214593d-65f8-53fd-c4a5-c80aty691441",
    "Azure DevOps",
    "Browser",
    "singleFactorAuthentication",
    "failure",
    "high",
    "atRisk",
    "anomalousToken",
    dynamic({"countryOrRegion":"Russia","state":"Moscow","city":"Moscow"}),
    "185.199.108.153",
    dynamic({"deviceId":"unknown","operatingSystem":"Windows 10","browser":"Firefox","isCompliant":false,"isManaged":false}),
    dynamic({"errorCode":53003,"failureReason":"Access blocked by Conditional Access policy"})
];

다음 단계

이제 데이터 레이크가 IdentityDrift, Microsoft Entra ID 및 Microsoft Defender의 샘플 원격 분석 데이터로 채워져 있습니다. 이 데이터를 사용하여 보안 Copilot 에이전트 테스트하고 개발합니다. Visual Studio Code MCP 도구 사용을 참조하여 Sentinel MCP Server 도구를 탐색하고 프롬프트를 사용하여 데이터를 쿼리합니다.

IdentityDrift용 Security Copilot 에이전트 사용 사례를 빌드하기 전에 다음 프롬프트를 사용하여 MCP 서버를 탐색하여 이 단계에서 수집된 샘플 데이터를 쿼리하여 Sentinel MCP를 사용하여 Sentinel 데이터 레이크에서 데이터를 쿼리하는 방법을 알아봅니다.

VS Code 채팅을 통해 Sentinel MCP에 대한 샘플 프롬프트:

• 내 작업 영역에서 "ID" 또는 "로그인"과 관련된 테이블을 검색합니다.
• DeviceProcessEvents_KQL_CL 사용자 u1291에 대한 프로세스 실행 이벤트를 보여 줍니다. 어떤 명령을 실행했나요?
• u1291@contoso.onmicrosoft.com에 대한 활동을 연관 분석합니다. SigninLogs_KQL_CL에서 로그인 위험을, CommonSecurity_ID_KQL_CL에서의 액세스를, 그리고 DeviceProcessEvents_KQL_CL에서 모든 프로세스 실행을 확인합니다. 공격 체인을 요약합니다.

Security Copilot 에이전트 구축으로 계속 진행