Azure Data Explorer로 마이그레이션
참고
TSI(Time Series Insights) 서비스는 2025년 3월 이후에 더 이상 지원되지 않습니다. 가능한 한 빨리 기존 TSI 환경을 대체 솔루션으로 마이그레이션하는 것을 고려합니다. 사용 중단 및 마이그레이션에 대한 자세한 내용은 설명서를 참조하세요.
개요
TSI(Time Series Insights) 서비스는 운영 분석 및 보고를 위해 허브를 통해 수집된 기록 데이터에 대한 액세스를 제공합니다. 서비스 기능은 다음과 같습니다.
- 허브 또는 대량 업로드 기능을 통한 데이터 수집
- 핫, 제한된 보존 및 콜드, 무한 보존, 경로에 대한 데이터 스토리지
- 시계열 모델을 통해 계층 구조를 적용하는 데이터 컨텍스트화
- TSI 탐색기를 통한 데이터 차트 및 운영 분석
- API 또는 TSI 탐색기를 통해 TSQ를 사용하는 데이터 쿼리
- Databricks Spark 또는 PBI를 사용하여 데이터에 액세스하는 커넥터
ADX(Azure Data Explorer)와 기능 비교
| 기능 | TSI | ADX |
|---|---|---|
| 데이터 수집 | Event Hubs, IoT 허브가 1MB/s로 제한됨 | Event Hubs, IoT 허브, Kafka, Spark, Azure Storage, Azure Stream Analytics, Azure Data Factory, Logstash, Power automate, Logic apps, Telegraf, Apache Nifi 수집(확장 가능)에 제한이 없음, 수집 벤치마크는 ADX 클러스터의 16개 코어 컴퓨터에서 노드당 200MB/s입니다. |
| 데이터 스토리지 및 처리 | 웜 저장소 – 다중 테넌트 ADX 클러스터 | 콜드 저장소 - 고도로 최적화된 핫(컴퓨팅 노드의 SSD) 및 콜드(Azure Storage의 경우) 저장소를 사용하는 고객의 구독 분산 열 형식 저장소에 있는 Azure Blob Storage. 모든 ADX SKU를 선택하므로 완전한 유연성 |
| 데이터 형식 | JSON | JSON, CSV, Avro, Parquet, ORC, TXT 및 기타 다양한 데이터 형식이 수집을 위해 Azure Data Explorer에서 지원됩니다. |
| 데이터 쿼리 | TSQ | KQL, SQL |
| 데이터 시각화 | TSI 탐색기, PBI | PBI, ADX 대시보드, Grafana, Kibana 및 ODBC/JDBC 커넥터를 사용하는 기타 시각화 도구 |
| Machine Learning | 해당 없음 | R, Python을 지원하여 ML 모델을 빌드하거나 기존 ML 모델을 내보내 데이터 점수를 매깁니다. 예측을 위한 네이티브 기능. 대규모 변칙 검색. 진단 및 RCA를 위한 클러스터링 기능 |
| PBI 커넥터 | 퍼블릭 미리 보기 | 최적화된 네이티브 PBI 커넥터(GA)는 직접 쿼리 또는 가져오기 모드를 지원하고 쿼리 매개 변수 및 필터를 지원합니다. |
| 데이터 내보내기 | 데이터는 Blob Storage에서 Parquet 파일로 사용 가능 | Azure Storage로 자동 연속 내보내기 지원, 내보낸 데이터를 쿼리하기 위한 외부 테이블 |
| HA/DR | 스토리지는 고객이 소유하므로 선택한 구성에 따라 달라짐 | 99.9% 가용성의 HA SLA, AZ 지원, 스토리지는 내구성이 뛰어난 Azure Blob Storage를 기반으로 합니다. |
| 보안 | 들어오는 트래픽에 대한 프라이빗 링크이지만 스토리지 및 허브에 대해 열려 있음 | VNet 삽입, Private Link, 고객 관리형 키를 사용한 미사용 데이터 암호화 지원 |
| RBAC 역할 및 RLS | 제한된 RBAC 역할, RLS 없음 | 함수 및 데이터 액세스를 위한 세분화된 RBAC 역할, RLS 및 데이터 마스킹 지원 |
ADX로 TSI 마이그레이션 단계
TSI에는 서로 다른 마이그레이션 단계가 있는 Gen1 및 Gen2의 두 가지 제품이 있습니다.
TSI Gen1
TSI Gen1에는 콜드 스토리지 또는 계층 구조 기능이 없습니다. 모든 데이터에 고정 보존이 있습니다. 데이터를 추출하고 ADX에 매핑하는 것은 TSI 개발자와 고객에게 복잡하고 시간이 많이 소요되는 작업입니다. 제안된 마이그레이션 경로는 ADX에 대한 병렬 데이터 수집을 설정하는 것입니다. 고정된 데이터 보존 기간이 지나면 ADX에 동일한 데이터가 포함되어 있으므로 TSI 환경을 삭제할 수 있습니다.
- ADX 클러스터 만들기
- 허브에서 ADX 클러스터로 병렬 수집 설정
- 고정 보존 기간 동안 데이터 계속 수집
- ADX 클러스터 사용 시작
- TSI 환경 삭제
자세한 FAQ 및 엔지니어링 환경은 TSI Gen1을 ADX로 마이그레이션하는 방법에 설명되어 있습니다.
TSI Gen2
TSI Gen2는 고객 구독에서 Parquet 형식을 Blob으로 사용하여 콜드 스토리지에 데이터를 저장합니다. 데이터 고객을 마이그레이션하려면 Blob을 가져와서 대량 업로드 기능인 Lightingest를 사용하여 ADX로 가져와야 합니다. Lightingest에 대한 자세한 내용은 여기에서 확인할 수 있습니다.
- ADX 클러스터 만들기
- 데이터 수집을 ADX 클러스터로 리디렉션
- Lightingest를 사용하여 TSI 콜드 데이터 가져오기
- ADX 클러스터 사용 시작
- TSI 환경 삭제
자세한 FAQ 및 엔지니어링 환경은 TSI Gen2를 ADX로 마이그레이션하는 방법에 설명되어 있습니다.
참고
2025년 3월 31일까지 Time Series Insights를 Azure Data Explorer 마이그레이션할 수 없는 경우 Time Series Insights 리소스가 자동으로 삭제됩니다. 스토리지 계정의 Gen2 데이터에 액세스할 수 있습니다. 그러나 Azure Resource Manager를 통해 관리 작업(예: 스토리지 계정 설정 업데이트, 스토리지 계정 속성/키 가져오기 및 스토리지 계정 삭제)만 수행할 수 있습니다. Gen1 데이터의 지원 계획이 있는 경우 Gen1 데이터를 검색하는 지원 티켓을 만드세요. Gen1 데이터는 2025년 4월 30일까지 유지됩니다.