Migration vers Azure Data Explorer
Notes
Le service Time Series Insights (TSI) ne sera plus pris en charge après le mois de mars 2025. Pensez à migrer dès que possible les environnements TSI existants vers d’autres solutions. Pour plus d’informations sur la dépréciation et la migration, consultez notre documentation.
Vue d’ensemble
Le service Time Series Insights (TSI) fournit un accès aux données historiques ingérées via des hubs pour l’analytique opérationnelle et la création de rapports. Les fonctionnalités du service sont les suivantes :
- Ingestion de données via des hubs ou une fonctionnalité de chargement en bloc.
- Stockage de données sur des chemins chauds (conservation limitée) et froids (conservation infinie).
- Contextualisation de données appliquant des hiérarchies via un modèle de série chronologique.
- Graphique de données et analyse opérationnelle via l’Explorateur TSI.
- Requête de données à l’aide de TSQ via une API ou l’Explorateur TSI.
- Connecteurs pour accéder aux données avec Databricks Spark ou PBI.
Comparaison des fonctionnalités avec Azure Data Explorer (ADX)
| Fonctionnalité | TSI | ADX |
|---|---|---|
| Ingestion de données | Event Hubs, hub IoT limité à 1 Mo/s | Event Hubs, IoT Hub, Kafka, Spark, Stockage Azure, Azure Stream Analytics, Azure Data Factory, Logstash, Power Automate, Logic Apps, Telegraf, Apache Nifi. Aucune limite d’ingestion (évolutive), le point de référence d’ingestion est de 200 Mo/s/nœud sur une machine à 16 cœurs dans un cluster ADX. |
| Stockage et conservation des données | Magasin chaud – cluster ADX mutualisé | Magasin froid - Stockage Blob Azure dans un magasin en colonnes distribué d’abonnement du client avec un magasin chaud hautement optimisé (sur SSD de nœuds de calcul) et magasin froid (sur Stockage Azure). Choisissez une référence (SKU) ADX pour une flexibilité totale |
| Formats de données | JSON | JSON, CSV, Avro, parquet, ORC, TXT et divers autres formats de données pris en charge par Azure Data Explorer pour l’ingestion. |
| Interrogation de données | TSQ | KQL, SQL |
| Visualisation des données | Explorateur TSI PBI | PBI, tableaux de bord ADX, Grafana, Kibana et autres outils de visualisation utilisant des connecteurs ODBC/JDBC |
| Machine Learning | N/D | Prend en charge R, Python pour générer des modèles ML ou noter des données en exportant les modèles ML existants. Fonctionnalités natives pour les prévisions. Détection d’anomalies à grande échelle. Fonctionnalités de clustering pour les diagnostics et RCA |
| Connecteur PBI | Préversion publique | Connecteur PBI natif optimisé (généralement disponible), prend en charge le mode requête directe ou importation, prend en charge des paramètres et filtres de requête. |
| Exportation de données | Les données sont disponibles en tant que fichiers Parquet dans le stockage d’objets blob | Prend en charge l’exportation continue automatique vers le stockage Azure, tables externes pour interroger les données exportées |
| Haute disponibilité/Reprise d’activité | Le stockage appartient au client et dépend donc de la configuration sélectionnée. | Contrat SLA HA garantissant une disponibilité de 99,9%, AZ pris en charge, Stockage reposant sur un Stockage Blob Azure durable |
| Sécurité | Liaison privée pour le trafic entrant, mais ouverte pour le stockage et les hubs | Injection de réseau virtuel, Private Link, Chiffrement au repos avec prise en charge des clés gérées par le client |
| Rôle RBAC et RLS | Rôle RBAC limité, pas de RLS | Rôle RBAC granulaire pour les fonctions et l’accès aux données, RLS et masquage des données pris en charge |
Étapes de migration de TSI vers ADX
TSI propose deux offres, Gen1 et Gen2, dont les étapes de migration diffèrent.
TSI Gen1
TSI Gen1 n’a pas de capacité de stockage froid ou de hiérarchie. Toutes les données ont une durée de conservation fixe. L’extraction de données et leur mappage à ADX seraient des tâches complexes et fastidieuses pour les développeurs de TSI et le client. Une suggestion de chemin de migration est de configurer une ingestion de données parallèle dans ADX. À l’issue de la période fixe de conservation des données, l’environnement TSI peut être supprimé, car ADX contient les mêmes données.
- Créer un cluster ADX
- Configurer une ingestion parallèle à partir des hubs vers un cluster ADX
- Continuer l’ingestion de données pendant la période de conservation fixe
- Commencer à utiliser un cluster ADX
- Supprimer l’environnement TSI
Un FAQ détaillé et l’expérience d’ingénierie sont décrits dans Comment migrer TSI Gen1 vers ADX
TSI Gen2
TSI Gen2 stocke toutes les données sur un stockage froid en utilisant le format Parquet comme blob dans l’abonnement du client. Pour migrer des données, le client doit prendre le blob et l’importer dans ADX à l’aide de la fonctionnalité de chargement en bloc Lightingest. Vous trouverez des informations supplémentaires sur Lightingest ici.
- Créer un cluster ADX
- Rediriger l’ingestion des données vers un cluster ADX
- Importer des données froides de TSI à l’aide de Lightingest
- Commencer à utiliser un cluster ADX
- Supprimer l’environnement TSI
Un FAQ détaillé et l’expérience d’ingénierie sont décrits dans Comment migrer TSI Gen2 vers ADX
Notes
Si vous ne parvenez pas à migrer Time Series Insights vers Azure Data Explorer avant le 31 mars 2025, vos ressources Time Series Insights seront automatiquement supprimées. Vous pourrez accéder aux données Gen2 dans votre compte de stockage. Toutefois, vous ne pourrez effectuer les opérations de gestion (telles que la mise à jour des paramètres de compte de stockage, l’obtention de propriétés/clés de compte de stockage et la suppression de comptes de stockage) que via Azure Resource Manager. Pour les données Gen1, si vous disposez d’un plan de support, veuillez créer un ticket de support pour récupérer vos données Gen1. Nous conserverons vos données Gen1 jusqu’au 30 avril 2025.