Migrar para o Azure Data Explorer
Nota
O serviço Time Series Insights (TSI) deixará de ser suportado após março de 2025. Considere migrar ambientes TSI existentes para soluções alternativas o mais rapidamente possível. Para obter mais informações sobre a preterição e migração, visite a nossa documentação.
Descrição Geral
O serviço Time Series Insights (TSI) fornece acesso a dados históricos ingeridos através de hubs para análise operacional e relatórios. As funcionalidades do serviço são:
- Ingestão de dados através de hubs ou capacidade de carregamento em massa.
- Armazenamento de dados em retenção frequente, limitada e retenção fria e infinita, caminhos.
- Contextualização de dados que aplica hierarquias através do Modelo de Série Temporal.
- Gráfico de dados e análise operacional através do Explorador de TSI.
- Consulta de dados com o TSQ através da API ou do Explorador de TSI.
- Conectores para aceder a dados com o Databricks Spark ou PBI.
Comparação de Funcionalidades com o Azure Data Explorer (ADX)
| Funcionalidade | TSI | ADX |
|---|---|---|
| Ingestão de dados | Hubs de Eventos, hub IoT limitado a 1 MB/s | Hubs de Eventos, Hub IoT, Kafka, Spark, armazenamento do Azure, Azure Stream Analytics, Azure Data Factory, Logstash, Power automate, Logic Apps, Telegraf, Apache Nifi. Sem limites de ingestão (dimensionável), a referência de ingestão é de 200 MB/s/nó numa máquina de 16 núcleos no cluster do ADX. |
| Armazenamento e retenção de dados | Arquivo quente – Cluster ADX multi-inquilino | Arquivo Frio – armazenamento de Blobs do Azure na subscrição do cliente Armazenamento de colunas distribuído com armazenamento de colunas altamente otimizado (em SSD de nós de computação) e arquivo de frio (no armazenamento do Azure). Escolha qualquer SKU do ADX de modo a ter toda a flexibilidade |
| Formatos de dados | JSON | JSON, CSV, Avro, Parquet, ORC, TXT e vários outros Formatos de dados suportados pelo Azure Data Explorer para ingestão. |
| Consulta de Dados | TSQ | KQL, SQL |
| Visualização de Dados | TSI Explorer, PBI | PBI, Dashboards do ADX, Grafana, Kibana e outras ferramentas de visualização com conectores ODBC/JDBC |
| Machine Learning | ND | Suporta R, Python para criar modelos de ML ou classificar dados ao exportar modelos de ML existentes. Capacidades nativas para previsão. Deteção de anomalias em escala. Capacidades de clustering para diagnósticos e RCA |
| Conector PBI | Pré-visualização pública | Conector PBI nativo otimizado(GA), suporta consulta direta ou modo de importação, suporta parâmetros de consulta e filtros |
| Exportação de Dados | Os dados estão disponíveis como ficheiros Parquet no armazenamento de BLOB | Suporta a exportação contínua automática para o armazenamento do Azure, tabelas externas para consultar dados exportados |
| HA/DR | O armazenamento pertence ao cliente, pelo que depende da configuração selecionada. | SLA HA de 99,9% de disponibilidade, AZ suportado, Armazenamento incorporado no armazenamento de Blobs do Azure durável |
| Segurança | Ligação privada para tráfego de entrada, mas aberta para armazenamento e hubs | Injeção de VNet, Private Link, Encriptação inativa com chaves geridas pelo cliente suportadas |
| Função RBAC e RLS | Função RBAC limitada, sem RLS | Função RBAC granular para funções e acesso a dados, RLS e máscara de dados suportada |
Passos da Migração do TSI para o ADX
O TSI tem duas ofertas, Gen1 e Gen2, que têm passos de migração diferentes.
TSI Gen1
O TSI Gen1 não tem funcionalidade de hierarquia ou armazenamento amovível. Todos os dados têm retenção fixa. Extrair dados e mapeá-lo para o ADX seria uma tarefa complicada e morosa para programadores de TSI e para o cliente. O caminho de migração de sugestões é configurar a ingestão de dados paralelos para o ADX. Após o período de retenção de dados fixos, o ambiente TSI pode ser eliminado, uma vez que o ADX irá conter os mesmos dados.
- Criar Cluster do ADX
- Configurar a ingestão paralela dos hubs para o Cluster do ADX
- Continuar a ingerir dados para o período de retenção fixa
- Começar a utilizar o Cluster do ADX
- Eliminar ambiente TSI
As FAQ detalhadas e a experiência de engenharia estão descritas em Como migrar o TSI Gen1 para o ADX
TSI Gen2
O TSI Gen2 armazena todos os dados no armazenamento a frio com o formato Parquet como um blob na subscrição do cliente. Para migrar o cliente de dados, deve pegar no blob e importá-lo para o ADX com a capacidade de carregamento em massa Lightingest. Mais informações sobre iluminação podem ser fundos aqui.
- Criar Cluster do ADX
- Redirecionar a ingestão de dados para o Cluster do ADX
- Importar dados de frio TSI com iluminação
- Começar a utilizar o Cluster do ADX
- Eliminar Ambiente TSI
As FAQ detalhadas e a experiência de engenharia estão descritas em Como migrar o TSI Gen2 para o ADX
Nota
Se não conseguir migrar para o Time Series Insights para o Azure Data Explorer até 31 de março de 2025, os recursos do Time Series Insights serão eliminados automaticamente. Poderá aceder aos dados gen2 na sua conta de armazenamento. No entanto, só poderá realizar operações de gestão (como atualizar as definições da conta de armazenamento, obter propriedades/chaves da conta de armazenamento e eliminar contas de armazenamento) através do Azure Resource Manager. Para dados gen1, se tiver um plano de suporte, crie um pedido de suporte para obter os seus dados gen1. Manteremos os seus dados da Gen1 até 30 de abril de 2025.