Migrando para o Azure Data Explorer
Observação
O serviço TSI (Time Series Insights) não terá mais suporte após março de 2025. Considere migrar os ambientes existentes do TSI para soluções alternativas assim que possível. Para obter mais informações sobre a substituição e a migração, visite nossa documentação.
Visão geral
Time Series Insights o serviço (TSI) fornece acesso a dados históricos ingeridos por meio de hubs para análise operacional e relatórios. Recursos de serviço são:
- Ingestão de dados por meio de hubs ou capacidade de upload em massa.
- Armazenamento de dados em Hot, retenção limitada e caminhos de retenção infinitas e frios.
- Contextualização de dados aplicando hierarquias por meio do modelo de série temporal.
- Gráfico de dados e análise operacional por meio do Gerenciador de TSI.
- Consulta de dados usando TSQ por meio de API ou do Gerenciador de TSI.
- Conectores para acessar dados com o Databricks Spark ou PBI.
Comparação de recursos com o Azure Data Explorer (ADX)
| Recurso | TSI | ADX |
|---|---|---|
| Ingestão de dados | Hubs de Eventos, Hub IoT limitado a 1 MB/s | Hubs de eventos, Hub IoT, Kafka, Spark, armazenamento do Azure, Azure Stream Analytics, Azure Data Factory, Logstash, automação de energia, aplicativos lógicos, Telegraf, Apache NIFI. Sem limites de ingestão (escalonável), o parâmetro de comparação de ingestão é 200 MB/s/nó em um computador com 16 núcleos no cluster ADX. |
| Armazenamento e retenção de dados | Armazenamento inesperado – cluster ADX multilocatário | Armazenamento frio-armazenamento de BLOBs do Azure no repositório de colunas distribuídas da assinatura do cliente com quente altamente otimizado (no SSD de nós de computação) e armazenamento frio (no armazenamento do Azure). Escolha qualquer SKU do ADX para ter flexibilidade total |
| Formatos de dados | JSON | JSON, CSV, Avro, parquet, ORC, TXT e vários outros formatos de dados com suporte pelo Azure Data Explorer para ingestão. |
| Consultas de dados | TSQ | KQL, SQL |
| Visualização de dados | Explorer do TSI | PBI, ADX dashboards, Grafana, Kibana e outras ferramentas de visualização usando conectores ODBC/JDBC |
| Machine Learning | NA | Dá suporte a R, Python para criar modelos de ML ou pontuar dados exportando modelos de ML existentes. Recursos nativos para previsão. API de Detecção de Anomalias. Recursos de clustering para diagnóstico e RCA |
| Conector PBI | Versão prévia pública | O conector PBI nativo otimizado (GA), dá suporte ao modo de consulta direta ou de importação, dá suporte a filtros e parâmetros de consulta |
| Exportação de Dados | Os dados estão disponíveis como arquivos parquet no armazenamento de BLOBs | Dá suporte à exportação contínua automática para o armazenamento do Azure, tabelas externas para consultar dados exportados |
| HA/DR | Armazenamento pertence ao cliente, portanto, depende da configuração selecionada. | SLA de HA de 99,9% de disponibilidade, AZ com suporte, Armazenamento baseia-se no armazenamento de blobs do Azure durável |
| Segurança | Link privado para tráfego de entrada, mas aberto para armazenamento e hubs | Injeção de VNet, Link Privado, Criptografia em repouso com chaves gerenciadas pelo cliente com suporte |
| Função RBAC e RLS | Função RBAC limitada, sem RLS | Função de RBAC granular para funções e acesso a dados, RLS e máscara de dados com suporte |
Migração de TSI para ADX etapas
O TSI tem duas ofertas, Gen1 e Gen2, que têm etapas de migração diferentes.
TSI Gen1
O TSI Gen1 não tem capacidade de armazenamento ou de hierarquia frio. Todos os dados têm retenção fixa. A extração de dados e o mapeamento para ADX seria complicado e demorada para desenvolvedores de TSI e o cliente. O caminho de migração de sugestão é configurar a ingestão de dados paralelos para ADX. Depois que o período de retenção de dados fixo passar, o ambiente de TSI pode ser excluído, pois ADX conterá os mesmos dados.
- Criar cluster ADX
- Configurar a ingestão paralela de hubs para o cluster ADX
- Continuar ingerindo dados para o período de retenção fixa
- Começar a usar o cluster ADX
- Criar Ambiente de TSI
As perguntas frequentes detalhadas e a experiência de engenharia são descritas em como migrar Gen1 TSI para ADX
TSI Gen2
O TSI Gen2 armazena todos os dados no armazenamento frio usando o formato parquet como um blob na assinatura do cliente. Para migrar o cliente de dados, o deve pegar o blob e importá-lo para ADX usando a iluminação de capacidade de carregamento em massa. Mais informações sobre a iluminação podem ser financiadas aqui.
- Criar cluster ADX
- Redirecionar a ingestão de dados para o cluster ADX
- Importar dados frios de TSI usando a iluminação
- Começar a usar o cluster ADX
- Criar Ambiente de TSI
As perguntas frequentes detalhadas e a experiência de engenharia são descritas em como migrar Gen2 TSI para ADX
Observação
Se não for possível migrar para Time Series Insights para o Azure Data Explorer em 31 de março de 2025, seus recursos de Time Series Insights serão excluídos automaticamente. Você poderá acessar os dados do Gen2 em sua conta de armazenamento. No entanto, você só poderá executar operações de gerenciamento (como atualizar as configurações da conta de armazenamento, obter as propriedades/chaves da conta de armazenamento e excluir contas de armazenamento) por meio de Azure Resource Manager. Para dados do Gen1, se você tiver um plano de suporte, crie um tíquete de suporte para recuperar os dados do Gen1. Manteremos seus dados do Gen1 até 30 de abril de 2025.