Миграция в Azure Data Explorer
Примечание
Служба "Аналитика временных рядов" (TSI) больше не будет поддерживаться после марта 2025 г. Рассмотрите возможность переноса существующих сред TSI на альтернативные решения как можно скорее. Дополнительные сведения о прекращении поддержки и миграции см. в нашей документации.
Обзор
Служба "Аналитика временных рядов" (TSI) предоставляет доступ к историческим данным, которые передаются через концентраторы для операционной аналитики и создания отчетов. Функции службы:
- Прием данных через концентраторы или возможность массовой отправки.
- Хранение данных по горячим, ограниченным и холодным, бесконечным путям хранения.
- Контекстуализация данных с применением иерархий через модель временных рядов.
- Создание диаграмм и операционный анализ данных с помощью обозревателя TSI.
- Запрос данных с помощью TSQ через API или обозреватель TSI.
- Соединители для доступа к данным с помощью Databricks Spark или PBI.
Сравнение функций с Azure Data Explorer (ADX)
| Компонент | TSI | ADX |
|---|---|---|
| Прием данных | Центры событий, Центр Интернета вещей с ограничением до 1 МБ/с | Центры событий, Центр Интернета вещей, Kafka, Spark, служба хранилища Azure, Azure Stream Analytics, Фабрика данных Azure, Logstash, Power Automate, приложения логики, Telegraf, Apache Nifi. Нет ограничений на прием (масштабируемый), производительность приема составляет 200 МБ/с/узел на 16-ядерном компьютере в кластере ADX. |
| Хранение и период удержания данных | Теплое хранилище — мультитенантный кластер ADX | Холодное хранилище — хранилище BLOB-объектов Azure в подписке клиента Распределенное хранилище столбцов с высоко оптимизированными горячими (на SSD вычислительных узлов) и холодным хранилищем (в хранилище Azure). Выберите любой номер SKU ADX, чтобы обеспечить полную гибкость |
| Форматы данных | JSON | JSON, CSV, Avro, Parquet, ORC, TXT и другие форматы данных, поддерживаемые Azure Data Explorer для приема. |
| Запрос данных | TSQ | KQL, SQL |
| Визуализация данных | Обозреватель TSI, PBI | Панели мониторинга PBI, ADX, Grafana, Kibana и другие средства визуализации с помощью соединителей ODBC/JDBC |
| Машинное обучение | Н/Д | Поддерживает R и Python для создания моделей машинного обучения или оценки данных путем экспорта существующих моделей машинного обучения. Собственные возможности прогнозирования. Обнаружение аномалий в большом масштабе. Возможности кластеризации для диагностики и RCA |
| Соединитель PBI | Общедоступная предварительная версия | Оптимизированный собственный соединитель PBI (GA), поддерживает режим прямого запроса или импорта, поддерживает параметры запроса и фильтры. |
| Экспорт данных | Данные доступны в виде файлов Parquet в хранилище BLOB-объектов | Поддерживает автоматический непрерывный экспорт в хранилище Azure, внешние таблицы для запроса экспортированных данных |
| Высокий уровень доступности и аварийное восстановление | Хранилище принадлежит клиенту, поэтому зависит от выбранной конфигурации. | Соглашение об уровне обслуживания с высоким уровнем доступности на уровне 99,9 %, поддерживается az, хранилище основано на устойчивом хранилище BLOB-объектов Azure |
| Безопасность | Приватный канал для входящего трафика, но открытый для хранилища и концентраторов | Поддерживается внедрение виртуальных сетей, Приватный канал, шифрование неактивных данных с помощью ключей, управляемых клиентом |
| Роль RBAC и RLS | Ограниченная роль RBAC, без RLS | Детальная роль RBAC для функций и доступа к данным, поддерживаемые RLS и маскирование данных |
Этапы миграции TSI в ADX
В TSI есть два предложения, 1-го и 2-го поколения, которые имеют разные этапы миграции.
TSI поколения 1
В TSI поколения 1 нет возможностей автономного неструктурированного защищенного хранилища или иерархии. Все данные имеют фиксированный период удержания. Извлечение данных и их сопоставление с ADX — это сложная и трудоемкая задача для разработчиков TSI и клиентов. Рекомендуемый путь миграции — настроить параллельный прием данных в ADX. После прохождения фиксированного периода хранения данных среду TSI можно удалить, так как ADX будет содержать те же данные.
- Создание кластера ADX
- Настройка параллельного приема данных из концентраторов в кластер ADX
- Продолжайте прием данных в течение фиксированного периода хранения
- Начните работу с кластером ADX
- Удаление среды TSI
Подробные вопросы и ответы и опыт проектирования описаны в статье Как перенести TSI 1-го поколения в ADX.
TSI поколения 2
TSI 2-го поколения сохраняет все данные в холодном хранилище, используя формат Parquet в качестве большого двоичного объекта в подписке клиента. Чтобы перенести данные клиента, следует взять большой двоичный объект и импортировать его в ADX с помощью функции массовой отправки Lightingest. Дополнительные сведения об освещении можно финансировать здесь.
- Создание кластера ADX
- Перенаправление приема данных в кластер ADX
- Импорт холодных данных TSI с помощью функции освещения
- Начните работу с кластером ADX
- Удаление среды TSI
Подробные вопросы и ответы и опыт проектирования см. в статье Как перенести TSI 2-го поколения в ADX.
Примечание
Если к 31 марта 2025 г. не удается выполнить миграцию в Службу "Аналитика временных рядов" в Azure Data Explorer, ресурсы службы "Аналитика временных рядов" будут автоматически удалены. Вы сможете получить доступ к данным 2-го поколения в учетной записи хранения. Однако вы сможете выполнять операции управления (такие как обновление параметров учетной записи хранения, получение свойств и ключей учетной записи хранения и удаление учетных записей хранения) только через azure Resource Manager. Если у вас есть план поддержки для данных 1-го поколения, создайте запрос в службу поддержки, чтобы получить данные 1-го поколения. Мы будем хранить ваши данные 1-го поколения до 30 апреля 2025 г.