Что такое Azure Synapse Analytics?
Azure Synapse — это корпоративная служба аналитики, которая ускоряет извлечение аналитических сведений в разных хранилищах данных и системах больших данных. Azure Synapse сочетает в себе лучшие технологии SQL, используемые в корпоративных хранилищах данных, технологии Spark, используемые при работе с большими данными, Data Explorer для аналитики журналов и временных рядов, конвейеры для интеграции данных и их извлечения, преобразования и загрузки, а также возможности глубокой интеграции с другими службами Azure, такими как Power BI, CosmosDB и AzureML.
Ведущая в отрасли система SQL
Synapse SQL — это система распределенных запросов для T-SQL, которая поддерживает сценарии хранения и виртуализации данных, а также расширяет возможности T-SQL для реализации сценариев потовокой передачи и машинного обучения.
- Synapse SQL предлагает бессерверные модели и модели выделенных ресурсов. Для прогнозируемой производительности и затрат можно создавать выделенные пулы SQL, чтобы резервировать вычислительные мощности для данных, хранящихся в таблицах SQL. Для незапланированных или пакетных рабочих нагрузок используйте бессерверную конечную точку SQL, которая всегда доступна.
- Используйте встроенные возможности потоковой передачи для передачи данных из облачных источников данных в таблицы SQL.
- Объедините возможности искусственного интеллекта с SQL с помощью моделей машинного обучения для оценки данных с использованием функции T-SQL PREDICT.
Подсистема Apache Spark, являющаяся отраслевым стандартом
Решение Apache Spark для Azure Synapse плотно интегрировано с Apache Spark — самой популярной подсистемой обработки больших данных с открытым кодом. Она обеспечивает подготовку, инжиниринг, извлечение, преобразование и загрузку данных, а также машинное обучение.
- Модели машинного обучения с алгоритмами SparkML и интеграция Машинное обучение Azure для Apache Spark 3.1 с встроенной поддержкой Linux Foundation Delta Lake.
- Упрощенная модель ресурсов, которая освобождает вас от необходимости заниматься управлением кластерами.
- Быстрый запуск подсистемы Spark и быстрое автомасштабирование.
- Встроенная поддержка .NET для Spark, позволяющая использовать опыт работы с языком C# и существующий код .NET в приложении Spark.
Работа с Data Lake
Azure Synapse устраняет традиционные технологические барьеры, препятствующие совместному использованию SQL и Spark. Вы можете легко сочетать их в соответствии со своими потребностями и опытом.
- Таблицы, созданные на основе файлов в озере данных, поглощаются Spark или Hive.
- SQL и Spark могут напрямую изучать и анализировать файлы Parquet, CSV, TSV и JSON, хранящиеся в озере данных.
- Быстрая масштабируемая передача данных между базами данных SQL и Spark
Встроенная интеграция данных
Azure Synapse включает тот же механизм интеграции данных и возможности, что и Фабрика данных Azure. Это позволяет создавать многофункциональные конвейеры для извлечения, преобразования и загрузки данных в большом масштабе в самой службе Azure Synapse Analytics.
- Прием данных из более чем 90 источников.
- Извлечение, преобразование и загрузка без кода с помощью действий потока данных.
- Управление записными книжками, заданиями Spark, хранимыми процедурами, скриптами SQL и т. д.
Обозреватель данных (предварительная версия)
Azure Synapse Data Explorer предоставляет клиентам интерактивные запросы для разблокировки аналитических сведений из системных журналов. Чтобы дополнить существующие подсистемы среды выполнения SQL и Apache Spark analytics, среда выполнения Аналитики Data Explorer оптимизирована для эффективной аналитики журналов с помощью мощной технологии индексирования для автоматического индексирования свободных текстов и полуструктурированных данных, часто найденных в системных журналах.
Используйте Data Explorer как платформу данных для создания решений Log Analytics почти в реальном времени и аналитики IoT, чтобы получить следующие преимущества:
- Объединение и коррелирование данные журналов и событий в локальных, облачных и сторонних источниках данных.
- Ускорение AI Ops (распознавание шаблонов, обнаружение аномалий, прогнозирование и многое другое).
- Замена решений для поиска по журналам на основе инфраструктуры для снижения затрат и повышения производительности.
- Создание решения аналитики Интернет вещей для данных Интернета вещей.
- Создание аналитических решений SaaS для предоставления услуг внутренним и внешним клиентам.
Единая среда
Служба Synapse Studio предоставляет предприятиям единый способ создавать решения, поддерживать и обеспечивать безопасность в едином интерфейсе пользователя
- Выполнение ключевых задач: прием, исследование, подготовка, координация, визуализация
- Мониторинг ресурсов, использования и пользователей в SQL, Spark и Data Explorer
- Использование функции контроля доступа на основе ролей для упрощения доступа к ресурсам аналитики
- Написание кода SQL, Spark или KQL и интеграция с корпоративными процессами CI/CD
Присоединяйтесь к сообществу Synapse
- Microsoft Q&A: технические вопросы.
- Stack Overflow: вопросы по разработке.