Определение архитектуры современного хранилища данных
Если говорить о шаблонах использования, применяемых сегодня клиентами для получения максимальной выгоды от данных, современное хранилище данных позволяет с легкостью объединить все ваши данные и получать аналитические сведения посредством информационных панелей аналитики, операционных отчетов или расширенной аналитики для пользователей.
Процесс создания современного хранилища данных обычно включает следующее:
- Прием и подготовка данных.
- Обеспечение готовности данных для использования средствами аналитики.
- предоставление доступа к данным в сформированном формате, чтобы их можно было легко использовать в средствах визуализации данных.
До Azure Synapse Analytics это достигалось бы следующим образом.
прием и подготовка данных;
В качестве основы клиенты создают озеро данных для хранения всех своих данных и различных типов данных с помощью Azure Data Lake Store 2-го поколения.
Для приема данных клиенты могут использовать свыше 100 соединителей для интеграции данных с Фабрикой данных Azure без необходимости написания кода. Фабрика данных позволяет клиентам выполнять операции обработки данных, включая подготовку и преобразование, без написания кода.
Предприятия, которые вложили значительные средства в пакеты SQL Server Integration Services (SSIS), могут использовать их без необходимости перезаписывать их в Фабрике данных Azure.
Независимо от того, являются ли данные локальным источником данных, находятся в других службах Azure или хранятся в других облачных службах, клиенты могут без проблем создавать и отслеживать конвейеры больших данных, а также управлять ими с помощью визуальной среды, которая проста в использовании.
Другой вариант подготовки данных — платформа Azure Databricks, которая позволяет сформировать форматы данных и подготовить их с помощью записных книжек, что делает внутреннюю совместную работу над данными более оптимизированной и эффективной.
Обеспечение готовности данных для использования средствами аналитики.
Основой современного хранилища данных и масштабируемого облачного решения для аналитики является Azure Synapse Analytics. В этом случае хранилище данных реализуется с помощью выделенного пула SQL, который использует механизм массовой параллельной обработки, чтобы объединить корпоративные хранилища данных и аналитику больших данных.
предоставление доступа к данным в сформированном формате, чтобы их можно было легко использовать в средствах визуализации данных.
Power BI позволяет клиентам визуализировать большие объемы данных и обеспечивает доступ к данным аналитики всем пользователям в организации. Power BI поддерживает огромный набор источников данных, запросы в которые можно отправлять в режиме реального времени или использовать для моделирования и приема для детального анализа и визуализации. Вместе с возможностями искусственного интеллекта вы получаете в свое распоряжение мощное средство для создания и развертывания информационных панелей на предприятии с помощью полнофункциональных визуализаций и таких функций, как запросы на естественном языке.
Определение современной архитектуры хранения данных с помощью Azure Synapse Analytics
С выпуском Azure Synapse Analytics появились варианты. Вы можете использовать только Azure Synapse, которая хорошо подходит для реализации принципиально новых проектов. Однако организации, которые уже вложились в Azure и используют Фабрику данных Azure, Azure Databricks и Power BI, могут воспользоваться гибридным подходом и объединить их все с помощью Azure Synapse Analytics.
Существует множество средств и методов, которые можно использовать для реализации различных этапов архитектуры современного хранилища данных. В этом модуле будут показаны примеры, в которых особое внимание уделяется компонентам Azure Synapse Analytics. Помимо того, что можно использовать другие технологии и службы, как показано выше, важно понимать, что можно также использовать и различные языки для приема данных, их очистки, преобразования и обслуживания. Эти языки могут включать SQL, Python и Scala. Все их можно использовать в Azure Synapse Analytics.