Общие сведения об аналитике в масштабе облака

  • Статья

Аналитика в масштабе облака основана на целевых зонах Azure для упрощения развертывания и управления. Цель целевой зоны Azure main заключается в том, чтобы при посадке приложения или рабочей нагрузки в Azure уже была создана необходимая инфраструктура. Перед развертыванием целевой зоны аналитики облачного масштаба необходимо уже установить одну или несколько целевых зон Azure. Корпорация Майкрософт предоставляет примеры шаблонов, которые можно использовать для развертывания data lakehouse и сетки данных . Эти шаблоны обеспечивают гибкость и соответствуют требованиям безопасности и управления.

Оценка аналитики в масштабе облака

Часто бизнес ищет ясность или предписывающее руководство, прежде чем начать вырезать технические сведения для конкретного варианта использования, проекта или комплексной аналитики облачного масштаба. Поскольку компания формулирует свою общую стратегию обработки данных, может быть сложно убедиться, что она учитывает все стратегические и необходимые принципы в область текущего использования.

Чтобы ускорить доставку этой комплексной аналитики, учитывая эти проблемы, корпорация Майкрософт разработала предписывающий сценарий для облачной аналитики. Он соответствует ключевым темам, рассмотренным в статье Разработка плана для аналитики в масштабе облака.

Аналитика в масштабе облака основана на microsoft Cloud Adoption Framework при применении объектива Microsoft Azure Well-Architected Framework. Microsoft Cloud Adoption Framework предоставляет руководство и рекомендации по работе с облачными моделями, эталонной архитектурой и шаблонами платформ. Эти рекомендации основаны на результатах реальных исследований самых сложных и тщательно продуманных сред.

Аналитика в масштабе облака позволяет клиентам создавать и вводить в эксплуатацию целевые зоны для размещения и запуска рабочих нагрузок аналитики. Целевые зоны создаются с учетом базовых принципов безопасности, управления и соответствия требованиям. Они могут быть масштабируемыми и модульными, поддерживая при этом автономность и инновации.

История архитектуры данных

В конце 1980-х годов появилось хранилище данных 1-го поколения, которое объединило разрозненные источники данных со всего предприятия. В конце 2000-х годов появилось 2-е поколение с появлением экосистем больших данных, таких как Hadoop и data lake. В середине 2010-х годов была облачная платформа данных. Это было похоже на предыдущие поколения, но с внедрением потокового приема данных, таких как каппа или лямбда-архитектуры. В начале 20-х годов этого века были представлены концепции хранилища данных lakehouse, сетки данных, матрицы данных и операционных шаблонов на основе данных.

Несмотря на эти достижения, многие организации по-прежнему используют централизованную монолитную платформу поколения 1. Такие системы хорошо справляются со своими задачами. До определенного момента. Однако узкие места могут возникать из-за взаимозависимых процессов, тесно связанных компонентов и гиперспециализированных команд. Задания извлечения, преобразования и загрузки (ETL) могут стать заметными и замедлить сроки доставки.

Хранилище данных и озеро данных по-прежнему являются ценными и играют важную роль в общей архитектуре. В следующей документации мы выделили некоторые проблемы, которые могут возникнуть при использовании этих традиционных методик для масштабирования. Эти проблемы особенно актуальны в сложной организации, где изменяются источники данных, требования, команды и выходные данные.

Переход на аналитику в масштабе облака

Текущая архитектура аналитических данных и операционная модель могут включать в себя хранилища данных, озера данных и структуры data lakehouse или даже новые модели, такие как структура данных или сетка данных.

Каждая модель данных имеет свои преимущества и проблемы. Аналитика в масштабе облака помогает перейти к текущей настройке, чтобы изменить подход к управлению данными, чтобы он смог развиваться вместе с вашей инфраструктурой.

Вы можете поддерживать любую платформу данных и сценарии для создания комплексной платформы аналитики в масштабе облака, которая служит основой для масштабирования.

Современная платформа данных и требуемые результаты

Одной из первых областей является активация стратегии обработки данных для решения проблем путем итеративного создания масштабируемой и гибкой современной платформы данных.

Современная платформа данных не перегружена запросами на обслуживание и пытается удовлетворить конкурирующие бизнес-потребности, она позволяет вам играть более важную роль, освобождая время, чтобы сосредоточиться на более ценных работах. Вы предоставляете бизнес-направления с платформой и системами для самостоятельного обслуживания данных и аналитических потребностей.

Ниже приведены рекомендуемые области первоначального внимания.

  • Повышение качества данных, упрощение доверия и получение аналитических сведений для принятия бизнес-решений на основе данных.

  • Органично реализуйте целостные данные, управление и аналитику в масштабе всей организации.

  • Создайте надежное управление данными, которое обеспечивает самообслуживание и гибкость для бизнес-направлений.

  • Обеспечение соответствия требованиям безопасности и законодательства в полностью интегрированной среде.

  • Быстро создайте основу для расширенных возможностей аналитики с помощью встроенного решения с хорошо спроектированными, повторяемыми модульными шаблонами.

Управление аналитическим пространством

Второй аспект — определить, как организация реализует управление данными.

Управление данными позволяет гарантировать, что данные, используемые в бизнес-операциях, отчетах и анализе, являются обнаруживаемыми, точными, надежными и могут быть защищены.

Для многих компаний ожидается, что данные и ИИ будут пользоваться конкурентными преимуществами. В результате руководители готовы вкладываться в программы развития искусственного интеллекта, чтобы превратиться в компанию, принимающую решения на основе данных. Тем не менее, чтобы ИИ стал эффективным, данные, которые он использует, должны быть доверенными. В противном случае точность принятия решений может быть скомпрометирована, решения могут быть отложены или действия могут быть пропущены, что может повлиять на суть. Компании не хотят, чтобы качество их данных было мусорным, мусорным. Сначала может показаться простым исправить качество данных, пока вы не посмотрите на влияние цифрового преобразования на данные.

Благодаря распределению данных в гибридной многооблачной среде и ландшафте распределенных данных организации изо всех сил пытаются найти, где находятся данные, и управлять ими. Отсутствие управления данными может существенно повлиять на бизнес. Плохое качество данных влияет на бизнес-операции, так как ошибки данных приводят к ошибкам процесса и задержкам. Низкое качество данных также влияет на принятие бизнес-решений и возможность обеспечивать соответствие требованиям. Обеспечение качества данных в источнике часто является предпочтительным, так как устранение проблем с качеством в аналитической системе может быть более сложным и дорогостоящим, чем применение правил качества данных на ранних этапах приема. Для эффективного мониторинга и управления действиями с данными управление данными должно включать:

  • Поиск данных
  • Качество данных
  • Создание политики
  • Общий доступ к данным
  • Метаданные

Защита аналитического пространства

Еще одним важным фактором управления данными является защита данных. Защита данных может помочь вам в соответствии с нормативным законодательством и предотвратить утечку данных. Конфиденциальность данных и растущее число нарушений безопасности данных сделали защиту данных главным приоритетом для руководства компании. Такие нарушения представляют серьезный риск для конфиденциальных данных, например, для персональных данных клиентов. Последствия нарушения конфиденциальности или безопасности данных могут быть очень серьезными, в том числе:

  • Потеря или серьезный ущерб для репутации бренда

  • Потери доверия клиентов и доли рынка

  • Снижение стоимости акций, что влияет на окупаемость инвестиций акционеров и заработок руководителей

  • Серьезные денежные штрафы из-за сбоев в аудите или несоответствия нормативным требованиям

  • Юридические иски

  • Эффект домино нарушения, например, клиенты могут стать жертвой кражи удостоверений

В большинстве случаев компании, чьи акции торгуются на биржах, должны заявлять о фактах взлома. В случае взлома клиенты чаще всего обвиняют компанию, а не злоумышленников. Клиент может бойкотировать компанию в течение нескольких месяцев или вообще никогда не возвращается.

Несоблюдение нормативного законодательства о конфиденциальности данных может привести к значительным финансовым штрафам. Управление данными поможет избежать таких рисков.

Операционная модель и преимущества

Внедрение современной платформы стратегии обработки данных не только изменяет технологию, которую использует ваша организация, но и способ ее работы.

Аналитика в масштабе облака предоставляет предписанные рекомендации, которые помогут вам подумать о том, как организовать и обучить сотрудников и команды, в том числе:

  • Определения личности, роли и ответственности
  • Предлагаемые структуры для гибких, вертикальных и междоменных команд
  • Ресурсы для навыков, включая данные Azure и сертификации ИИ с помощью Microsoft Learn

Кроме того, важно привлекать конечных пользователей на протяжении всего процесса модернизации, а также продолжать развивать платформу и добавлять новые варианты использования.

Архитектуры

Целевые зоны Azure описывают стратегический путь проектирования и целевое техническое состояние для вашей среды. Они упрощают развертывание и управление, обеспечивая большую гибкость и соответствие требованиям. Целевые зоны Azure также гарантируют, что при получении нового приложения или рабочей нагрузки в вашей среде уже будет создана соответствующая инфраструктура. Зоны управления данными Azure и целевые зоны данных разработаны с учетом этих же базовых принципов и в сочетании с другими элементами аналитики облачного масштаба могут помочь в реализации следующих функций:

  • Самообслуживание
  • Масштабируемость
  • Выбор решения
  • Безопасность
  • Конфиденциальность
  • Оптимизированные операции

Целевая зона управления данными

Целевая зона управления данными обеспечивает основу для централизованного управления данными на платформе и управления ими в организации. Она также упрощает обмен данными для приема данных из всего цифрового пространства, включая многооблачную и гибридную инфраструктуру.

Целевая зона управления данными поддерживает множество других возможностей управления данными, таких как:

  • Каталог данных
  • Классификация данных
  • Происхождение данных
  • Управление качеством данных
  • Репозиторий моделирования данных
  • Каталог API
  • Общий доступ к данным и контракты

Целевые зоны данных

Целевые зоны данных приближают данные к пользователям и обеспечивают самообслуживание, сохраняя при этом общее управление и управление через подключение к целевой зоне управления данными.

Они размещают стандартные службы, такие как сеть, мониторинг, прием и обработка данных, а также настройки, такие как продукты данных и визуализации.

Целевые зоны данных являются ключевыми для обеспечения масштабируемости платформы. В зависимости от размера и потребностей организации можно начать с одной или нескольких целевых зон.

При выборе между одной и несколькими целевыми зонами следует учитывать региональные зависимости и требования к месту расположения данных. Например, существуют ли местные законы или нормативные акты, которые требуют, чтобы данные оставались в определенном месте?

Независимо от первоначального решения вы всегда можете добавлять или удалять целевые зоны для данных по мере необходимости. Если вы начинаете с одной целевой зоны, рекомендуется запланировать расширение до нескольких целевых зон, чтобы избежать будущих потребностей в миграции.

Дополнительные сведения о целевых зонах см. в статье Целевые зоны Azure для аналитики в масштабе облака.

Заключение

После прочтения этого набора документации, в частности разделов управления, безопасности, эксплуатации и рекомендаций, рекомендуется настроить среду подтверждения концепции с помощью шаблонов развертывания. Эти шаблоны, а также рекомендации по архитектуре предоставляют практический опыт работы с некоторыми технологиями Azure. Дополнительные сведения см. в разделе Контрольный список для начала работы.

Дальнейшие действия

Интеграция аналитики масштаба облака в стратегию внедрения облачных технологий