Упрощение доступа к данным с помощью разработки цифровых технологий

Уголь, нефть и человеческий потенциал были тремя самыми ценными активами промышленной революции. Эти ресурсы помогли создать компании, трансформировали рынки и в конечном итоге изменили целые страны. В эпоху цифровой экономики есть три одинаково важных актива: данные, устройства и человеческий потенциал. Благодаря им открываются превосходные возможности для инноваций. В современном мире данные играют роль топлива.

В каждой компании есть данные, которые можно использовать для выявления и удовлетворения потребностей клиентов. К сожалению, процесс интеллектуального анализа данных, обеспечивающий внедрение инноваций, может быть дорогостоящим и длительным. Это мешает выявлению потребностей и созданию подходящих решений. Упрощение доступа к данным может решить эту проблему.

Что подразумевает упрощение доступа к данным? Это процесс получения данных специалистами, которые способны внедрять инновации. Упрощение доступа можно реализовать несколькими способами, но обычно подразумеваются решения для приема и интеграции необработанных данных, а также централизации, совместного использования и защиты данных. Если доступ к данным упрощен, эксперты компании могут использовать их для выдвижения и проверки гипотез. Во многих случаях команды по внедрению облачных технологий могут создавать ориентированное на пользователей решение, используя только данные, чтобы быстро удовлетворить потребности клиентов.

Способы упрощения доступа к данным

Таких способов несколько, но в большинстве из них используется сбор, централизация, совместное использование данных и управление данными. В следующих разделах описываются некоторые из этих способов. Когда вы создаете решение в соответствии с гипотезой клиента, следует оценить, нужно ли упрощать доступ к данным, в какой степени, и как это сделать.

Совместное использование данных

Если вы разрабатываете ориентированное на клиента решение, он должен участвовать в этом. Если клиенту требуются данные, решение должно обеспечивать возможности получения, анализа и предоставления данных напрямую (без помощи ИТ-специалистов).

Многие успешные инновационные решения в начале были продуктами с минимальной функциональностью (MVP), которые предоставляли данные клиенту. MVP — это версия продукта, где есть только возможности, необходимые для использования. Она позволяет определить потенциал продукта и собрать отзывы от клиента. В этой модели индивидуального обслуживания сотрудником выступает потребитель данных. Он использует данные, чтобы помочь клиенту. Каждый раз, когда клиент вручную обращается в службу поддержки, можно проверить и подтвердить гипотезу. Такой подход часто позволяет сэкономить при работе с гипотезами, которые связаны с взаимодействием с клиентом, и не вкладывать большие средства в интегрированные решения.

Основные инструменты для совместного использования данных непосредственно с потребителями подразумевают самостоятельное формирование отчетов или внедрение данных в другие интерфейсы с помощью таких средств, как Power BI.

Примечание

Прежде чем предоставить общий доступ к данным прочитайте следующие разделы. Чтобы совместно использовать данные, может требоваться система управления для защиты данных. Кроме того, если данные хранятся в нескольких облаках, может понадобиться централизация. Если данные находятся в приложениях, их необходимо собрать, чтобы предоставить общий доступ.

Управление данными

С помощью совместного использования данных можно быстро создать продукт с минимальной функциональностью, который клиенты будут использовать для общения. Однако, чтобы преобразовать такие общие данные в полезные сведения, на основе которых можно осуществлять действия, обычно требуется больше усилий.

После подтверждения гипотезы с помощью совместного использования данных переходят к следующему этапу разработки — обычно это управление данными.

Для реализации этого этапа может потребоваться собственная выделенная платформа, которая выходит за рамки Cloud Adoption Framework.

Есть несколько аспектов управления данными, которые следует рассмотреть сразу после подтверждения гипотезы клиента. Пример:

• Являются ли общие данные конфиденциальными?Данные следует классифицировать до размещения в общей доступности, чтобы защитить интересы клиентов и компании.
• Если данные конфиденциальные, они были защищены? Защита конфиденциальных данных — обязательное условие упрощения доступа к данным. В примере рабочей нагрузки, рассматриваемом в статье Решения для защита данных, есть ссылки на полезную информацию.
• Данные добавлены в каталог? Определение характера общих данных полезно в рамках долгосрочного управления ими. Средства для документирования данных, например Каталог данных Azure, значительно упрощают этот процесс в облаке. Инструкции по добавлению заметок к данным и документированию источников данных могут ускорить процесс.

Если упрощение доступа к данным играет важную роль в гипотезе, ориентированной на клиента, опишите управление общими данными в плане выпуска. Это поможет защитить клиентов, потребителей данных и компанию.

Централизация данных

Централизация данных позволяет формировать более информативные отчеты и предоставлять одинаковые данные во всей организации. Кроме того, она повышает рентабельность инвестиций. Если данные распределены по ИТ-среде, возможности внедрения инноваций могут быть чрезвычайно ограниченными, а сам процесс внедрения — дорогостоящими и длительными. Облако предоставляет новые возможности для централизации данных. Если для централизации нескольких источников данных требуется ориентированное на клиента решение, с помощью облака можно ускорить проверку гипотез.

Внимание!

Централизация данных несет в себе риски для любого процесса инновации. Если возникают технические сложности, и централизация не является основным преимуществом решения, мы рекомендуем отложить этот этап до подтверждения гипотез клиента.

Для централизации данных нужно выбрать подходящее хранилище. Мы рекомендуем создать его в облаке. Этот масштабируемый вариант обеспечивает централизованное расположение всех данных. Такой тип решения можно реализовать с помощью интерактивной аналитической обработки (OLAP) или больших данных.

Эталонные архитектуры для решений OLAP и больших данных позволяют выбрать наиболее подходящее решение для централизации в Azure. Если требуется гибридное решение, его разработку можно ускорить с помощью эталонной архитектуры для расширения локальных данных.

Важно!

Некоторым клиентам и в некоторых решениях может быть достаточно простого подхода. Архитектура облака позволяет рассматривать недорогие решения для подтверждения гипотезы клиента, особенно на ранних этапах разработки. В этом разделе, посвященном сбору данных, рассматриваются сценарии с разными решениями для вашей ситуации.

Сбор данных

Есть две основные формы сбора данных: интеграция и прием.

Интеграция. Данные из существующего хранилища можно интегрировать в централизованном хранилище с помощью традиционных методов перемещения. Такой подход особенно часто используется в сценариях, связанных с хранением данных в нескольких облачных средах. Эти методы предполагают извлечение данных из существующего хранилища с последующей загрузкой в центральное хранилище. На одном из этапов этого процесса данные обычно преобразуются в более удобный и подходящий для центрального хранилища формат.

Такие методы можно реализовать с помощью облачных инструментов с оплатой по мере использования, что увеличивает возможности для сбора и централизации данных для малых предприятий. Например, в этих целях можно применять Azure Database Migration Service и Фабрику данных Azure. Эталонная архитектура Фабрики данных с хранилищем OLAP — пример такого решения.

Прием. Некоторые данные находятся вне хранилищ. Если такие временные данные выступают основным источником инноваций, необходимо рассмотреть альтернативные подходы. Временные данные можно найти в различных существующих источниках, таких как приложения, API, потоки данных, устройства Интернета вещей, блокчейн, кэш приложения, мультимедийное содержимое или даже неструктурированные файлы.

Эти различные формы данных можно интегрировать в центральное хранилище с помощью решении для больших данных или OLAP. Однако в начале цикла создания, измерения и обучения решение для обработки транзакций в реальном времени (OLTP) может подойти для подтверждения гипотезы клиента. Решения OLTP не рекомендуется использовать для сценариев создания отчетов. Однако при создании ориентированного на клиента решения важнее сосредоточиться на потребностях клиентов, чем на технических аспектах. После подтверждения гипотезы клиента в большом масштабе может потребоваться более подходящая платформа. Эталонная архитектура хранилищ данных OLTP поможет определить, какое хранилище лучше всего подходит для вашего решения.

Виртуализация. Интеграция и прием данных иногда могут замедлять внедрение инноваций. Если решение для виртуализации данных уже доступно, возможно, с его помощью удастся реализовать более разумный подход. Прием и интеграция могут удваивать требования к хранению и разработке, увеличивать задержку данных и контактную зону атаки, вызывать проблемы с качеством и усложнять управление. Виртуализация данных — это более современная альтернатива, где исходные данные хранятся в одном месте, а доступ к исходным данным осуществляется посредством сквозной передачи или кэшированных запросов.

Хранилища данных SQL Server 2017 и Azure SQL поддерживают PolyBase, технологию виртуализации данных, которая часто используется в Azure.

Дальнейшие действия

После разработки стратегии для упрощения доступа к данным необходимо оценить подходы к разработке приложений.

Разработка инновационных приложений