Editar

Partilhar via

Consórcio de dados de integridade no Azure

Azure Data Factory
Azure Data Lake Storage
Azure Data Share
Azure Databricks
Azure SQL Database

Esta solução para um consórcio de dados utiliza componentes do Azure. Cumpre os seguintes objetivos:

  • Forneça uma maneira para várias organizações compartilharem dados.
  • Centralize os esforços de orquestração de dados.
  • Garantir a segurança dos dados.
  • Garantir a privacidade do paciente.
  • Suporte à interoperabilidade de dados.
  • Ofereça opções de personalização para atender aos requisitos específicos das organizações.

Arquitetura

Diagrama de arquitetura mostrando como os membros de um consórcio compartilham dados.

Transfira um ficheiro do Visio desta arquitetura.

Fluxo de dados

  1. Os dados brutos têm origem em fontes locais e de terceiros. Os membros do consórcio carregam esses dados em qualquer um destes serviços de armazenamento no Compartilhamento de Dados do Azure:

  2. O consórcio pede aos membros que partilhem dados. Como produtores de dados, os membros podem compartilhar instantâneos ou usar o compartilhamento in-loco.

  3. Como consumidor de dados, o consórcio recebe os dados dos membros compartilhados. Esses dados inserem o Data Lake Storage no Data Share do consórcio para posterior transformação.

  4. O Azure Data Factory e o Azure Databricks limpam os dados dos membros e os transformam em um formato comum.

  5. O consórcio combina os dados dos membros e armazena-os num serviço. A estrutura e o volume dos dados determinam o tipo de serviço de armazenamento mais adequado. As possibilidades incluem:

    • Azure Synapse Analytics
    • Base de Dados SQL do Azure
    • Azure Data Lake Storage
    • Azure Data Explorer

  6. Como produtor de partilha de dados, o consórcio convida os membros a receber dados. Os membros podem aceitar dados instantâneos ou dados de compartilhamento in-loco.

  7. Como consumidores de dados, os membros recebem os dados compartilhados. Os dados entram nos armazenamentos de dados dos membros para pesquisa e análise.

Em todo o sistema:

Componentes

Esta solução utiliza os seguintes componentes:

Plataformas de cuidados de saúde

  • Os registos de saúde eletrónicos (RSE) são versões digitais de informações em tempo real sobre os doentes.

  • O Fast Healthcare Interoperability Resources (FHIR) é um padrão para o intercâmbio de dados de saúde que a Health Level Seven International (HL7) publica.

  • A Internet das Coisas Médicas (IoMT) é o conjunto de dispositivos médicos e aplicações que se ligam a sistemas informáticos através de redes de computadores em linha.

  • Os dados genómicos fornecem informações sobre a forma como os genes interagem entre si e com o ambiente.

  • Os dados de imagem incluem as imagens que a radiologia, a cardiologia, a radioterapia e outros dispositivos produzem.

  • Gestão de relacionamento com o cliente (CRM), faturamento e sistemas de terceiros fornecem dados sobre os pacientes.

Componentes do Azure

  • O Compartilhamento de Dados do Azure fornece uma maneira para várias organizações compartilharem dados com segurança. Com este serviço, os fornecedores de dados mantêm o controlo dos dados que partilham. É simples gerenciar e monitorar quem compartilhou quais dados em que momento. O compartilhamento de dados também facilita o enriquecimento de cenários de análise e IA combinando dados de diferentes membros.

  • O Azure Synapse Analytics é um serviço de análise para armazéns de dados e sistemas de big data. Com este produto, você pode consultar dados com recursos sem servidor, sob demanda ou com recursos provisionados. O Azure Synapse Analytics funciona bem com um grande volume de dados estruturados.

  • O Banco de Dados SQL do Azure é um mecanismo de banco de dados de plataforma como serviço (PaaS) totalmente gerenciado. Com recursos automatizados alimentados por IA, o Banco de dados SQL lida com funções de gerenciamento de banco de dados, como atualização, aplicação de patches, backups e monitoramento. Este serviço é adequado para dados estruturados.

  • O Data Lake Storage é um data lake massivamente escalável e seguro para cargas de trabalho de análise de alto desempenho. Esse serviço pode gerenciar vários petabytes de informações enquanto sustenta centenas de gigabits de taxa de transferência. O Armazenamento Data Lake fornece uma maneira de armazenar dados estruturados e não estruturados de vários membros em um único local.

  • O Azure Data Explorer é um serviço de análise de dados rápido e totalmente gerenciado. Você pode usar esse serviço para análise em tempo real de grandes volumes de dados. O Azure Data Explorer pode lidar com diversos fluxos de dados de aplicativos, sites, dispositivos IoT e outras fontes. O Azure Data Explorer é uma boa opção para o compartilhamento in-loco de telemetria de streaming e dados de log.

  • O Azure Data Factory é um serviço híbrido de integração de dados. Você pode usar essa solução totalmente gerenciada e sem servidor para integração de dados e fluxos de trabalho de transformação. O Data Factory oferece uma interface do usuário sem código e um painel de monitoramento fácil de usar. Nesta solução, os pipelines do Data Factory ingerem dados de compartilhamentos de dados de membros diferentes.

  • O Azure Databricks é uma plataforma de análise de dados. Com base no mais recente sistema de processamento distribuído Apache Spark, o Azure Databricks suporta uma integração perfeita com bibliotecas de código aberto. Esta solução utiliza blocos de notas do Azure Databricks para transformar todos os dados dos membros num formato comum.

  • O Microsoft Entra ID é um serviço de gerenciamento de identidade e acesso multilocatário baseado em nuvem.

  • O Azure Key Vault armazena e controla com segurança o acesso a segredos como chaves de API, palavras-passe, certificados e chaves criptográficas. Este serviço na nuvem também gere certificados de segurança.

  • O Azure Pipelines cria e testa automaticamente projetos de código. Este serviço Azure DevOps combina integração contínua e entrega contínua (CI/CD). Usando essas práticas, o Azure Pipelines testa e cria código de forma constante e consistente e o envia para qualquer destino.

  • O Defender for Cloud oferece gerenciamento de segurança unificado e proteção avançada contra ameaças em cargas de trabalho de nuvem híbrida.

Alternativas

Com o Compartilhamento de Dados, existem muitas alternativas para o armazenamento de dados. A sua escolha de serviço depende do seu método de partilha e do seu volume e tipo de dados:

  • Para o compartilhamento instantâneo de dados em lote, use qualquer um destes serviços:

    • Azure Synapse Analytics
    • Base de Dados SQL
    • Data Lake Storage
    • Armazenamento de Blobs do Azure

  • Para compartilhamento in-loco de telemetria de streaming e dados de log, use o Azure Data Explorer. Para obter mais informações sobre como analisar dados de várias fontes, consulte [Azure Data Explorer interactive analytics][Azure Data Explorer interactive analytics].

  • Alguns conjuntos de dados são grandes ou não relacionais. Alguns não contêm dados em formatos padronizados. Para esses tipos de conjuntos de dados, o Armazenamento de Blob ou o Armazenamento Azure Data Lake funcionam melhor do que o Azure Synapse Analytics e o Banco de Dados SQL para trocar dados com o Compartilhamento de Dados. Para obter mais informações sobre como armazenar dados médicos de forma eficiente, consulte Soluções de armazenamento de dados médicos.

Se o Compartilhamento de Dados não for uma opção, considere uma rede virtual privada (VPN). Você pode usar uma VPN site a site para transferir dados entre armazenamentos de dados de membros e consórcios.

Detalhes do cenário

Os ensaios clínicos tradicionais podem ser complexos, demorados e dispendiosos. Para resolver essas questões, um número crescente de organizações de saúde está se associando para construir consórcios de dados para a realização de ensaios clínicos.

Os consórcios de dados beneficiam os cuidados de saúde de várias formas:

  • Disponibilizar os dados da investigação.
  • Forneça novos fluxos de receita.
  • Conduza a decisões regulamentares rentáveis, fornecendo acesso rápido aos dados.
  • Mantenha os pacientes mais seguros e saudáveis, acelerando a inovação.

Potenciais casos de utilização

Muitos tipos de profissionais de saúde podem beneficiar desta solução:

  • Organizações que usam dados observacionais do mundo real, como resultados de pacientes, para determinar tratamentos.
  • Médicos especializados em medicina personalizada ou de precisão.
  • Prestadores de serviços de telemedicina que necessitam de um acesso fácil aos dados dos pacientes.
  • Investigadores que trabalham com dados genómicos.

Considerações

Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que podem ser usados para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Microsoft Azure Well-Architected Framework.

As tecnologias desta solução atendem aos requisitos de segurança, escalabilidade e disponibilidade da maioria das empresas.

Segurança

A segurança oferece garantias contra ataques deliberados e o abuso de seus valiosos dados e sistemas. Para obter mais informações, consulte Visão geral do pilar de segurança.

Devido à sensibilidade das informações médicas, vários componentes desempenham um papel na proteção de dados:

  • Os recursos de segurança do Compartilhamento de Dados protegem os dados das seguintes maneiras:

    • Encriptação de dados em repouso, em que o armazenamento de dados subjacente suporta encriptação em repouso.
    • Criptografando dados em trânsito usando Transport Layer Security (TLS) 1.2.
    • Criptografando metadados sobre um compartilhamento de dados em repouso e em trânsito.
    • Não armazenar conteúdo de dados de clientes compartilhados.

  • O Azure Synapse Analytics oferece um modelo de segurança abrangente. Você pode usar seus controles refinados para proteger seus dados em todos os níveis, de células únicas a bancos de dados inteiros.

  • O Banco de dados SQL usa uma abordagem em camadas para proteger os dados do cliente. A estratégia abrange os seguintes domínios:

    • Segurança da rede
    • Gestão de acesso
    • Proteção contra ameaças
    • Proteção de informações

  • O Armazenamento Data Lake fornece controle de acesso. O modelo suporta estes tipos de controles:

    • Controlo de acesso baseado em funções do Azure (RBAC)
    • Listas de controle de acesso (ACLs) POSIX (Portable Operating System Interface)

  • O Azure Data Explorer protege os dados das seguintes formas:

    • Usa identidades gerenciadas pelo Microsoft Entra ID para recursos do Azure.
    • Usa o RBAC para segregar funções e limitar o acesso.
    • Bloqueia o tráfego originado de segmentos de rede fora do Azure Data Explorer.
    • Protege os dados e ajuda você a cumprir os compromissos usando a Criptografia de Disco do Azure. Este serviço fornece criptografia de volume para discos de dados de máquina virtual e o sistema operacional. O Azure Disk Encryption também se integra ao Cofre da Chave, que criptografa segredos com chaves gerenciadas pela Microsoft ou chaves gerenciadas pelo cliente.

Disponibilidade

Esta solução usa uma implantação de região única. Alguns cenários exigem uma implantação em várias regiões para alta disponibilidade, recuperação de desastres ou proximidade. Para esses casos, os seguintes serviços oferecem regiões do Azure emparelhadas para alta disponibilidade:

Otimização de custos

A otimização de custos consiste em procurar formas de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte Visão geral do pilar de otimização de custos.

O preço desta solução depende de vários fatores:

  • Os serviços que escolher
  • Capacidade e rendimento do seu sistema
  • As transformações que você usa nos dados
  • Seu nível de continuidade de negócios
  • Seu nível de recuperação de desastres

Para obter mais informações, consulte os detalhes de preços.

Contribuidores

Este artigo é mantido pela Microsoft. Foi originalmente escrito pelos seguintes contribuidores.

Principais autores:

Para ver perfis não públicos do LinkedIn, inicie sessão no LinkedIn.

Próximos passos

Determine como personalizar a solução esclarecendo estes pontos:

  • As fontes de dados disponíveis
  • A localização de cada fonte de dados
  • Quais membros dos serviços do Azure podem usar para receber dados de origem
  • Que dados os membros podem partilhar com o consórcio
  • Como os membros podem compartilhar dados: em lotes como instantâneos ou como fluxos de dados com compartilhamento in-loco
  • Quais serviços do Azure o consórcio pode usar para receber dados compartilhados
  • O formato dos dados dos membros e se eles precisam ser limpos ou transformados
  • Que dados o consórcio pode partilhar com os membros

Documentação do produto: