Este artigo apresenta uma solução para análise genómica e relatórios. Os processos e resultados são apropriados para cenários de medicina de precisão, ou áreas de cuidados médicos que usam perfil genético.
Arquitetura
O diagrama contém duas caixas. O primeiro, à esquerda, tem o rótulo Azure Data Factory para orquestração. A segunda caixa tem o rótulo Vistas do clínico. A primeira caixa contém várias caixas menores que representam dados ou vários componentes do Azure. As setas conectam as caixas e os rótulos numerados nas setas correspondem às etapas numeradas no texto do documento. Duas setas fluem entre as caixas, terminando na caixa Vistas do clínico. Uma seta aponta para um ícone clínico. O outro aponta para um ícone do Power BI.
Transfira um ficheiro do Visio desta arquitetura.
Fluxo de trabalho
O Azure Data Factory orquestra o fluxo de trabalho:
O Data Factory transfere o arquivo de exemplo inicial para o Armazenamento de Blobs do Azure. O arquivo está no formato FASTQ.
O Microsoft Genomics executa a análise secundária no arquivo.
O Microsoft Genomics armazena a saída no Armazenamento de Blobs em um destes formatos:
- Formato de chamada variante (VCF)
- VCF genómica (GVCF)
O Jupyter Notebook anota o arquivo de saída. O bloco de anotações é executado no Azure Databricks.
O Armazenamento Azure Data Lake armazena o arquivo anotado.
O Jupyter Notebook mescla o arquivo com outros conjuntos de dados e analisa os dados. O bloco de anotações é executado no Azure Databricks.
O Armazenamento Data Lake armazena os dados processados.
As APIs do Azure Healthcare empacotam os dados em um pacote FHIR (Fast Healthcare Interoperability Resources). Em seguida, os dados clínicos entram no registo de saúde eletrónico (RSE) do doente.
Os médicos visualizam os resultados nos painéis do Power BI.
Componentes
A solução utiliza os seguintes componentes:
Microsoft Genomics
A Microsoft Genomics oferece um pipeline de genômica eficiente e preciso que implementa as melhores práticas do setor. Seu motor de alto desempenho é otimizado para estas tarefas:
- Leitura de grandes ficheiros de dados genómicos
- Processando-os de forma eficiente em vários núcleos
- Ordenar e filtrar os resultados
- Gravando os resultados em arquivos de saída
Para maximizar o rendimento, este motor opera um Alinhador Burrows-Wheeler (BWA) e um chamador variante HaplotypeCaller do Kit de Ferramentas de Análise do Genoma (GATK). O motor também usa vários outros componentes que compõem pipelines de genômica padrão. Os exemplos incluem marcação duplicada, recalibração do índice de qualidade base e indexação. Em poucas horas, o mecanismo pode processar uma única amostra genômica em um único servidor multi-core. O processamento começa com leituras brutas. Produz leituras alinhadas e chamadas variantes.
Internamente, o controlador Microsoft Genomics gerencia estes aspetos do processo:
- Distribuição de lotes de genomas em pools de máquinas na nuvem
- Mantendo uma fila de solicitações de entrada
- Distribuindo as solicitações para servidores que executam o mecanismo de genômica
- Monitoramento do desempenho e progresso dos servidores
- Avaliação dos resultados
- Garantir que o processamento seja executado de forma confiável e segura em escala, por trás de uma API de serviço Web segura
Você pode usar facilmente os resultados do Microsoft Genomics em serviços de análise terciária e aprendizado de máquina. E como o Microsoft Genomics é um serviço de nuvem, você não precisa gerenciar ou atualizar hardware ou software.
Outros componentes
O Data Factory é um serviço de integração que trabalha com dados de armazenamentos de dados diferentes. Você pode usar essa plataforma totalmente gerenciada e sem servidor para orquestrar e automatizar fluxos de trabalho. Especificamente, os pipelines do Data Factory transferem dados para o Azure nesta solução. Em seguida, uma sequência de pipelines dispara cada etapa do fluxo de trabalho.
O Blob Storage oferece armazenamento otimizado de objetos na nuvem para grandes quantidades de dados não estruturados. Nesse cenário, o armazenamento de Blob fornece a zona de aterrissagem inicial para o arquivo FASTQ. Este serviço também funciona como o destino de saída para os arquivos VCF e GVCF que o Microsoft Genomics gera. A funcionalidade de hierarquização no armazenamento de Blob fornece uma maneira de arquivar arquivos FASTQ em armazenamento de longo prazo barato após o processamento.
O Azure Databricks é uma plataforma de análise de dados. Seus clusters Spark totalmente gerenciados processam grandes fluxos de dados de várias fontes. Nesta solução, o Azure Databricks fornece os recursos computacionais de que o Jupyter Notebook precisa para anotar, mesclar e analisar os dados.
O Data Lake Storage é um data lake escalável e seguro para cargas de trabalho de análise de alto desempenho. Esse serviço pode gerenciar vários petabytes de informações enquanto sustenta centenas de gigabits de taxa de transferência. Os dados podem ser estruturados, semi-estruturados ou não estruturados. Normalmente provém de múltiplas fontes heterogéneas. Nessa arquitetura, o Data Lake Storage fornece a zona de aterrissagem final para os arquivos anotados e os conjuntos de dados mesclados. Também dá aos sistemas a jusante acesso à saída final.
O Power BI é uma coleção de serviços de software e aplicativos que exibem informações de análise. Você pode usar o Power BI para conectar e exibir fontes de dados não relacionadas. Nesta solução, você pode preencher painéis do Power BI com os resultados. Os médicos podem então criar elementos visuais a partir do conjunto de dados final.
As APIs do Azure Healthcare são uma interface gerenciada, baseada em padrões e compatível para acessar dados clínicos de integridade. Nesse cenário, as APIs do Azure Healthcare passam um pacote FHIR para o EHR com os dados clínicos.
Detalhes do cenário
Este artigo apresenta uma solução para análise genómica e relatórios. Os processos e resultados são apropriados para cenários de medicina de precisão, ou áreas de cuidados médicos que usam perfil genético. Especificamente, a solução fornece um fluxo de trabalho de genômica clínica que automatiza estas tarefas:
- Obtendo dados de um sequenciador
- Movendo os dados através da análise secundária
- Fornecer resultados que os médicos podem consumir
A crescente escala, complexidade e requisitos de segurança da genómica tornam-na um candidato ideal para migrar para a nuvem. Consequentemente, a solução usa os serviços do Azure, além de ferramentas de código aberto. Essa abordagem aproveita os recursos de segurança, desempenho e escalabilidade da nuvem do Azure:
- Os cientistas planeiam sequenciar centenas de milhares de genomas nos próximos anos. A tarefa de armazenar e analisar esses dados requer poder de computação e capacidade de armazenamento significativos. Com centros de dados em todo o mundo que fornecem esses recursos, o Azure pode atender a essas demandas.
- O Azure é certificado para os principais padrões globais de segurança e privacidade, como a ISO 27001.
- O Azure está em conformidade com os padrões de segurança e proveniência que a Lei de Portabilidade e Responsabilidade de Seguros de Saúde (HIPAA) estabelece para informações pessoais de saúde.
Um componente-chave da solução é a Microsoft Genomics. Este serviço oferece uma implementação de análise secundária otimizada que pode processar um genoma de 30x em poucas horas. As tecnologias padrão podem levar dias.
Potenciais casos de utilização
Esta solução é ideal para a indústria da saúde. Aplica-se a muitos domínios:
- Doentes com pontuação de risco para cancro
- Identificação de pacientes com marcadores genéticos que os predispõem à doença
- Geração de coortes de pacientes para estudos
Considerações
As considerações a seguir se alinham com o Microsoft Azure Well-Architected Framework e se aplicam a esta solução:
Disponibilidade
Os contratos de nível de serviço (SLAs) da maioria dos componentes do Azure garantem a disponibilidade:
- Pelo menos 99,9% dos pipelines do Data Factory têm a garantia de serem executados com êxito.
- O SLA do Azure Databricks garante 99,95% de disponibilidade.
- A Microsoft Genomics oferece um SLA de disponibilidade de 99,99% para solicitações de fluxo de trabalho.
- O Armazenamento de Blobs e o Armazenamento Data Lake fazem parte do Armazenamento do Azure, que oferece disponibilidade por meio de redundância.
Escalabilidade
A maioria dos serviços do Azure é escalável por design:
- O Data Factory transforma dados em escala.
- Os clusters no Azure Databricks são redimensionados conforme necessário.
- Para obter informações sobre como otimizar a escalabilidade no Armazenamento de Blobs, consulte Lista de verificação de desempenho e escalabilidade para Armazenamento de Blobs.
- O Armazenamento Data Lake pode gerenciar exabytes de dados.
- O Microsoft Genomics executa cargas de trabalho em escala de exabytes.
Segurança
A segurança oferece garantias contra ataques deliberados e o abuso de seus valiosos dados e sistemas. Para obter mais informações, consulte Visão geral do pilar de segurança.
As tecnologias desta solução atendem aos requisitos de segurança da maioria das empresas.
Diretrizes
Devido à natureza sensível dos dados médicos, estabeleça governança e segurança seguindo as diretrizes destes documentos:
- Segurança no Microsoft Cloud Adoption Framework para Azure
- Guia prático para projetar soluções de saúde seguras usando o Microsoft Azure
- Zonas de aterragem à escala empresarial
Conformidade regulamentar
Consulte estes documentos para obter informações sobre a conformidade com a HIPAA e a Lei de Tecnologia da Informação em Saúde para Saúde Econômica e Clínica (HITECH):
Os componentes desta solução estão no escopo da HIPAA de acordo com as Ofertas de Conformidade do Microsoft Azure. Se você substituir quaisquer outros componentes, valide-os primeiro em relação à lista no apêndice desse documento.
Elementos de segurança gerais
Vários componentes também protegem os dados de outras maneiras:
O Azure Databricks fornece muitas ferramentas para proteger a infraestrutura de rede e os dados. Os exemplos incluem listas de controle de acesso, segredos e nenhum IP público (NPIP).
O armazenamento de Blob suporta criptografia de serviço de armazenamento (SSE), que criptografa automaticamente os dados antes de armazená-los. Ele também fornece muitas outras maneiras de proteger dados e redes.
O Armazenamento Data Lake fornece controle de acesso. Seu modelo suporta estes tipos de controles:
- Controlo de acesso baseado em funções do Azure (RBAC)
- Listas de controle de acesso (ACLs) POSIX (Portable Operating System Interface)
Otimização de custos
A otimização de custos consiste em procurar formas de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte Visão geral do pilar de otimização de custos.
Com a maioria dos serviços do Azure, pode reduzir custos pagando apenas pelo que utiliza:
- Com o Data Factory, o volume de execução da atividade determina o custo.
- O Azure Databricks oferece muitas camadas, cargas de trabalho e planos de preços para ajudá-lo a minimizar custos.
- Os custos de armazenamento de Blob dependem das opções de redundância de dados e do volume.
- Com o Armazenamento Data Lake, o preço depende de muitos fatores: tipo de namespace, capacidade de armazenamento e escolha de nível.
- Para a Microsoft Genomics, a cobrança depende do número de gigabases que cada fluxo de trabalho processa.
Contribuidores
Este artigo é mantido pela Microsoft. Foi originalmente escrito pelos seguintes contribuidores.
Principais autores:
- Wylie Graham - Brasil | Gerente de Programa Sênior
- Matt Hansen - Brasil | Arquiteto de Soluções Cloud Sênior
Para ver perfis não públicos do LinkedIn, inicie sessão no LinkedIn.
Próximos passos
- Microsoft Genomics: perguntas comuns
- Kit inicial de início rápido de genômica
- Alinhador Burrows-Wheeler
- Kit de ferramentas de análise genômica
Recursos relacionados
Arquiteturas totalmente implantáveis:
Soluções Data Factory
- BI empresarial automatizado
- [ETL híbrido com o Azure Data Factory] [ETL híbrido com o Azure Data Factory]
- Replicar e sincronizar dados de mainframe no Azure
Soluções de análises
- Armazenamento e análise de dados
- Processamento e análise de dados geoespaciais
- Processamento de fluxo com o Azure Databricks