Este artigo descreve uma arquitetura que usa o Azure Machine Learning para prever as probabilidades de inadimplência de candidatos a empréstimos. As previsões do modelo são baseadas no comportamento fiscal do candidato. O modelo usa um grande conjunto de pontos de dados para classificar os candidatos e fornecer uma pontuação de elegibilidade para cada candidato.
Apache®, Apache Spark e o logotipo da chama são marcas registradas ou marcas comerciais da Apache Software Foundation nos Estados Unidos e/ou em outros países. O uso dessa marca não implica aprovação por parte da Apache Software Foundation.
Arquitetura
Baixe um Arquivo Visio dessa arquitetura.
Fluxo de dados
O fluxo de dados a seguir corresponde ao diagrama anterior:
Armazenamento: os dados são armazenados em um banco de dados, como um pool do Azure Synapse Analytics, se forem estruturados. Os bancos de dados SQL mais antigos podem ser integrados ao sistema. Dados semiestruturados e não estruturados podem ser carregados em um data lake.
Ingestão e pré-processamento: os pipelines de processamento do Azure Synapse Analytics e o processamento ETL podem se conectar a dados armazenados no Azure ou em fontes de terceiros por meio de conectores internos. O Azure Synapse Analytics oferece suporte a várias metodologias de análise que usam SQL, Spark, Azure Data Explorer e Power BI. Você também pode usar a orquestração existente do Azure Data Factory para os pipelines de dados.
Processamento: o Azure Machine Learning é usado para desenvolver e gerenciar os modelos de machine learning.
Processamento inicial: durante essa fase, os dados brutos são processados para criar um conjunto de dados coletado que treinará um modelo de machine learning. As operações típicas incluem formatação de tipos de dados, imputação de valores ausentes, engenharia de recursos, seleção de recursos e redução de dimensionalidade.
Treinamento: durante a fase de treinamento, o Azure Machine Learning usa o conjunto de dados processado para treinar o modelo de risco de crédito e selecionar o melhor modelo.
Treinamento de modelos: você pode usar uma variedade de modelos de modelo de machine learning, incluindo modelos clássicos de aprendizado de máquina e de aprendizado profundo. Você pode usar o ajuste de hiperparâmetro para otimizar o desempenho do modelo.
Avaliação do modelo: o Azure Machine Learning avalia o desempenho de cada modelo treinado para que você possa selecionar o melhor para implantação.
Registro do modelo: registre o modelo com melhor desempenho no Azure Machine Learning. Essa etapa torna o modelo disponível para implantação.
c. IA Responsável: a IA Responsável é uma abordagem para desenvolver, avaliar e implantar sistemas de IA de maneira segura, confiável e ética. Como esse modelo infere uma decisão de aprovação ou negação para uma solicitação de empréstimo, você precisa implementar os princípios da IA Responsável.
As métricas de imparcialidade avaliam o efeito do comportamento injusto e permitem estratégias de mitigação. Os recursos sensíveis e os atributos são identificados no conjunto de dados e em coortes (subconjuntos) dos dados. Para obter mais informações, confira Desempenho e imparcialidade do modelo.
A interpretabilidade é uma medida de quão bem você pode entender o comportamento de um modelo de machine learning. Esse componente da IA Responsável gera descrições compreensíveis por humanos das previsões do modelo. Para obter mais informações, confira Interpretabilidade do modelo.
Implementação de aprendizado de máquina em tempo real: você precisa usar a inferência de modelo em tempo real quando a solicitação precisa ser revisada imediatamente para aprovação.
- Ponto de extremidade online do Azure Machine Learning gerenciado. Para pontuação em tempo real, você precisa escolher um destino de computação apropriado.
- As solicitações online de empréstimos usam pontuação em tempo real com base na entrada do formulário do candidato ou da solicitação de empréstimo.
- A decisão e a entrada usada para a pontuação do modelo são armazenadas em um armazenamento persistente e podem ser recuperadas para referência futura.
Implantação de aprendizado de máquina em lote: para o processamento de empréstimos offline, o modelo é programado para ser disparado em intervalos regulares.
- Ponto de extremidade em lote gerenciado. A inferência em lote é agendada e o conjunto de dados de resultados é criado. As decisões são baseadas na capacidade de crédito do candidato.
- O conjunto de resultados da pontuação do processamento em lote é mantido no banco de dados ou no data warehouse do Azure Synapse Analytics.
Interface para dados sobre a atividade do candidato: os detalhes inseridos pelo candidato, o perfil de crédito interno e a decisão do modelo são todos preparados e armazenados em serviços de dados apropriados. Esses detalhes são usados no mecanismo de decisão para pontuação futura, portanto, são documentados.
- Armazenamento: todos os detalhes do processamento de crédito são mantidos em armazenamento persistente.
- Interface do usuário: a decisão de aprovação ou negação é apresentada ao candidato.
Relatórios: insights em tempo real sobre o número de solicitações processadas e os resultados de aprovação ou recusa são continuamente apresentados aos gerentes e à liderança. Exemplos de relatórios incluem relatórios quase em tempo real de valores aprovados, a carteira de empréstimos criada e o desempenho do modelo.
Componentes
- O Armazenamento de Blobs do Azure fornece armazenamento de objetos escalonável para dados não estruturados. Ele é otimizado para armazenar arquivos como arquivos binários, logs de atividades e arquivos que não aderem a um formato específico.
- O Azure Data Lake Storage é a base de armazenamento para a criação de data lakes econômicos no Azure. Ele fornece armazenamento de blob com uma estrutura de pastas hierárquica e desempenho, gerenciamento e segurança aprimorados. Esse serviço gerencia diversos petabytes de informações, mantendo centenas de gigabits de taxa de transferência.
- O Azure Synapse Analytics é um serviço de análise que reúne o melhor das tecnologias SQL e Spark e uma experiência de usuário unificada para o Azure Synapse Data Explorer e pipelines. Ele se integra ao Power BI, ao Azure Cosmos DB e ao Azure Machine Learning. O serviço dá suporte a modelos de recursos dedicados e sem servidor e a capacidade de alternar entre esses modelos.
- O Banco de Dados SQL do Azure é um serviço de banco de dados relacional sempre atualizado e totalmente gerenciado criado para a nuvem.
- O Azure Machine Learning é um serviço de nuvem para gerenciar ciclos de vida de projetos de aprendizado de máquina. Ele fornece um ambiente integrado para exploração de dados, criação e gerenciamento de modelos e implantação, além de oferecer suporte a abordagens de aprendizado de máquina que priorizam code-first e low-code/no-code.
- O Power BI é uma ferramenta de visualização que oferece fácil integração com os recursos do Azure.
- O Serviço de Aplicativo do Azure permite que você crie e hospede aplicativos Web, back-ends móveis e APIs RESTful sem gerenciar a infraestrutura. As linguagens com suporte incluem .NET, .NET Core, Java, Ruby, Node.js, PHP e Python.
Alternativas
Você pode usar o Azure Databricks para desenvolver, implantar e gerenciar modelos de machine learning e cargas de trabalho de análise. O serviço fornece um ambiente unificado para o desenvolvimento de modelos.
Detalhes do cenário
As organizações do setor financeiro precisam prever o risco de crédito de indivíduos ou empresas que solicitam crédito. Esse modelo avalia as probabilidades de delinquência e inadimplência dos candidatos de empréstimos.
A previsão de risco de crédito envolve uma análise profunda do comportamento da população e a classificação da base de clientes em segmentos com base na responsabilidade fiscal. Outras variáveis incluem fatores de mercado e condições econômicas, que têm uma influência significativa nos resultados.
Desafios. Os dados de entrada incluem dezenas de milhões de perfis de clientes e dados sobre o comportamento de crédito do cliente e hábitos de gastos baseados em bilhões de registros de sistemas diferentes, como sistemas internos de atividade do cliente. Os dados de terceiros sobre as condições econômicas e a análise de mercado do país/região podem vir de instantâneos mensais ou trimestrais que exigem o carregamento e a manutenção de centenas de GBs de arquivos. São necessárias informações do bureau de crédito sobre o candidato ou linhas semiestruturadas de dados do cliente, além de junções cruzadas entre esses conjuntos de dados e verificações de qualidade para validar a integridade dos dados.
Os dados geralmente consistem em tabelas de colunas largas de informações de clientes de agências de crédito, juntamente com análises de mercado. A atividade do cliente consiste em registros com layout dinâmico que podem não ser estruturados. Os dados também estão disponíveis em formato de texto livre nas notas de atendimento ao cliente e nos formulários de interação com o candidato.
Para processar esses grandes volumes de dados e garantir que os resultados sejam atuais, é necessário um processamento simplificado. Você precisa de um processo de armazenamento e recuperação de baixa latência. A infraestrutura de dados deve poder ser dimensionada para dar suporte a fontes de dados diferentes e fornecer a capacidade de gerenciar e proteger o perímetro de dados. A plataforma de aprendizado de máquina precisa dar suporte à análise complexa dos vários modelos que são treinados, testados e validados em vários segmentos da população.
Confidencialidade e privacidade dos dados. O processamento de dados para esse modelo envolve dados pessoais e detalhes demográficos. É preciso evitar a criação de perfil das populações. A visibilidade direta de todos os dados pessoais deve ser restrita. Exemplos de dados pessoais incluem números de contas, detalhes de cartões de crédito, números do seguro social, nomes, endereços e códigos postais.
Os números de cartões de crédito e de contas bancárias devem ser sempre ofuscados. Certos elementos de dados precisam ser mascarados e sempre criptografados, não fornecendo acesso às informações subjacentes, mas disponíveis para análise.
Os dados precisam ser criptografados em repouso, em trânsito e durante o processamento por meio de enclaves seguros. O acesso aos itens de dados é registrado em uma solução de monitoramento. O sistema de produção precisa ser configurado com pipelines de CI/CD apropriados com aprovações que disparam implantações e processos de modelos. A auditoria dos logs e do fluxo de trabalho deve fornecer as interações com os dados para as necessidades de conformidade.
Processamento. Esse modelo requer alta capacidade computacional para análise, contextualização, treinamento e implantação de modelos. A pontuação do modelo é validada com base em amostras aleatórias para garantir que as decisões de crédito não incluam nenhum desvio de raça, gênero, etnia ou localização geográfica. O modelo de decisão precisa ser documentado e arquivado para referência futura. Todos os fatores envolvidos nos resultados da decisão são armazenados.
O processamento de dados requer alto uso da CPU. Isso inclui o processamento SQL de dados estruturados em formato DB e JSON, o processamento Spark dos quadros de dados ou a análise de Big Data em terabytes de informações em vários formatos de documentos. Os trabalhos de ELT/ETL de dados são agendados ou disparados em intervalos regulares ou em tempo real, dependendo do valor dos dados mais recentes.
Conformidade e estrutura regulatória. Todos os detalhes do processamento do empréstimo precisam ser documentados, inclusive o aplicativo enviado, os recursos usados na pontuação do modelo e o conjunto de resultados do modelo. As informações de treinamento do modelo, os dados usados para treinamento e os resultados do treinamento devem ser registrados para referência futura e solicitações de auditoria e conformidade.
Lote versus pontuação em tempo real. Certas tarefas são proativas e podem ser processadas como trabalhos em lote, como transferências de saldo pré-aprovadas. Algumas solicitações, como aumentos de linha de crédito online, exigem aprovação em tempo real.
O acesso em tempo real ao status das solicitações de empréstimo online deve estar disponível para o candidato. A instituição financeira emissora de empréstimos monitora continuamente o desempenho do modelo de crédito e precisa de informações sobre métricas como status de aprovação de empréstimos, número de empréstimos aprovados, valores em dólares emitidos e a qualidade das novas origens de empréstimos.
IA responsável
O painel da IA Responsável fornece uma interface única para várias ferramentas que podem ajudar na implementação da IA Responsável. A IA Responsável Standard é baseada em seis princípios:
Imparcialidade e inclusão no Azure Machine Learning. Esse componente do painel da IA Responsável ajuda a avaliar comportamentos injustos, evitando danos à alocação e à qualidade do serviço. Você pode usá-lo para avaliar a imparcialidade entre grupos confidenciais definidos em termos de gênero, idade, etnia e outras características. Durante a avaliação, a imparcialidade é quantificada por meio de métricas de disparidade. Você deve implementar os algoritmos de mitigação no pacote de código aberto Fairlearn, que usa restrições de paridade.
Confiabilidade e segurança no Azure Machine Learning. O componente de análise de erros da IA Responsável pode ajudar você a:
- Obter uma compreensão profunda de como a falha é distribuída para um modelo.
- Identificar coortes de dados com uma taxa de erro maior do que o parâmetro de comparação geral.
Transparência no Azure Machine Learning. Uma parte crucial da transparência é entender como os recursos afetam o modelo de machine learning.
- A interpretabilidade do modelo ajuda você a entender o que influencia o comportamento do modelo. Ela gera descrições compreensíveis por humanos das previsões do modelo. Esse entendimento ajuda a garantir que você possa confiar no modelo e ajuda em sua depuração e aprimoramento. O InterpretML pode ajudar você a entender a estrutura dos modelos de caixa de vidro a relação entre os recursos nos modelos de rede neural profunda de caixa preta.
- O teste de hipóteses contrafactuais podem ajudar você a entender e depurar um modelo de machine learning em termos de como ele reage a alterações e perturbações de recursos.
Privacidade e segurança no Azure Machine Learning. Os administradores de aprendizado de máquina precisam criar uma configuração segura para desenvolver e gerenciar a implantação de modelos. Os recursos de segurança e governança podem ajudar você a cumprir as políticas de segurança da sua organização. Outras ferramentas podem ajudar você a avaliar e proteger seus modelos.
Responsabilidade no Azure Machine Learning. As operações de aprendizado de máquina (MLOps) baseiam-se em princípios e práticas do DevOps que aumentam a eficiência dos fluxos de trabalho de IA. O Azure Machine Learning pode ajudar você a implementar recursos de MLOps:
- Registrar, empacotar e implantar modelos
- Receber notificações e alertas sobre alterações nos modelos
- Capturar os dados de governança para o ciclo de vida de ponta a ponta
- Monitorar os aplicativos quanto a problemas operacionais
Este diagrama ilustra os recursos de MLOps do Azure Machine Learning:
Possíveis casos de uso
Você pode aplicar essa solução aos seguintes cenários:
- Finanças: obtenha análises financeiras de clientes ou análises de vendas cruzadas de clientes para campanhas de marketing direcionadas.
- Cuidados com a saúde: use as informações do paciente como entrada para sugerir ofertas de tratamento.
- Hospitalidade: crie um perfil de cliente para sugerir ofertas de hotéis, voos, pacotes de cruzeiros e associações.
Considerações
Essas considerações implementam os pilares do Azure Well-Architected Framework, um conjunto de princípios orientadores que você pode usar para aprimorar a qualidade de uma carga de trabalho. Para obter mais informações, confira Microsoft Azure Well-Architected Framework.
Segurança
A segurança fornece garantias contra ataques deliberados e o abuso de seus dados e sistemas valiosos. Para saber mais, confira Visão geral do pilar de segurança.
As soluções do Azure fornecem defesa em profundidade e uma abordagem de Confiança Zero.
Considere a possibilidade de implementar os seguintes recursos adicionais de segurança nessa arquitetura:
- Implantar serviços dedicados do Azure em redes virtuais
- Recursos de segurança do Banco de Dados SQL do Azure
- Proteger as credenciais no data factory usando o Key Vault
- Segurança empresarial e governança para o Azure Machine Learning
- Linha de base de segurança do Azure para o Workspace do Synapse Analytics
Otimização de custo
A otimização de custos consiste em reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, confira Visão geral do pilar de otimização de custo.
Use a Calculadora de Preços do Azure para estimar o custo da implementação da solução.
Considere também estes recursos:
- Planejar e gerenciar custos do Azure Synapse Analytics
- Planejar e gerenciar custos para o Azure Machine Learning
Excelência operacional
A excelência operacional abrange os processos de operações que implantam um aplicativo e o mantêm em execução na produção. Para obter mais informações, confira Visão geral do pilar de excelência operacional.
As soluções de aprendizado de máquina precisam ser dimensionáveis e padronizadas para facilitar o gerenciamento e a manutenção. Verifique se sua solução dá suporte à inferência contínua com ciclos de retreinamento e reimplantações automatizadas de modelos.
Para obter mais informações, confira Acelerador de solução de MLOps do Azure (v2).
Eficiência de desempenho
A eficiência do desempenho é a capacidade de dimensionar sua carga de trabalho para atender às demandas colocadas por usuários de maneira eficiente. Para saber mais, confira Visão geral do pilar de eficiência de desempenho.
- Para obter mais informações sobre como projetar soluções escalonáveis, confira Lista de verificação de eficiência de desempenho.
- Para obter informações sobre setores regulamentados, confira Iniciativas de IA de escala e aprendizado de máquina em setores regulamentados.
- Gerencie seu ambiente do Azure Synapse Analytics com SQL, Spark ou pools de SQL sem servidor.
Colaboradores
Esse artigo é mantido pela Microsoft. Ele foi originalmente escrito pelos colaboradores a seguir.
Autor principal:
- Charitha Basani | Arquiteto Sênior de Soluções de Nuvem
Outro colaborador:
- Mick Alberts | Escritor Técnico
Para ver perfis não públicos do LinkedIn, entre no LinkedIn.
Próximas etapas
- Linha de base de segurança do Azure para o Azure Machine Learning
- Azure Synapse Analytics
- Implantar modelos de machine learning para o Azure
- O que é a IA Responsável?