Recolha de dados a partir de modelos em produção
APLICA-SE A:
Azure CLI ml extension v2 (current)Python SDK azure-ai-ml v2 (current)
Neste artigo, você aprenderá sobre a coleta de dados de modelos implantados em pontos de extremidade online do Azure Machine Learning.
O coletor de Dados do Azure Machine Learning fornece registro em tempo real de dados de entrada e saída de modelos implantados em pontos de extremidade online gerenciados ou pontos de extremidade online do Kubernetes. O Azure Machine Learning armazena os dados de inferência registrados no armazenamento de blob do Azure. Esses dados podem ser usados perfeitamente para monitoramento, depuração ou auditoria de modelos, fornecendo observabilidade no desempenho de seus modelos implantados.
O coletor de dados fornece:
- Registro em log de dados de inferência em um local central (Armazenamento de Blob do Azure)
- Suporte para endpoints online gerenciados e endpoints online do Kubernetes
- Definição ao nível da implementação, permitindo o máximo de alterações à sua configuração
- Suporte para carga útil e registro personalizado
Modos de registo
O coletor de dados fornece dois modos de registro: registro de carga útil e registro personalizado. O registro de carga útil permite que você colete os dados de carga útil de solicitação e resposta HTTP de seus modelos implantados. Com o registo personalizado, o Azure Machine Learning fornece-lhe um SDK Python para registar pandas DataFrames diretamente a partir do seu script de pontuação. Usando o SDK Python de log personalizado, você pode registrar dados de entrada e saída do modelo, além de dados antes, durante e depois de quaisquer transformações de dados (ou pré-processamento).
Configuração do coletor de dados
O coletor de dados pode ser configurado no nível de implantação e a configuração é especificada no momento da implantação. Você pode configurar o destino de armazenamento de Blob do Azure que receberá os dados coletados. Você também pode configurar a taxa de amostragem (variando de 0 a 100%) dos dados a serem coletados.
Limitações
O coletor de dados tem as seguintes limitações:
- O coletor de dados só dá suporte ao registro em log para pontos de extremidade do Azure Machine Learning online (ou em tempo real) (Gerenciado ou Kubernetes).
- O coletor de dados Python SDK suporta apenas o registro de dados tabulares via pandas DataFrames.