Hanteringsrekommendationer för AI-arbetsbelastningar i Azure
Den här artikeln innehåller hanteringsrekommendationer för organisationer som kör AI-arbetsbelastningar i Azure. Den fokuserar på PaaS-lösningar (plattform som en tjänst) i Azure AI, inklusive Azure AI Studio, Azure OpenAI, Azure Machine Learning och Azure AI Services. Den omfattar både generativa och icke-generativa AI-arbetsbelastningar.
Effektiv hantering av AI-arbetsbelastningar i Azure omfattar övervakning av distribution, modellprestanda, åtgärder, data och haveriberedskap för att stödja dina AI-arbetsbelastningar. Korrekt hantering hjälper till att säkerställa att AI-arbetsbelastningar är tillförlitliga, tillförlitliga och säkra under hela livscykeln.
Hantera AI-distributioner
Genom att hantera AI-distributioner kan arbetsbelastningsteamen gå från proof-of-concept-faser till produktionsmiljöer med konsekventa konfigurationer som förbättrar säkerhet och efterlevnad mellan team. Azure erbjuder verktyg som Azure AI Studio-hubbar och projekt för att framtvinga styrning och säkerhet. Azure Machine Learning har liknande funktioner med sina hubbarbetsytor. Mer information finns i Hantera AI-distributioner.
Hantera AI-modeller
Att hantera AI-modeller omfattar övervakning av utdata, prestanda och anpassning till principer för ansvarsfull AI. AI-modeller kan glida över tid på grund av ändrade data, användarbeteenden eller andra externa faktorer. Dessa ändringar kan leda till felaktiga resultat eller etiska problem om de inte åtgärdas.
Övervaka modellutdata. Implementera en övervaknings- och testningsprocess för att säkerställa att dessa arbetsbelastningar förblir i linje med dina ansvarsfulla AI-mål.
Övervaka generativ AI. För generativa AI-arbetsbelastningar använder du Azure AI Studios inbyggda utvärderings- och manuella övervakningsfunktioner. Om du använder promptflöde övervakar du distributioner av promptflöde. Överväg också att använda ansvarsfulla AI-verktyg för att komplettera modellövervakning.
Övervaka icke-generativ AI. För icke-generativa AI-arbetsbelastningar övervakar du databearbetningssteg och modellprestandamått för att säkerställa att förutsägelserna förblir korrekta och tillförlitliga. Aktivera modellövervakning i Azure Machine Learning. För Azure AI-tjänster aktiverar du övervakning för varje AI-tjänst som du använder.
Övervaka modellprestanda. När en minskning av prestanda eller noggrannhet identifieras hjälper övervakningen till att hitta orsaken till problemet. Precis som med alla arbetsbelastningar använder du Azure Monitor och Application Insights för att övervaka prestanda för AI-arbetsbelastningar.
Övervaka generativa AI-prestanda. I generativ AI övervakar du svarstiderna eller noggrannheten i vektorsökningsresultat för att förbättra användarupplevelsen. I Azure AI Studio aktiverar du spårning för att samla in spårningsdata för varje begäran, aggregerade mått och användarfeedback.
Övervaka prestanda för icke-generativ AI. Samla in prestandamått för modeller som distribuerats i Azure Machine Learning. För Azure AI-tjänster aktiverar du diagnostikloggning för varje Azure AI-tjänst.
Överväg en generativ AI-gateway för övervakning. Med en omvänd proxy som Azure API Management kan du implementera loggning och övervakning som inte är inbyggda i plattformen. Med API Management kan du samla in käll-IP-adresser, indatatext och utdatatext. Mer information finns i Implementera loggning och övervakning för Azure OpenAI Service-språkmodeller.
Hantera AI-åtgärder
AI-driftshantering omfattar standardisering av beräkningsresurser och övervakning av plattformsresurser för Azure AI-arbetsbelastningar. Det säkerställer att teamen använder rätt beräkningsresurser effektivt och samlar in mått och loggar från plattformsresurser.
Övervaka plattformsresurser. Använd diagnostikinställningar för att samla in loggar och mått för alla viktiga tjänster, till exempel Azure AI Studio, Azure Machine Learning och Azure AI-tjänster. Specifika tjänster bör samla in granskningsloggar och relevanta tjänstspecifika loggar. Implementera anpassade övervakningsaviseringar baserat på arkitekturens specifika behov. Exempel är aviseringar för containerregister, Machine Learning-tjänster och Azure OpenAI Service-åtgärder.
Standardisera beräkningshantering. Du behöver beräkningsresurser för vissa åtgärder som promptflöden och träningsmodeller. En tjänst som Machine Learning har olika beräkningsalternativ, till exempel beräkningsinstanser, kluster och serverlösa alternativ. Standardisera beräkningstyp, körningsperioder och avstängningsperioder. Tjänstspecifika beräkningsalternativ finns i Azure AI Studio och Machine Learning.
Hantera AI-data
Data av hög kvalitet utgör grunden för korrekta AI-modeller. Genom att spåra modellavvikelser kan du upprätthålla relevansen av AI-förutsägelser över tid, och det gör det möjligt för organisationer att anpassa modeller efter behov för att återspegla aktuella förhållanden.
Övervaka dataavvikelse. Spåra noggrannhet och dataavvikelser kontinuerligt i generativ och icke-generativ AI för att säkerställa att modeller förblir relevanta. Övervakning kan varna dig när modellförutsägelser eller svar på stora språkmodeller avviker från förväntat beteende. Den här avvikelsen anger ett behov av omträning eller justering. Konfigurera anpassade aviseringar för att identifiera prestandatrösklar. Den här metoden möjliggör tidiga åtgärder när problem uppstår. Använd utvärderingar i Azure AI Studio och mått som stöds i Machine Learning.
Se till att databehandlingen är av hög kvalitet. För maskininlärning måste träningsdata formateras, rensas och vara redo för modellförbrukning. För generativ AI måste jordningsdata vara i rätt format och sannolikt segmenterade, berikade och inbäddade för AI-modellförbrukning. Mer information finns i Guide till att utforma och utveckla en RAG-lösning.
Hantera affärskontinuitet
Implementera distributioner i flera regioner för att säkerställa hög tillgänglighet och återhämtning för både generativa och icke-generativa AI-system Mer information finns i distribution i flera regioner i Azure AI Studio, Azure Machine Learning och Azure OpenAI.