AI-redo – rekommendationer för organisationer som skapar AI-arbetsbelastningar i Azure
Den här artikeln beskriver organisationsprocessen för att skapa AI-arbetsbelastningar i Azure. Artikeln innehåller rekommendationer för att fatta viktiga design- och processbeslut för att anta AI-arbetsbelastningar i stor skala. Den fokuserar på AI-specifik vägledning för val av region, resursorganisation och nätverk.
Upprätta AI-tillförlitlighet
AI-tillförlitlighet innebär att välja lämpliga regioner som värd för AI-modeller för att säkerställa konsekvent prestanda, efterlevnad och tillgänglighet. Organisationer måste hantera redundans, redundans och prestandaoptimering för att upprätthålla tillförlitliga AI-tjänster.
Använd flera regioner som värd för AI-modellslutpunkter. För produktionsarbetsbelastningar är du värd för AI-slutpunkter i minst två regioner för att tillhandahålla redundans och säkerställa hög tillgänglighet. Även om generativa AI-modeller är tillståndslösa säkerställer värdtjänster i flera regioner snabbare redundans och återställning vid regionala fel. För Azure OpenAI Service-modeller kan du använda globala distributioner. Dessa distributioner i flera regioner kan automatiskt och transparent dirigera begäranden till en region som har tillräckligt med kapacitet. Om du väljer en icke-global distribution, även kallad regional distribution, använder du Azure API Management för belastningsutjämning av API-begäranden till AI-slutpunkter.
Bekräfta tjänstens tillgänglighet. Kontrollera att det finns tillgänglighet i regionen för de AI-resurser som du behöver innan distributionen. Vissa regioner kanske inte tillhandahåller specifika AI-tjänster eller har begränsade funktioner, vilket kan påverka funktionaliteten i din lösning. Den här begränsningen kan också påverka distributionens skalbarhet. Azure OpenAI-tjänstens tillgänglighet kan till exempel variera beroende på din distributionsmodell. Dessa distributionsmodeller omfattar global standard, global etablering, regional standard och regional etablering. Kontrollera AI-tjänsten för att bekräfta att du har åtkomst till nödvändiga resurser.
Utvärdera regionkvot och kapacitet. Överväg kvot- eller prenumerationsgränserna i din valda region när dina AI-arbetsbelastningar växer. Azure-tjänster har regionala prenumerationsgränser. Dessa gränser kan påverka storskaliga AI-modelldistributioner, till exempel stora slutsatsdragningsarbetsbelastningar. För att förhindra störningar kontaktar du Azure Support i förväg om du förutser ett behov av extra kapacitet.
Utvärdera prestanda. När du skapar program som behöver hämta data, till exempel RAG-program (retrieval-augmented generation), är det viktigt att överväga datalagringsplatser för att optimera prestanda. Du behöver inte samplacera data med modeller i RAG-appar, men det kan förbättra prestandan genom att minska svarstiden och säkerställa effektiv datahämtning.
Förbered för driftkontinuitet. För att säkerställa affärskontinuitet och haveriberedskap replikerar du kritiska tillgångar som finjusterade modeller, RAG-data, tränade modeller och träningsdatauppsättningar i en sekundär region. Den här redundansen möjliggör snabbare återställning om det uppstår ett avbrott och säkerställer fortsatt tjänsttillgänglighet.
Upprätta AI-styrning
AI-styrning omfattar att organisera resurser och tillämpa principer för att hantera AI-arbetsbelastningar och kostnader. Det handlar om att strukturera hanteringsgrupper och prenumerationer för att säkerställa efterlevnad och säkerhet för olika arbetsbelastningar. Korrekt AI-styrning förhindrar obehörig åtkomst, hanterar risker och säkerställer att AI-resurser fungerar effektivt inom organisationen.
Separera internetuppkopplade och interna AI-arbetsbelastningar. Använd åtminstone hanteringsgrupper för att separera AI-arbetsbelastningar i internetuppkopplade ("online") och endast interna ("företag"). Skillnaden ger en viktig datastyrningsgräns. Det hjälper dig att hålla internt åtskilda från offentliga data. Du vill inte att externa användare ska få åtkomst till känslig affärsinformation som krävs för internt arbete. Den här skillnaden mellan internetuppkopplade och interna arbetsbelastningar överensstämmer med Hanteringsgrupper för Azure-landningszoner.
Tillämpa AI-principer på varje hanteringsgrupp. Börja med baslinjeprinciper för varje arbetsbelastningstyp, till exempel de principer som används i Azure-landningszoner. Lägg till fler Azure Policy-definitioner i baslinjen för att skapa enhetlig styrning för Azure AI-tjänster, Azure AI Search, Azure Machine Learning och Azure Virtual Machines.
Distribuera AI-resurser i arbetsbelastningsprenumerationer. AI-resurser måste ärva principer för arbetsbelastningsstyrning från arbetsbelastningshanteringsgruppen (intern eller internetuppkopplad). Håll dem åtskilda från plattformsresurser. AI-resurser som styrs av plattformsteam tenderar att skapa flaskhalsar i utvecklingen. I samband med Azure-landningszonen distribuerar du AI-arbetsbelastningar till prenumerationer på programlandningszoner.
Upprätta AI-nätverk
AI-nätverk avser utformning och implementering av nätverksinfrastruktur för AI-arbetsbelastningar, inklusive säkerhet och anslutning. Det handlar om att använda topologier som hub-and-spoke, tillämpa säkerhetsåtgärder som DDoS-skydd och säkerställa effektiv dataöverföring. Effektiva AI-nätverk är avgörande för säker och tillförlitlig kommunikation, för att förhindra nätverksbaserade störningar och upprätthålla prestanda.
Aktivera Azure DDoS Protection för Internetuppkopplade AI-arbetsbelastningar. Azure DDoS Protection skyddar dina AI-tjänster från potentiella störningar och driftstopp som orsakas av distribuerade överbelastningsattacker. Aktivera Azure DDoS-skydd på virtuell nätverksnivå för att skydda mot trafiköversvämmningar som riktas mot internetanslutna program.
Anslut till lokala data. För organisationer som överför stora mängder data från lokala källor till molnmiljöer använder du en anslutning med hög bandbredd.
Överväg Azure ExpressRoute. Azure ExpressRoute är perfekt för höga datavolymer, realtidsbearbetning eller arbetsbelastningar som kräver konsekventa prestanda. Den har En FastPath-funktion som förbättrar prestanda för datavägar.
Överväg Azure VPN Gateway. Använd Azure VPN Gateway för måttliga datavolymer, sällan förekommande dataöverföring eller när offentlig Internetåtkomst krävs. Det är enklare att konfigurera och kostnadseffektivt för mindre datauppsättningar än ExpressRoute. Använd rätt topologi och design för dina AI-arbetsbelastningar. Använd plats-till-plats-VPN för anslutning mellan platser och hybridanslutningar. Använd ett punkt-till-plats-VPN för säker enhetsanslutning. Mer information finns i Ansluta ett lokalt nätverk till Azure.
Förbereda domännamnsmatchningstjänster. När du använder privata slutpunkter integrerar du privata slutpunkter med DNS för korrekt DNS-matchning och lyckade privata slutpunktsfunktioner. Distribuera Azure DNS-infrastruktur som en del av din Azure-landningszon och konfigurera villkorliga vidarebefordrare från befintliga DNS-tjänster för lämpliga zoner. Mer information finns i Private Link och DNS-integrering i stor skala för Azure-landningszoner.
Konfigurera nätverksåtkomstkontroller. Använd nätverkssäkerhetsgrupper (NSG:er) för att definiera och tillämpa åtkomstprinciper som styr inkommande och utgående trafik till och från AI-arbetsbelastningar. Dessa kontroller kan användas för att implementera principen om lägsta behörighet, vilket säkerställer att endast nödvändig kommunikation tillåts.
Använd nätverksövervakningstjänster. Använd tjänster som Azure Monitor Network Insights och Azure Network Watcher för att få insyn i nätverkets prestanda och hälsa. Dessutom kan du använda Microsoft Sentinel för avancerad hotidentifiering och svar i ditt Azure-nätverk.
Distribuera Azure Firewall för att inspektera och skydda utgående Azure-arbetsbelastningstrafik. Azure Firewall tillämpar säkerhetsprinciper för utgående trafik innan den når Internet. Använd den för att styra och övervaka utgående trafik och aktivera SNAT för att dölja interna IP-adresser genom att översätta privata IP-adresser till brandväggens offentliga IP-adress. Det säkerställer säker och identifierbar utgående trafik för bättre övervakning och säkerhet.
Använd Azure Web Application Firewall (WAF) för internetuppkopplade arbetsbelastningar. Azure WAF hjälper till att skydda dina AI-arbetsbelastningar från vanliga webbsårbarheter, inklusive SQL-inmatningar och skriptattacker mellan webbplatser. Konfigurera Azure WAF på Application Gateway för arbetsbelastningar som kräver förbättrad säkerhet mot skadlig webbtrafik.
Upprätta en AI-grund
En AI-grund tillhandahåller den grundläggande infrastruktur- och resurshierarkin som stöder AI-arbetsbelastningar i Azure. Det omfattar att konfigurera skalbara och säkra miljöer som överensstämmer med styrnings- och driftbehov. En stark AI-grund möjliggör effektiv distribution och hantering av AI-arbetsbelastningar. Det säkerställer också säkerhet och flexibilitet för framtida tillväxt.
Använda Azure-landningszon
En Azure-landningszon är den rekommenderade startpunkten som förbereder din Azure-miljö. Det ger en fördefinierad konfiguration för plattforms- och programresurser. När plattformen är på plats kan du distribuera AI-arbetsbelastningar till dedikerade programlandningszoner. Bild 2 nedan visar hur AI-arbetsbelastningar integreras i en Azure-landningszon.
Bild 2. AI-arbetsbelastning i en Azure-landningszon.
Skapa en AI-miljö
Om du inte använder en Azure-landningszon följer du rekommendationerna i den här artikeln för att skapa din AI-miljö. Följande diagram visar en baslinjeresurshierarki. Det segmentera interna AI-arbetsbelastningar och Internetuppkopplade AI-arbetsbelastningar, enligt beskrivningen i upprätta AI-styrning. Interna arbetsbelastningar använder principen för att neka onlineåtkomst från kunder. Den här separationen skyddar interna data från exponering för externa användare. AI-utveckling använder en jumpbox för att hantera AI-resurser och data.
Bild 3. Originalresurshierarki för AI-arbetsbelastningar.
Nästa steg
Nästa steg är att skapa och distribuera AI-arbetsbelastningar till din AI-miljö. Använd följande länkar för att hitta den arkitekturvägledning som uppfyller dina behov. Börja med PaaS-arkitekturer (platform-as-a-service). PaaS är Microsofts rekommenderade metod för att införa AI.