Választás a felhőalapú és a helyi AI-modellek között

Az AI-funkciókat integrálni kívánó alkalmazásfejlesztők számára a Microsoft Windows átfogó és rugalmas platformot kínál, amely támogatja a helyi, eszközalapú feldolgozást és a skálázható felhőalapú megoldásokat is.

A felhőalapú és a helyi AI-modellek közötti választás az Adott igényektől és prioritásoktól függ. Megfontolandó tényezők:

• Adatvédelem, megfelelőség és biztonság
• Erőforrás rendelkezésre állása
• Akadálymentesség és együttműködés
• Költség
• Karbantartás és frissítések
• Teljesítmény > késés
• Skálázhatóság
• Csatlakozási követelmények
• Modell mérete és összetettsége
• Eszközhasználat és a kapcsolódó ökoszisztéma
• Testreszabás és vezérlés

Az alkalmazásfejlesztők legfontosabb döntési tényezői

• Adatvédelem, megfelelőség és biztonság

  • • Helyi, helyszíni: Mivel az adatok az eszközön maradnak, a modell helyi futtatása előnyökkel járhat a biztonság és az adatvédelem terén, és az adatbiztonság a felhasználóra hárul. A fejlesztő felelős a frissítések kezeléséért, a kompatibilitás biztosításáért és a biztonsági rések monitorozásáért.
  • • Felhő: A felhőszolgáltatók robusztus biztonsági intézkedéseket kínálnak, de az adatokat át kell vinni a felhőbe, ami bizonyos esetekben adatvédelmi aggályokat vethet fel az üzleti vagy appszolgáltatás-karbantartó számára. A felhőbe történő adatküldésnek meg kell felelnie az adatvédelmi előírásoknak is, például a GDPR-nak vagy a HIPAA-nak az adatok jellegétől és az alkalmazás működési régiójától függően. A felhőszolgáltatók általában a biztonsági frissítéseket és a karbantartást kezelik, de a felhasználóknak gondoskodniuk kell arról, hogy biztonságos API-kat használjanak, és követik az adatkezelés ajánlott eljárásait.

• Erőforrás rendelkezésre állása

  • Helyi, helyszíni: A modell futtatása a használt eszközön elérhető erőforrásoktól függ, beleértve a processzort, a GPU-t, az NPU-t, a memóriát és a tárolási kapacitást. Ez korlátozott lehet, ha az eszköz nem rendelkezik nagy számítási teljesítménnyel vagy elegendő tárhellyel. A kis nyelvi modellek (SLM-ek) például Phijobban alkalmasak helyi használatra egy eszközön. Copilot+ A számítógépek beépített modelleket kínálnak a támogatott használatra kész AI-funkciókkal Microsoft Foundry on Windows.

  • • Felhő: A felhőplatformok, például az Azure AI-szolgáltatások méretezhető erőforrásokat kínálnak. Annyi számítási teljesítményt vagy tárterületet használhat, amennyire szüksége van, és csak azért fizethet, amit használ. A nagyméretű nyelvi modellek (LLM-ek), mint az OpenAI nyelvi modellek, több erőforrást igényelnek, de hatékonyabbak is.

• Akadálymentesség és együttműködés

  • • Helyi, helyszíni: A modell és az adatok csak az eszközön érhetők el, kivéve, ha manuálisan vannak megosztva. Ez megnehezítheti a modelladatokon végzett együttműködést.
  • • Felhő: A modell és az adatok bárhonnan elérhetők internetkapcsolattal. Ez jobb lehet az együttműködési forgatókönyvekhez.

• Költség

  • Helyi, helyszíni: Az eszköz hardverbe történő kezdeti befektetésén túl nincs további költség.

  • Felhő: Bár a felhőplatformok használatalapú fizetéses modellen működnek, a költségek a felhasznált erőforrások és a használat időtartama alapján halmozódhatnak fel.

• Karbantartás és frissítések

  • Helyi, helyszíni: A felhasználó feladata a rendszer fenntartása és a frissítések telepítése.

  • Felhő: A karbantartást, a rendszerfrissítéseket és az új funkciófrissítéseket a felhőszolgáltató kezeli, csökkentve ezzel a felhasználó karbantartási terhelését.

• Teljesítmény & késés

  • Helyi, helyszíni: A modell helyi futtatása csökkentheti a késést, mivel az adatokat nem kell a hálózaton keresztül elküldeni. A teljesítményt azonban az eszköz hardveres képességei korlátozzák.

  • Felhő: A felhőalapú modellek hatékony hardvereket használhatnak, de a hálózati kommunikáció miatt késést okozhatnak. A teljesítmény a felhasználó internetkapcsolata és a felhőszolgáltatás válaszideje alapján változhat.

• Méretezhetőség

  • Helyi, helyszíni: A modell helyi eszközön való méretezéséhez jelentős hardverfrissítésre vagy több eszköz hozzáadására lehet szükség, ami költséges és időigényes lehet.

  • Felhő: A felhőplatformok egyszerű méretezhetőséget biztosítanak, így fizikai hardvermódosítások nélkül gyorsan módosíthatja az erőforrásokat az igények alapján.

• Kapcsolatra vonatkozó követelmények

  • Helyi, helyszíni: A helyi eszközök nem igényelnek internetkapcsolatot a modell futtatásához, ami előnyös lehet a korlátozott kapcsolattal rendelkező környezetekben.

  • Felhő: A felhőalapú modelleknek stabil internetkapcsolatra van szükségük a hozzáféréshez, és hálózati problémák is befolyásolhatják.

• Modell mérete és összetettsége

  • Helyi, helyszíni: A helyi eszközök a hardverkorlátok miatt futtatható modellek méretét és összetettségét korlátozhatják. A kisebb modellek, például Phia helyi végrehajtáshoz jobban alkalmasak.

  • Felhő: A felhőplatformok méretezhető infrastruktúrájuk miatt képesek kezelni a nagyobb és összetettebb modelleket, például az OpenAI által biztosított modelleket.

• Eszközhasználat és a kapcsolódó ökoszisztéma

  • Helyi, helyszíni: A helyi AI-megoldások, például Microsoft FoundryMicrosoft Foundry on Windowsaz Windows ML és az App SDK-val és Foundry Localaz ONNX-futtatókörnyezettel Windows integrálva lehetővé teszik a fejlesztők számára a modellek közvetlen beágyazását asztali vagy peremalkalmazásokba minimális külső függőségekkel.

  • Felhő: A felhőalapú AI-megoldások, például Microsoft FoundryAzure az AI-szolgáltatások és Azure az OpenAI-szolgáltatások átfogó API-kat és SDK-kat biztosítanak az AI-alkalmazások létrehozásához. Ezek a szolgáltatások úgy lettek kialakítva, hogy zökkenőmentesen integrálhatók legyenek a DevOps, Azure a GitHub Copilot, a Szemantic Kernel és más Azure szolgáltatások használatával, lehetővé téve a végpontok közötti vezénylést, a modellek üzembe helyezését és a nagy léptékű monitorozást.

• Testreszabás és vezérlés

  • Helyi, helyszíni: A helyi modellek azonnal használhatók anélkül, hogy magas szintű szakértelemre lenne szükség. Microsoft Foundry on Windows olyan modelleket kínál, mint Phi Silica amelyek használatra készek. Alternatív megoldásként az ML lehetővé teszi a Windows fejlesztők számára, hogy közvetlenül Windows az eszközökön egyéni modelleket futtasson, például az ONNX Runtime-nal betanított modelleket. Ez magas szintű vezérlést biztosít a modell és viselkedése felett, lehetővé téve az adott használati esetek alapján történő finomhangolást és optimalizálást. Foundry Local emellett lehetővé teszi a fejlesztők számára, hogy helyileg futtatják a modelleket az Windows eszközökön, magas szintű vezérlést biztosítva a modell és viselkedése felett.

  • Felhő: A felhőalapú modellek használatra kész és testre szabható lehetőségeket is kínálnak, így a fejlesztők előre betanított képességeket használhatnak, miközben a modellt a saját igényeikhez igazíthatják. Microsoft Foundry egy egységes Azure platformszolgáltatás a vállalati AI-műveletekhez, modellkészítőknek és alkalmazásfejlesztéshez. Ez az alap egyesíti az éles szintű infrastruktúrát a barátságos felületekkel, így a fejlesztők az infrastruktúra kezelése helyett az alkalmazások létrehozására összpontosítanak.

Felhőbeli AI-minták

Ha egy felhőalapú megoldás jobban megfelel az Windows alkalmazásforgatókönyvnek, az alábbi oktatóanyagok némelyike érdekelheti.

Számos API érhető el a felhőalapú modellek eléréséhez az alkalmazás AI-funkcióinak Windows használatához, függetlenül attól, hogy ezek a modellek testre szabottak vagy használatra készek. A felhőalapú modell használata lehetővé teszi, hogy az alkalmazás zökkenőmentes maradjon az erőforrás-igényes feladatok felhőbe való delegálásával. A Microsoft vagy az OpenAI által kínált felhőalapú AI-alapú API-k hozzáadásához néhány forrás:

• ChatGPT befejezések hozzáadása WinUI 3 / Windows Alkalmazás SDK asztali alkalmazáshoz: Oktatóanyag arra, hogyan integráljuk a felhőalapú OpenAI ChatGPT befejezési funkcióit a WinUI 3 / Windows Alkalmazás SDK asztali alkalmazásba.

• DALL-E hozzáadása a WinUI-hoz 3/ Windows App SDK asztali alkalmazás: Oktatóanyag arról, hogyan integrálható a felhőalapú OpenAI DALL-E képgenerálási képességek egy WinUI 3/ Windows App SDK asztali alkalmazásba.

• Javaslati alkalmazás létrehozása a .NET MAUI és a ChatGPT használatával: Oktatóanyag a felhőalapú OpenAI ChatGPT-teljesítési képességeket egy .NET MAUI-alkalmazásba integráló javaslati mintaalkalmazás létrehozásáról.

• DALL-E hozzáadása az asztali .NET MAUI-alkalmazáshozWindows: Oktatóanyag arról, hogyan integrálható a felhőalapú OpenAI DALL-E képgenerálási képességek egy .NET MAUI-alkalmazásba.

• Azure OpenAI-szolgáltatás: Ha azt szeretné, hogy az Windows alkalmazás hozzáférhessen az OpenAI-modellekhez, például a GPT-4-hez, a GPT-4 Turbo with Vision-hez, a GPT-3.5-Turbo-hoz, a DALLE-3-hoz vagy a Beágyazások modellsorozathoz a hozzáadott biztonsági és vállalati funkciókkal Azure, ebben az Azure OpenAI-dokumentációban talál útmutatást.

• Azure AI-szolgáltatások: Azure a rest API-k és az ügyféloldali kódtár SDK-k segítségével elérhető AI-szolgáltatások teljes csomagját kínálja népszerű fejlesztési nyelveken. További információkért tekintse meg az egyes szolgáltatások dokumentációját. Ezek a felhőalapú szolgáltatások segítenek a fejlesztőknek és szervezeteknek gyorsan intelligens, élvonalbeli, piackész és felelős alkalmazásokat létrehozni a beépített, előre összeállított és testreszabható API-k és modellek használatával. A példaalkalmazások közé tartozik a beszélgetések természetes nyelvi feldolgozása, a keresés, a monitorozás, a fordítás, a beszéd, a látás és a döntéshozatal.