Választás a felhőalapú és a helyi AI-modellek között

Az AI-funkciókat integrálni kívánó alkalmazásfejlesztők számára a Microsoft Windows átfogó és rugalmas platformot kínál, amely támogatja a helyi, eszközalapú feldolgozást és a skálázható felhőalapú megoldásokat is.

A felhőalapú és a helyi AI-modellek közötti választás az Adott igényektől és prioritásoktól függ. Számos éles alkalmazás hibrid stratégiát használ: először próbáljon ki egy helyi Windows AI API-t vagy egy helyi modellt, majd térjen vissza egy felhővégpontra, amikor a modell nincs telepítve, az eszköz nem támogatott, a felhasználó nem járul hozzá a modell letöltéséhez, vagy a feladathoz nagyobb modellre van szükség.

Megfontolandó tényezők:

  • Adatvédelem, megfelelőség és biztonság
  • Erőforrás rendelkezésre állása
  • Akadálymentesség és együttműködés
  • Költség
  • Karbantartás és frissítések
  • Teljesítmény > késés
  • Skálázhatóság
  • Csatlakozási követelmények
  • Modell mérete és összetettsége
  • Eszközhasználat és a kapcsolódó ökoszisztéma
  • Testreszabás és vezérlés

Az alkalmazásfejlesztők legfontosabb döntési tényezői

  • Adatvédelem, megfelelőség és biztonság

    • Helyi, helyszíni: Mivel az adatok az eszközön maradnak, a modell helyi futtatása előnyökkel járhat a biztonság és az adatvédelem terén, és az adatbiztonság a felhasználóra hárul. A fejlesztő felelős a frissítések kezeléséért, a kompatibilitás biztosításáért és a biztonsági rések monitorozásáért.

    • Felhő: A felhőszolgáltatók robusztus biztonsági intézkedéseket kínálnak, de az adatokat át kell vinni a felhőbe, ami bizonyos esetekben adatvédelmi aggályokat vethet fel az üzleti vagy appszolgáltatás-karbantartó számára. A felhőbe történő adatküldésnek meg kell felelnie az adatvédelmi előírásoknak is, például a GDPR-nak vagy a HIPAA-nak az adatok jellegétől és az alkalmazás működési régiójától függően. A felhőszolgáltatók általában a biztonsági frissítéseket és a karbantartást kezelik, de a felhasználóknak gondoskodniuk kell arról, hogy biztonságos API-kat használjanak, és követik az adatkezelés ajánlott eljárásait.

  • Erőforrás rendelkezésre állása

    • Helyi, helyszíni: A modell futtatása a használt eszközön elérhető erőforrásoktól függ, beleértve a processzort, a GPU-t, az NPU-t, a memóriát és a tárolási kapacitást. Ez korlátozott lehet, ha az eszköz nem rendelkezik nagy számítási teljesítménnyel vagy elegendő tárhellyel. A kis nyelvi modellek (SLM-ek) például Phijobban alkalmasak helyi használatra egy eszközön. Copilot+ A számítógépek beépített modelleket kínálnak a támogatott használatra kész AI-funkciókkal Microsoft Foundry on Windows.

    • Felhő: A felhőplatformok, például az Azure AI-szolgáltatások méretezhető erőforrásokat kínálnak. Annyi számítási teljesítményt vagy tárterületet használhat, amennyire szüksége van, és csak azért fizethet, amit használ. A nagyméretű nyelvi modellek (LLM-ek), mint az OpenAI nyelvi modellek, több erőforrást igényelnek, de hatékonyabbak is.

  • Akadálymentesség és együttműködés

    • Helyi, helyszíni: A modell és az adatok csak az eszközön érhetők el, kivéve, ha manuálisan vannak megosztva. Ez megnehezítheti a modelladatokon végzett együttműködést.

    • Felhő: A modell és az adatok bárhonnan elérhetők internetkapcsolattal. Ez jobb lehet az együttműködési forgatókönyvekhez.

  • Költség

    • Helyi, helyszíni: Az eszköz hardverbe történő kezdeti befektetésén túl nincs további költség.

    • Felhő: Bár a felhőplatformok használatalapú fizetéses modellen működnek, a költségek a felhasznált erőforrások és a használat időtartama alapján halmozódhatnak fel.

  • Karbantartás és frissítések

    • Helyi, helyszíni: A felhasználó feladata a rendszer fenntartása és a frissítések telepítése.

    • Felhő: A karbantartást, a rendszerfrissítéseket és az új funkciófrissítéseket a felhőszolgáltató kezeli, csökkentve ezzel a felhasználó karbantartási terhelését.

  • Teljesítmény & késés

    • Helyi, helyszíni: A modell helyi futtatása csökkentheti a késést, mivel az adatokat nem kell a hálózaton keresztül elküldeni. A teljesítményt azonban az eszköz hardveres képességei korlátozzák.

    • Felhő: A felhőalapú modellek hatékony hardvereket használhatnak, de a hálózati kommunikáció miatt késést okozhatnak. A teljesítmény a felhasználó internetkapcsolata és a felhőszolgáltatás válaszideje alapján változhat.

  • Méretezhetőség

    • Helyi, helyszíni: A modell helyi eszközön való méretezéséhez jelentős hardverfrissítésre vagy több eszköz hozzáadására lehet szükség, ami költséges és időigényes lehet.

    • Felhő: A felhőplatformok egyszerű méretezhetőséget biztosítanak, így fizikai hardvermódosítások nélkül gyorsan módosíthatja az erőforrásokat az igények alapján.

  • Kapcsolatra vonatkozó követelmények

    • Helyi, helyszíni: A helyi eszközök nem igényelnek internetkapcsolatot a modell futtatásához, ami előnyös lehet a korlátozott kapcsolattal rendelkező környezetekben.

    • Felhő: A felhőalapú modelleknek stabil internetkapcsolatra van szükségük a hozzáféréshez, és hálózati problémák is befolyásolhatják.

  • Futtatókörnyezet rendelkezésre állása és tartalék

    • Helyi, helyszíni: A helyi AI-funkciók a hardvertől, a verziótól, WindowsWindows az App SDK-verziótól, a régiótól és az opcionális modell telepítésétől függhetnek. A helyi AI-funkció meghívása előtt ellenőrizze a készültségi állapotát, és végigvezeti a felhasználót a szükséges modellletöltési vagy jóváhagyási folyamaton. A(z) Windows AI API-khoz használja az API-specifikus üzembe helyezési mintát, amelyet az Ismerkedés a(z) Windows AI API-kkal című témakör és az egyes API-oldalak ismertetnek.

    • Felhő: A felhővégpontok tartalékot biztosíthatnak, ha egy helyi modell nem áll készen vagy nem támogatott az aktuális eszközön. Döntse el, hogy a tartalék megoldás automatikus, felhasználó által szabályozott vagy le van tiltva-e az adatvédelmi szempontból érzékeny esetekben. Győződjön meg arról, hogy a felhasználói felület elmagyarázza, hogy az adatok mikor hagyják el az eszközt.

  • Modell mérete és összetettsége

    • Helyi, helyszíni: A helyi eszközök a hardverkorlátok miatt futtatható modellek méretét és összetettségét korlátozhatják. A kisebb modellek, például Phia helyi végrehajtáshoz jobban alkalmasak.

    • Felhő: A felhőplatformok méretezhető infrastruktúrájuk miatt képesek kezelni a nagyobb és összetettebb modelleket, például az OpenAI által biztosított modelleket.

  • Eszközhasználat és a kapcsolódó ökoszisztéma

    • Helyi, helyszíni: A helyi AI-megoldások, például Microsoft FoundryMicrosoft Foundry on Windowsaz Windows ML és az App SDK-val és Foundry Localaz ONNX-futtatókörnyezettel Windows integrálva lehetővé teszik a fejlesztők számára a modellek közvetlen beágyazását asztali vagy peremalkalmazásokba minimális külső függőségekkel.

    • Felhő: A felhőalapú AI-megoldások, például Microsoft FoundryAzure az AI-szolgáltatások és Azure az OpenAI-szolgáltatások átfogó API-kat és SDK-kat biztosítanak az AI-alkalmazások létrehozásához. Ezek a szolgáltatások úgy lettek kialakítva, hogy zökkenőmentesen integrálhatók legyenek a DevOps, Azure a GitHub Copilot, a Szemantic Kernel és más Azure szolgáltatások használatával, lehetővé téve a végpontok közötti vezénylést, a modellek üzembe helyezését és a nagy léptékű monitorozást.

  • Testreszabás és vezérlés

    • Helyi, helyszíni: A helyi modellek azonnal használhatók anélkül, hogy magas szintű szakértelemre lenne szükség. Microsoft Foundry on Windows olyan modelleket kínál, mint Phi Silica amelyek használatra készek. Alternatív megoldásként az ML lehetővé teszi a Windows fejlesztők számára, hogy közvetlenül Windows az eszközökön egyéni modelleket futtasson, például az ONNX Runtime-nal betanított modelleket. Ez magas szintű vezérlést biztosít a modell és viselkedése felett, lehetővé téve az adott használati esetek alapján történő finomhangolást és optimalizálást. Foundry Local emellett lehetővé teszi a fejlesztők számára, hogy helyileg futtatják a modelleket az Windows eszközökön, magas szintű vezérlést biztosítva a modell és viselkedése felett.

    • Felhő: A felhőalapú modellek használatra kész és testre szabható lehetőségeket is kínálnak, így a fejlesztők előre betanított képességeket használhatnak, miközben a modellt a saját igényeikhez igazíthatják. Microsoft Foundry egy egységes Azure platformszolgáltatás a vállalati AI-műveletekhez, modellkészítőknek és alkalmazásfejlesztéshez. Ez az alap egyesíti az éles szintű infrastruktúrát a barátságos felületekkel, így a fejlesztők az infrastruktúra kezelése helyett az alkalmazások létrehozására összpontosítanak.

Felhőbeli AI-minták

Ha egy felhőalapú megoldás jobban megfelel az Windows alkalmazásforgatókönyvnek, az alábbi oktatóanyagok némelyike érdekelheti.

Számos API érhető el a felhőalapú modellek eléréséhez az alkalmazás AI-funkcióinak Windows használatához, függetlenül attól, hogy ezek a modellek testre szabottak vagy használatra készek. A felhőalapú modell használata lehetővé teszi, hogy az alkalmazás zökkenőmentes maradjon az erőforrás-igényes feladatok felhőbe való delegálásával. A Microsoft vagy az OpenAI által kínált felhőalapú AI-alapú API-k hozzáadásához néhány forrás:

  • ChatGPT befejezések hozzáadása WinUI 3 / Windows Alkalmazás SDK asztali alkalmazáshoz: Oktatóanyag arra, hogyan integráljuk a felhőalapú OpenAI ChatGPT befejezési funkcióit a WinUI 3 / Windows Alkalmazás SDK asztali alkalmazásba.

  • DALL-E hozzáadása a WinUI-hoz 3/ Windows App SDK asztali alkalmazás: Oktatóanyag arról, hogyan integrálható a felhőalapú OpenAI DALL-E képgenerálási képességek egy WinUI 3/ Windows App SDK asztali alkalmazásba.

  • Azure OpenAI-szolgáltatás: Ha azt szeretné, hogy az Windows alkalmazás hozzáférhessen az OpenAI-modellekhez, például a GPT-4-hez, a GPT-4 Turbo with Vision-hez, a GPT-3.5-Turbo-hoz, a DALLE-3-hoz vagy a Beágyazások modellsorozathoz a hozzáadott biztonsági és vállalati funkciókkal Azure, ebben az Azure OpenAI-dokumentációban talál útmutatást.

  • Azure AI-szolgáltatások: Azure a rest API-k és az ügyféloldali kódtár SDK-k segítségével elérhető AI-szolgáltatások teljes csomagját kínálja népszerű fejlesztési nyelveken. További információkért tekintse meg az egyes szolgáltatások dokumentációját. Ezek a felhőalapú szolgáltatások segítenek a fejlesztőknek és szervezeteknek gyorsan intelligens, élvonalbeli, piackész és felelős alkalmazásokat létrehozni a beépített, előre összeállított és testreszabható API-k és modellek használatával. A példaalkalmazások közé tartozik a beszélgetések természetes nyelvi feldolgozása, a keresés, a monitorozás, a fordítás, a beszéd, a látás és a döntéshozatal.

Hibrid helyi/felhőbeli elérési út tervezése

Használjon hibrid elérési utat, ha az alkalmazásnak kihasználnia kell a helyi következtetés előnyeit, ha elérhető, de továbbra is hasznos élményt nyújt a nem támogatott eszközökön, vagy mielőtt egy helyi modell készen áll.

  1. Először válassza ki a helyi képességet. Kezdje az Windows AI API-val, ha az megfelel a forgatókönyvnek, vagy használja Windows az ML/ Foundry Local -t, ha egy adott modellt kell futtatnia.
  2. Használat előtt ellenőrizze a készültséget. Indításkor vagy a funkció megjelenítése előtt kérdezze le a helyi szolgáltatás készültségi állapotát. Ha az API azt jelenti, hogy a szolgáltatás nem támogatott, nincs telepítve, vagy letöltésre van szüksége, ne hívja meg vakon.
  3. Kérjen hozzájárulást, ha egy helyi modellt le kell tölteni. Egyes helyi modellek opcionálisak, és a méretük akár több GB is lehet. Ismertesse a letöltés méretét, a modell szükséges okát, és hogy az alkalmazás nélkül is folytatódhat-e.
  4. Adjon meg egy felhőalapú tartalékmegoldást. Ha a helyi modell nem áll készen, csak akkor hívjon felhővégpontot, ha a felhasználó és a szervezet engedélyezi az adatoknak az eszköz elhagyásához. A helyi és a felhőbeli útvonalakat tartsa ugyanazon alkalmazásszintű absztrakció mögött, így az alkalmazás többi része nem függ attól, hogy hol fut a következtetés.
  5. A viselkedés megfigyelhető maradjon. Naplózza, hogy melyik útvonalat használták, a készenléti ellenőrzési hibákat, a modellletöltések eredményeit és a felhőre váltási hibákat, de ne naplózzon promptokat, tokeneket vagy bizalmas tartalmat, kivéve, ha a szervezete jóváhagyta az ilyen adatkezelést.

Hibrid tartalék döntési folyamat

Használja ezt a folyamatot kiindulási pontként:

  1. Amikor a felhasználó elindít egy AI-funkciót, ellenőrizze, hogy egy helyi AI-funkció megfelel-e a feladatnak.
  2. Ha egy helyi funkció sem felel meg a feladatnak, használja a felhőbeli AI-t vagy egy másik szolgáltatást.
  3. Ha egy helyi funkció megfelel a feladatnak, ellenőrizze, hogy a funkció készen áll-e az aktuális eszközön.
  4. Ha a helyi funkció készen áll, futtassa a helyi következtetést.
  5. Ha a helyi szolgáltatásnak modellletöltésre van szüksége, kérjen felhasználói hozzájárulást a letöltés megkezdése előtt.
  6. Ha a felhasználó beleegyezik, töltse le vagy készítse elő a modellt, majd próbálkozzon újra a helyi következtetéssel.
  7. Ha a felhasználó nem járul hozzá, vagy ha a helyi funkció nem támogatott, ellenőrizze, hogy engedélyezve van-e a felhőbeli tartalék a forgatókönyvhöz.
  8. Ha a felhőalapú tartalékmegoldás engedélyezett, használja a felhőalapú elérési utat.
  9. Ha a felhőbeli tartalék nem engedélyezett, magyarázza el az eszközre, modellre vagy szabályzatra vonatkozó követelményt, és tiltsa le vagy rejtse el a funkciót.

A helyi felkészültség részleteiért lásd az Windows AI API-kat, az AI API-k használatának első lépéseit Windowsés az Windows ML-ket. Foundry Local

  • Last updated on