Megosztás a következőn keresztül:

AI-architektúra tervezése

  • Cikk

Az AI egy olyan technológia, amellyel a gépek intelligens emberi viselkedést utánoznak. A gépek AI-t használhatnak a következőre:

  • Adatok elemzése képek és videók létrehozásához.
  • Beszéd elemzése és szintetizálása.
  • Verbális interakció természetes módon.
  • Előrejelzések készítése és új adatok létrehozása.

A mi-t beépítheti az alkalmazásokba, hogy olyan funkciókat hajtson végre, vagy olyan döntéseket hozzon, amelyeket a hagyományos logika vagy feldolgozás nem tud hatékonyan kezelni. Megoldásokat tervező építészként fontos tisztában lenni az AI és a gépi tanulási környezettel, valamint azzal, hogy hogyan integrálhatja az Azure-megoldásokat a számítási feladatok tervezésébe.

Kezdj hozzá

Az Azure Architecture Center példaarchitektúrákat, architektúra-útmutatókat, architekturális alapkonfigurációkat és ötleteket kínál, amelyeket a forgatókönyvre alkalmazhat. Az AI-t és gépi tanulási összetevőket tartalmazó számítási feladatoknak az Azure Well-Architected Framework AI számítási feladatok útmutatásait kell követniük. Ez az útmutató olyan alapelveket és tervezési útmutatókat tartalmaz, amelyek befolyásolják a mesterséges intelligenciát és a gépi tanulási számítási feladatokat az öt architektúrapillérben. Ezeket a javaslatokat az Azure Architecture Center forgatókönyveiben és tartalmában kell implementálnia.

AI-fogalmak

Az AI-fogalmak számos olyan technológiát és módszertant foglalnak magukban, amelyek lehetővé teszik, hogy a gépek olyan feladatokat hajtsanak végre, amelyek általában emberi intelligenciát igényelnek. A következő szakaszok áttekintést nyújtanak a legfontosabb AI-fogalmakról.

Algoritmusok

algoritmusok vagy gépi tanulási algoritmusok olyan kódrészletek, amelyek segítenek az összetett adathalmazok jelentésének feltárásában, elemzésében és megtalálásában. Minden algoritmus egy véges, egyértelmű lépésenkénti utasításkészlet, amelyet a gép egy adott cél elérése érdekében követhet. A gépi tanulási modell célja olyan minták létrehozása vagy felderítése, amelyekkel az emberek előrejelzéseket készíthetnek, vagy információkat kategorizálhatnak. Egy algoritmus leírhatja, hogyan állapítható meg, hogy egy kisállat macska, kutya, hal, madár vagy gyík. Egy másik sokkal bonyolultabb algoritmus leírja, hogyan azonosíthat egy írott vagy beszélt nyelvet, elemezheti a szavait, lefordíthatja őket egy másik nyelvre, majd ellenőrizheti a fordítás pontosságát.

Válasszon a feladatának leginkább megfelelő algoritmuscsaládot. Értékelje ki a család különböző algoritmusait, hogy megtalálja a számítási feladatnak megfelelőt. További információ: Mik azok a gépi tanulási algoritmusok?.

Gépi tanulás

A gépi tanulás egy AI-technika, amely algoritmusokkal hoz létre prediktív modelleket. Ezek az algoritmusok elemzik az adatmezőket, és "tanulnak" az adatok mintáiból a modellek létrehozásához. A modellek ezután megalapozott előrejelzéseket vagy döntéseket hozhatnak új adatok alapján.

A prediktív modelleket az ismert adatok alapján ellenőrzi a rendszer, meghatározott üzleti forgatókönyvek teljesítménymetrikái alapján méri, majd szükség szerint módosítja. Ezt a tanulási és érvényesítési folyamatot képzésnek nevezzük. Rendszeres újratanítással a gépi tanulási modellek idővel javulnak.

A számítási feladatok tervezése során gépi tanulást használhat, ha a forgatókönyv olyan múltbeli megfigyeléseket tartalmaz, amelyeket megbízhatóan használhat a jövőbeli helyzetek előrejelzéséhez. Ezek a megfigyelések lehetnek univerzális igazságok, például számítógépes látás, amely észleli az állatok egyik formáját egy másikból. Vagy ezek a megfigyelések az Ön helyzetére lehetnek jellemzőek, például a számítógépes látás, amely a korábbi jótállási igények adatai alapján észleli a lehetséges összeszerelési hibát a szerelvénysorokon.

További információ: Mi a gépi tanulás?.

Mély tanulás

mélytanulási a gépi tanulás olyan típusa, amely saját adatfeldolgozással tanulható. A gépi tanuláshoz hasonlóan algoritmusokkal is elemzi az adatokat. Az adatokat azonban mesterséges neurális hálózatokon keresztül elemzi, amelyek számos bemenetet, kimenetet és feldolgozási réteget tartalmaznak. Minden réteg más-más módon tudja feldolgozni az adatokat. Az egyik réteg kimenete lesz a következő bemenete. Ez a folyamat lehetővé teszi, hogy a mély tanulás összetettebb modelleket hozzon létre, mint a hagyományos gépi tanulás.

A mély tanuláshoz nagy befektetésre van szükség, hogy nagy mértékben testre szabott vagy feltáró modelleket hozzon létre. A cikk további megoldásait is megfontolhatja, mielőtt mély tanulást adna hozzá a számítási feladathoz.

További információ: Mi a mélytanulás?.

Generatív AI

Generatív AI betanít modelleket az eredeti tartalom létrehozására számos tartalomforma alapján, például természetes nyelv, számítógépes látás, hang vagy képbevitel alapján. A generatív mesterséges intelligenciával a mindennapi nyelven leírhatja a kívánt kimenetet, és a modell megfelelő szöveg, kép és kód létrehozásával válaszolhat. A generatív AI-alkalmazások például a Microsoft Copilot és az Azure OpenAI Service.

  • Copilot elsősorban olyan felhasználói felület, amellyel kódokat, dokumentumokat és más szöveges tartalmakat írhat. Népszerű OpenAI-modelleken alapul, és számos Microsoft-alkalmazásba és felhasználói felületbe integrálható.

  • Azure OpenAI egy olyan fejlesztési platform, amely hozzáférést biztosít az OpenAI hatékony nyelvi modelljeihez, például o1-preview, o1-mini, GPT-4o, GPT-4o mini, GPT-4 Turbo with Vision, GPT-4, GPT-3.5-Turbo és Embeddings modellsorozatokhoz. Ezeket a modelleket az adott feladatokhoz, például a következőkhöz igazíthatja:

    • Tartalomgenerálás.
    • Tartalom összegzése.
    • Képértelmezés.
    • Szemantikai keresés.
    • Természetes nyelv a kódfordításhoz.

Nyelvi modellek

nyelvi modellek olyan generatív AI-részhalmazok, amelyek a természetes nyelvi feldolgozási feladatokra, például a szöveggenerálásra és a hangulatelemzésre összpontosítanak. Ezek a modellek a természetes nyelvet jelölik az adott kontextusban előforduló szavak vagy szavak sorozatainak valószínűsége alapján.

A hagyományos nyelvi modelleket a felügyelt beállításokban használják kutatási célokra, ahol a modelleket jól címkézett szöveges adatkészleteken tanítják be adott feladatokhoz. Az előre betanított nyelvi modellek akadálymentes módot kínálnak az AI használatának megkezdésére. Az utóbbi években szélesebb körben használják őket. Ezeket a modelleket nagy léptékű szöveggyűjteményekre tanítjuk be az internetről mélytanulási neurális hálózatokon keresztül. Ezeket finomhangolhatja kisebb adathalmazokon adott feladatokhoz.

A paraméterek vagy súlyok száma határozza meg a nyelvi modell méretét. A paraméterek befolyásolják, hogy a modell hogyan dolgozza fel a bemeneti adatokat, és hogyan generál kimenetet. A betanítás során a modell úgy állítja be a súlyokat, hogy minimálisra csökkentse az előrejelzések és a tényleges adatok közötti különbséget. A modell így tanulja meg a paramétereket. Minél több paraméterrel rendelkezik egy modell, annál összetettebb és kifejezőbb. De számításilag is drágább a betanítása és használata.

A kis nyelvi modellek általában kevesebb mint 10 milliárd paramétert, a nagy nyelvi modellek pedig több mint 10 milliárd paramétert rendelkeznek. A Microsoft Phi-3 modellcsalád például három verzióval rendelkezik:

  • Mini, 3,8 milliárd paraméter
  • Kicsi, 7 milliárd paraméter
  • Közepes, 14 milliárd paraméter

További információ: nyelvi modellkatalógus.

Copilots

A nyelvi modellek rendelkezésre állása új módszerek megjelenését eredményezte az alkalmazásokkal és rendszerekkel való interakcióhoz digitális copilotokon és csatlakoztatott, tartományspecifikus ügynökökön keresztül. Copilots olyan generatív AI-asszisztensek, amelyek alkalmazásba integrálhatók, gyakran csevegőfelületként. Környezetfüggő támogatást nyújtanak ezekben az alkalmazásokban a gyakori feladatokhoz.

Microsoft Copilot számos Microsoft-alkalmazással és felhasználói felülettel integrálható. Ez egy nyílt architektúrán alapul, ahol a nem Microsoft-fejlesztők saját beépülő modulokat hozhatnak létre a Copilot felhasználói élményének kibővítéséhez vagy testreszabásához. A partnerfejlesztők ugyanannak a nyílt architektúrának a használatával saját copilotokat is létrehozhatnak.

További információ:

Bővített generáció lekérése

Retrieval Augmented Generation (RAG) egy olyan architektúraminta, amely kibővíti egy nagy nyelvi modell (LLM) képességeit, például a ChatGPT-t, amely csak nyilvános adatokon van betanítva. Ezzel a mintával olyan lekérési rendszert adhat hozzá, amely megfelelő alapvető adatokat biztosít a felhasználói kéréssel összefüggésben. Az információlekérési rendszer szabályozza a nyelvi modell által a válasz megfogalmazásakor használt földelési adatokat. A RAG-architektúra segítségével a generatív AI-t a vektorizált dokumentumokból, képekből és más adatformátumokból származó tartalmakra is alkalmazhatja. A RAG nem korlátozódik a vektorkeresési tárolóra. Bármilyen adattártechnológiát használhat.

További információ: RAG-megoldás tervezése és fejlesztése és Azure-szolgáltatás kiválasztása vektorkeresési.

Azure AI-szolgáltatások

A Azure AI-szolgáltatásoksegítségével a fejlesztők és a szervezetek kész, előre összeállított és testre szabható API-kat és modelleket használhatnak intelligens, piackész és felelős alkalmazások létrehozásához. A használati esetek közé tartozik a beszélgetések természetes nyelvi feldolgozása, a keresés, a monitorozás, a fordítás, a beszéd, a látás és a döntéshozatal.

További információ:

AI nyelvi modellek

LLM-, például az OpenAI GPT-modellek olyan hatékony eszközök, amelyek természetes nyelvet hozhatnak létre különböző területeken és feladatokhoz kapcsolódóan. A modell kiválasztásához vegye figyelembe az olyan tényezőket, mint az adatvédelem, az etikai használat, a pontosság és az elfogultság.

A Nyílt Phi-modellek kicsi, kevésbé nagy számítási igényű modellek a generatív AI-megoldásokhoz. A kis nyelvi modell hatékonyabb, értelmezhetőbb és magyarázhatóbb lehet, mint egy LLM.

Munkaterhelés tervezésekor használhat nyelvi modelleket üzemeltetett megoldásként egy mérés alapú API mögött. Azt is megteheti, hogy sok kis nyelvi modell esetében a nyelvi modelleket folyamatban vagy legalább ugyanazon a számításon futtatja, mint a fogyasztó. Ha nyelvi modelleket használ a megoldásban, fontolja meg a választott nyelvi modellt és annak rendelkezésre álló üzemeltetési lehetőségeit, hogy biztosítsa a használati esethez optimalizált megoldást.

AI-fejlesztési platformok és -eszközök

Az alábbi AI-fejlesztési platformok és eszközök segítségével gépi tanulási és AI-modelleket hozhat létre, helyezhet üzembe és kezelhet.

Azure Machine Learning

Az Azure Machine Learning egy gépi tanulási szolgáltatás, amellyel modelleket hozhat létre és helyezhet üzembe. A Machine Learning webes felületeket és SDK-kat kínál a gépi tanulási modellek és folyamatok nagy léptékű betanítása és üzembe helyezése érdekében. Ezeket a képességeket mind használhatja olyan nyílt forráskódú Python-keretrendszerekkel, mint a PyTorch, a TensorFlow és a scikit-learn.

További információ:

Gépi tanulási referenciaarchitektúrák az Azure-hoz

Automatizált gépi tanulás

Az automatizált gépi tanulás (AutoML) a gépi tanulási modell fejlesztésének időigényes, iteratív feladatainak automatizálása. Az adattudósok, elemzők és fejlesztők az AutoML használatával olyan gépi tanulási modelleket hozhatnak létre, amelyek nagy léptékűek, hatékonyak és termelékenyek, miközben fenntartják a modellminőséget.

További információ:

MLflow

A Machine Learning-munkaterületek MLflow-kompatibilisek, ami azt jelenti, hogy a Machine Learning-munkaterületeket ugyanúgy használhatja, mint az MLflow-kiszolgálót. Ez a kompatibilitás a következő előnyöket nyújtja:

  • A Machine Learning nem üzemeltet MLflow-kiszolgálópéldányokat, de közvetlenül használhatja az MLflow API-kat.
  • Egy Machine Learning-munkaterületet használhat nyomkövetési kiszolgálóként bármilyen MLflow-kódhoz, függetlenül attól, hogy az a Machine Learningben fut-e. Az MLflow-t úgy kell konfigurálnia, hogy arra a munkaterületre mutasson, ahol a nyomon követésnek történnie kell.
  • Olyan betanítási rutinokat futtathat, amelyek módosítás nélkül használják az MLflow-t a Machine Learningben.

További információ: MLflow és Machine Learning és MLflow.

Generatív AI-eszközök

  • Parancssori egy olyan fejlesztési eszközkészlet, amellyel egyszerűbbé teheti a generatív AI-alkalmazások teljes körű fejlesztési ciklusát, az ideációtól, a prototípuskészítéstől a tesztelésen és a kiértékelésen át az éles üzembe helyezésig és monitorozásig. A moduláris vezénylési és folyamatmotoros műveletek kifejezésével támogatja a gyors tervezést.

  • Azure AI Foundry segítségével felelősségteljesen kísérletezhet, fejleszthet és helyezhet üzembe generatív AI-alkalmazásokat és API-kat egy átfogó platformon. Az AI Foundry portál hozzáférést biztosít az Azure AI-szolgáltatásokhoz, alapmodellekhez, egy játszótérhez és erőforrásokhoz, amelyek segítenek AI-modellek létrehozásában, betanításában, finomhangolásában és üzembe helyezésében. A jobb teljesítmény érdekében kiértékelheti a modellválaszokat, és összehangolhatja a prompt alkalmazás összetevőit prompt flow-val.

  • Copilot Studio kibővíti a Copilotot a Microsoft 365-ben. A Copilot Studióval egyéni copilotokat hozhat létre belső és külső forgatókönyvekhez. Egy átfogó szerzői vásznon megtervezheti, tesztelheti és közzéteheti a társpilótákat. Egyszerűen hozhat létre generatív AI-kompatibilis beszélgetéseket, nagyobb mértékben szabályozhatja a meglévő copilotok válaszait, és automatizált munkafolyamatok használatával felgyorsíthatja a hatékonyságot.

Adatplatformok AI-hoz

Az alábbi platformok átfogó megoldásokat kínálnak az adatok átvitelére, feldolgozására, betöltésére, átalakítására, valós idejű elemzésre és jelentéskészítésre.

Microsoft Fabric

A Microsoft Fabric egy végpontok közötti elemzési és adatplatform olyan vállalatok számára, amelyek egységes megoldást igényelnek. A számítási feladatokat végző csapatok számára hozzáférést biztosíthat az adatokhoz a Fabricen belül. A platform magában foglalja az adatáthelyezést, a feldolgozást, a betöltési, az átalakítást, a valós idejű esemény-útválasztást és a jelentéskészítést. Átfogó szolgáltatáscsomagot kínál, beleértve a Fabric Data Engineer, a Fabric Data Factory, a Fabric Data Science, a Fabric Real-Time Intelligence, a Fabric Data Warehouse és a Fabric Databases szolgáltatást.

A Fabric különálló összetevőket integrál egy összetartó verembe. Ahelyett, hogy különböző adatbázisokra vagy adattárházakra támaszkodik, központosíthatja az adattárolást a OneLake-nel. Az AI-képességek a Fabricbe vannak beágyazva, ami szükségtelenné teszi a manuális integrációt.

További információ:

Copilots in Fabric

A Copilot és más generatív AI-funkciók segítségével átalakíthatja és elemezheti az adatokat, elemzéseket hozhat létre, és vizualizációkat és jelentéseket hozhat létre a Fabricben és a Power BI-ban. Létrehozhatja saját copilotját, vagy választhat az alábbi előre összeállított copilotok közül:

AI-készségek a Fabricben

A Fabric AI-képesség funkcióval konfigurálhat egy generatív AI-rendszert az adatokkal kapcsolatos kérdésekre válaszoló lekérdezések létrehozásához. Miután konfigurált egy AI-képességet, megoszthatja a munkatársaival, akik ezután egyszerű nyelven tehetik fel kérdéseiket. A kérdéseik alapján az AI lekérdezéseket hoz létre az adott kérdésekre válaszoló adatokról.

További információ:

Apache Spark-alapú adatplatformok AI-hez

Az Apache Spark egy párhuzamos feldolgozást végző keretrendszer, amely támogatja a memóriabeli feldolgozást a big data-elemző alkalmazások teljesítményének növelése érdekében. A Spark alapvető építőelemeket biztosít a memóriabeli fürtök számításához. A Spark-feladatok adatokat tölthetnek be és gyorsítótárazhatnak a memóriába, és ismételten lekérdezhetik őket, ami gyorsabb, mint a lemezalapú alkalmazások, például a Hadoop.

Apache Spark a Microsoft Fabricben

A Fabric Runtime egy Apache Sparkon alapuló Azure-beli integrált platform, amely lehetővé teszi az adatmérnöki és adatelemzési élmények megvalósítását és kezelését. A Fabric Runtime a belső és nyílt forráskódú források fő összetevőit egyesíti, amely átfogó megoldást kínál.

A Fabric Runtime a következő fő összetevőkkel rendelkezik:

  • Apache Spark egy hatékony, nyílt forráskódú elosztott számítástechnikai kódtár, amely nagy léptékű adatfeldolgozási és elemzési feladatokat tesz lehetővé. Az Apache Spark sokoldalú és nagy teljesítményű platformot biztosít az adatelemzéshez és az adatelemzéshez.

  • Delta Lake egy nyílt forráskódú tárolási réteg, amely integrálja az atomitást, konzisztenciát, elkülönítést és tartóssági (ACID) tranzakciókat és az Apache Spark egyéb adatmegbízhatósági funkcióit. A Fabric Runtime-ban integrálva a Delta Lake javítja az adatfeldolgozási képességeket, és több egyidejű művelet adatkonzisztenciáját biztosítja.

  • Java, Scala, Python és R alapértelmezett szintű csomagjai különböző programozási nyelveket és környezeteket támogató csomagok. Ezeket a csomagokat a rendszer automatikusan telepíti és konfigurálja, így a fejlesztők az adatfeldolgozási feladatokhoz alkalmazhatják az előnyben részesített programozási nyelveket.

A Fabric Runtime egy robusztus nyílt forráskódú operációs rendszerre épül, amely biztosítja a különböző hardverkonfigurációkkal és rendszerkövetelményekkel való kompatibilitást.

További információ: Apache Spark-futtatókörnyezetek a Fabricben.

Azure Databricks Runtime for Machine Learning

Azure Databricks egy Apache Spark-alapú elemzési platform, amely egykattintásos beállítással, egyszerűsített munkafolyamatokkal és interaktív munkaterületekkel rendelkezik az adattudósok, mérnökök és üzleti elemzők közötti együttműködéshez.

A Databricks Runtime for Machine Learning használatával elindíthat egy Databricks-fürtöt az elosztott betanításhoz szükséges kódtárakkal. Ez a funkció környezetet biztosít a gépi tanuláshoz és az adatelemzéshez. Több népszerű kódtárat tartalmaz, köztük a TensorFlow, a PyTorch, a Keras és az XGBoost. Támogatja a Horovodon keresztüli elosztott képzést is.

További információ:

Apache Spark az Azure HDInsightban

Az Apache Spark az Azure HDInsightban az Apache Spark Microsoft-implementációja a felhőben. A HDInsightban található Spark-fürtök kompatibilisek az Azure Storage-ral és az Azure Data Lake Storage-ral, így HDInsight Spark-fürtökkel feldolgozhatja az Azure-ban tárolt adatokat.

SynapseML, korábbi nevén MMLSpark az Apache Spark Microsoft gépi tanulási könyvtára. Ez a nyílt forráskódú kódtár számos mélytanulási és adatelemzési eszközt, hálózatkezelési képességet és termelési szintű teljesítményt ad hozzá a Spark-ökoszisztémához.

További információ:

Adattárolás AI-hez

A következő platformok segítségével hatékonyan tárolhat, érhet el és elemezhet nagy mennyiségű adatot.

Háló OneLake

A OneLake in Fabric egy egységes és logikai adattó, amelyet a teljes szervezetéhez szabhat. Központi központként szolgál az összes elemzési adathoz, és minden Fabric-bérlőhöz tartozik. A OneLake in Fabric a Data Lake Storage alapjaira épül.

OneLake a Hálóban:

  • Támogatja a strukturált és strukturálatlan fájltípusokat.
  • Az összes táblázatos adatot Delta-Parquet formátumban tárolja.
  • Egyetlen adattavat biztosít a bérlői határokon belül, amely alapértelmezés szerint szabályozva van.
  • Támogatja a munkaterületek bérlőn belüli létrehozását, hogy a szervezet eloszthassa a tulajdonjogi és hozzáférési szabályzatokat.
  • Támogatja a különböző adatelemek, például a tóházak és a raktárak létrehozását, amelyekből hozzáférhet az adatokhoz.

További információ: OneLake, a OneDrive for data.

Data Lake Storage

A Data Lake Storage egy egyetlen, központosított adattár, ahol a strukturált és strukturálatlan adatokat tárolhatja. A data lake használatával gyorsan és egyszerűen tárolhat, érhet el és elemezhet számos adatot egyetlen helyen. Nem kell egy meglévő struktúrához igazodnia az adatoknak. Ehelyett tárolhatja az adatokat nyers vagy natív formátumban, általában fájlként vagy bináris nagy objektumként vagy blobként.

A Data Lake Storage fájlrendszer-szemantikát, fájlszintű biztonságot és skálázást biztosít. Mivel ezek a képességek az Azure Blob Storage-ra épülnek, alacsony költségű, rétegzett tárolót is kap, amely magas rendelkezésre állási és vészhelyreállítási képességekkel rendelkezik.

Az Azure Storage infrastruktúráját felhasználva a Data Lake Storage alapot biztosít a vállalati adattavak Azure-on történő kiépítéséhez. A Data Lake Storage több petabájtnyi információt képes kiszolgálni, miközben több száz gigabites átviteli sebességet tart fenn, így nagy mennyiségű adatot kezelhet.

További információ:

AI adatfeldolgozása

Az alábbi eszközökkel előkészítheti az adatokat a gépi tanuláshoz és az AI-alkalmazásokhoz. Győződjön meg arról, hogy az adatok tisztaak és strukturáltak, így speciális elemzésekhez használhatja azokat.

Fabric Data Factory

A Fabric Data Factory használatával több adatforrásból, például adatbázisokból, adattárházakból, tóházakból és valós idejű adatfolyamokból származó adatokat is betölthet, készíthet elő és alakíthat át. Ez a szolgáltatás segít megfelelni az adatműveleti követelményeknek a számítási feladatok tervezésekor.

A Fabric Data Factory támogatja a kódmegoldásokat és a kód nélküli vagy alacsony kódszámú megoldásokat:

  • adatfolyamok használatával felhőalapú munkafolyamat-képességeket hozhat létre. A húzással olyan munkafolyamatokat hozhat létre, amelyek frissíthetik az adatfolyamot, áthelyezhetik a petabájt méretű adatokat, és szabályozhatják a folyamatokat.

  • A adatfolyamok használata alacsony kódú interfészként több száz adatforrásból származó adatok betöltéséhez és több mint 300 adatátalakítással történő átalakításához.

További információért lásd a Data Factory teljes körű forgatókönyvét: Bevezetés és architektúra.

Azure Databricks

A Databricks Adatintelligencia-platform használatával kódot írhat egy gépi tanulási munkafolyamat létrehozásához funkciófejlesztéssel. Szolgáltatástervezési a nyers adatok gépi tanulási modellek betanítására használható funkciókká alakításának folyamata. A Databricks Adatintelligencia-platform a szolgáltatásfejlesztést támogató főbb funkciókat tartalmazza:

  • adatfolyamok nyers adatok betöltését, funkciótáblák létrehozását, modellek betanítását és kötegelt következtetést hajtanak végre. Ha jellemzőmérnökséget használ a Unity Catalogban egy modell betanításához és naplózásához, a modell jellemző-metadata-val van csomagolva. Amikor a modellt kötegelt pontozáshoz vagy online következtetéshez használja, az automatikusan lekéri a funkcióértékeket. A hívónak nem kell tudnia az értékekről, és nem kell logikát használnia az új adatok pontozásához szükséges funkciók kereséséhez vagy összekapcsolásához.

  • végpontokat kiszolgáló modell és szolgáltatás azonnal elérhetők, és ezredmásodpercnyi késést biztosítanak.

  • A monitorozás segít biztosítani az adatok és modellek teljesítményét és pontosságát.

A Mozaik AI Vector Search is használhatja a beágyazások tárolására és lekérésére. A beágyazások elengedhetetlenek a hasonlósági kereséseket igénylő alkalmazásokhoz, például a RAG-hoz, a javaslati rendszerekhez és a képfelismeréshez.

További információ: Azure Databricks: Adatok kiszolgálása gépi tanuláshoz és AI-.

Adatösszekötők a mi-hez

Az Azure Data Factory és az Azure Synapse Analytics-folyamatok számos adattárat és formátumot támogatnak másolással, adatfolyamokkal, kereséssel, metaadatok lekérésével és törlési tevékenységekkel. Az elérhető adattár-összekötők, a támogatott képességek, köztük a megfelelő konfigurációk és az általános nyílt adatbázis-kapcsolati lehetőségek megtekintéséhez tekintse meg Az Azure Data Factory és az Azure Synapse Analytics-összekötő áttekintése.

Egyéni AI

Az egyéni AI-megoldások segítenek kezelni az adott üzleti igényeket és kihívásokat. Az alábbi szakaszok áttekintést nyújtanak az egyéni AI-modellek létrehozásához és kezeléséhez használható különféle eszközökről és szolgáltatásokról.

Azure Machine Learning

Az Azure Machine Learning egy felhőalapú szolgáltatás a gépi tanulási projekt életciklusának felgyorsítására és kezelésére. A gépi tanulási szakemberek, adattudósok és mérnökök napi munkafolyamataikban használhatják ezt a szolgáltatást modellek betanítása és üzembe helyezése, valamint a gépi tanulási műveletek kezelése érdekében.

A Machine Learning a következő képességeket kínálja:

  • Algoritmusok kiválasztása: Egyes algoritmusok konkrét feltételezéseket tesznek az adatstruktúrával vagy a kívánt eredményekkel kapcsolatban. Válasszon az igényeinek megfelelő algoritmust, hogy hasznosabb eredményeket, pontosabb előrejelzéseket és gyorsabb betanítási időt kapjon. További információ: A Machine Learningalgoritmusainak kiválasztása.

  • hiperparaméter finomhangolása vagy optimalizálása: Ezzel a manuális eljárással megkeresheti a legjobb teljesítményt eredményező hiperparaméter-konfigurációkat. Ez az optimalizálás jelentős számítási költségekkel jár. hiperparaméterek olyan állítható paraméterek, amelyek vezérlést biztosítanak a modell betanítási folyamatában. Kiválaszthatja például a rejtett rétegek számát és a csomópontok számát a neurális hálózatok minden rétegében. A modell teljesítménye nagymértékben függ a hiperparamétertől.

    A Machine Learning segítségével automatizálhatja a hiperparaméterek hangolását, és párhuzamosan futtathat kísérleteket a hiperparaméterek hatékony optimalizálása érdekében.

    További információ:

  • Modell betanítása: Iteratív módon is létrehozhat vagy taníthat modelleket. A modellek betanítása után az adatok elemzésére és előrejelzések készítésére használhatja őket.

    A betanítási fázisban:

    1. Az ismert adatok minőségi készlete úgy van megjelölve, hogy az egyes mezők azonosíthatók legyenek.

    2. Egy adott előrejelzésre konfigurált algoritmus megkapja a címkézett adatokat.

    3. Az algoritmus egy olyan modellt ad ki, amely rögzíti az adatokban azonosított mintákat. A modell paraméterek készletével jeleníti meg ezeket a mintákat.

    Ellenőrzés során:

    1. A friss adatok címkézettek, és a modell tesztelésére szolgálnak.

    2. Az algoritmus szükség szerint van beállítva, és valószínűleg további betanításon esik át.

    3. A tesztelési fázis valós adatokat használ címkék és előre kiválasztott célok nélkül. Ha a modell eredményei pontosak, készen áll a használatra, és üzembe helyezhető.

    További információ:

  • AutoML: Ez a folyamat automatizálja a gépi tanulási modellek fejlesztésének időigényes, iteratív feladatait. Jelentősen csökkentheti az üzemkész gépi tanulási modellek előállításához szükséges időt. Az AutoML széles körű programozási vagy tartományi ismeretek nélkül segíthet a modellek kiválasztásában, a hiperparaméterek finomhangolásában, a modell betanításában és egyéb feladatokban.

    Az AutoML akkor használható, ha azt szeretné, hogy a Machine Learning egy megadott célmetrikát használjon egy modell betanítása és finomhangolása érdekében. Nincs szüksége adatelemzési szakértelemre a problémák végpontok közötti gépi tanulási folyamatának azonosításához.

    A gépi tanulási szakemberek és az iparágak fejlesztői az AutoML-t a következő célra használhatják:

    • Gépi tanulási megoldások implementálása átfogó programozás vagy gépi tanulási ismeretek nélkül.
    • Időt és erőforrásokat takaríthat meg.
    • Adatelemzési ajánlott eljárások alkalmazása.
    • Biztosítson agilis problémamegoldást.

    További információ: Mi az AutoML?.

  • pontozás: Ez a folyamat, más néven előrejelzésiegy betanított gépi tanulási modell használatával hoz létre értékeket az új bemeneti adatok alapján. Az értékek vagy pontszámok a jövőbeli értékek előrejelzéseit jelölhetik, de valószínűleg kategóriát vagy eredményt is jelenthetnek.

    További információ:

  • Szolgáltatásfejlesztés és featurizáció: Betanítási adatok sorokból és oszlopokból állnak. Minden sor egy megfigyelés vagy rekord, és az egyes sorok oszlopai az egyes rekordokat leíró funkciók. A prediktív modellek létrehozásához általában az adatok mintáit legjobban jellemző funkciók vannak kiválasztva.

Bár számos nyers adatmezőt használhat a modellek betanítása során, előfordulhat, hogy más, az adatok mintázatait jobban megkülönböztető információkat biztosító, beépített funkciókat kell létrehoznia. Ezt a folyamatot funkciófejlesztésnek nevezzük, ahol az adatok tartományismeretével olyan funkciókat hozhat létre, amelyek segítenek a gépi tanulási algoritmusok jobb tanulásában.

A Machine Learningben adatskálázási és normalizálási technikákat alkalmaznak a funkciófejlesztés megkönnyítése érdekében. Ezeket a technikákat és a funkciófejlesztést együttesen featurization nevezik az AutoML-kísérletekben. További információért lásd: Adatok jellemzőké alakítása az automatikus gépi tanulásban.

Azure OpenAI

Az Azure OpenAI-ban egy finomhangolási néven ismert folyamatot használhat az OpenAI-modellek személyes adatkészletekhez való testreszabásához. Ez a testreszabási lépés optimalizálja a szolgáltatást a következők biztosításával:

  • Jobb minőségű eredmények, összehasonlítva a csak prompttervezéssel.
  • A modell maximális kérelemkörnyezetkorlátja által megengedettnél több példa betanítása általában lehetővé teszi.
  • Zsetonmegtakarítás a rövidebb kérvények miatt.
  • Kisebb késésű kérelmek, különösen kisebb modellek használata esetén.

További információ:

Azure AI-szolgáltatások egyéni AI-hoz

Azure AI-szolgáltatások egyéni AI-modellek és -alkalmazások készítésére szolgálnak. A következő szakaszok áttekintést nyújtanak ezekről a fő funkciókról.

Egyéni beszéd

Az egyéni beszéd az Azure AI Speech szolgáltatás egyik funkciója. Az egyéni beszéd használatával kiértékelheti és javíthatja az alkalmazások és termékek beszédfelismerésének pontosságát. Egyéni beszédmodell használata valós idejű beszédfelismeréshez, beszédfordításhoz és csoportos átíráshoz.

Alapértelmezés szerint a beszédfelismerés egy univerzális nyelvi modellt használ alapmodellként. Ez a modell a Microsoft tulajdonában lévő adatokkal van betanítve, és a gyakran használt beszélt nyelvet tükrözi. Az alapmodell olyan dialektusokkal és fonetikusokkal van előre betanítve, amelyek különböző gyakori tartományokat jelölnek. Beszédfelismerési kérések esetén alapértelmezés szerint a támogatott nyelv legújabb alapmodellje lesz használatban. Az alapmodell a legtöbb beszédfelismerési forgatókönyvben jól működik.

Egyéni modell használatával bővítheti az alapmodellt. Például javíthatja az alkalmazásra jellemző tartományspecifikus szókincsek felismerését azáltal, hogy szöveges adatokat ad meg a modell betanítása érdekében. Az alkalmazás adott hangfeltételeinek felismerését hangadatok, köztük referencia-átiratok megadásával is javíthatja.

Ha az adatok egy mintát követnek, strukturált szöveg használatával taníthat be egy modellt. Egyéni kiejtéseket adhat meg, és testre szabhatja a megjelenített szövegformázást egyéni inverz szöveg normalizálásával, egyéni átírással és egyéni profanitásszűréssel.

Egyéni fordító

Egyéni fordító az Azure AI Translator szolgáltatás egyik funkciója. A vállalatok, az alkalmazásfejlesztők és a nyelvi szolgáltatók egyéni fordítóval hozhatnak létre testreszabott neurális gépi fordítási (NMT) rendszereket. A testreszabott fordítási rendszerek zökkenőmentesen integrálhatók a meglévő alkalmazásokba, munkafolyamatokba és webhelyekbe.

Ezzel a funkcióval egyéni fordítási rendszereket hozhat létre és tehet közzé angol nyelvről más nyelvekre és vissza. Az egyéni fordító több mint három tucat nyelvet támogat, amelyek közvetlenül az NMT nyelvéhez kapcsolódnak. A nyelvek teljes listáját a Translator nyelvi támogatásicímű témakörben találja.

Az egyéni fordító a következő funkciókat kínálja.

Szolgáltatás Leírás
NMT-technológia alkalmazása Az egyéni fordítóval végzett NMT alkalmazásával javítsa a fordítását.
Az üzleti terminológiát ismerő rendszerek létrehozása Fordítási rendszerek testreszabása és létrehozása párhuzamos dokumentumok használatával, amelyek megértik az üzleti és iparági terminológiát.
Modellek létrehozása szótár használatával Csak szótáradatokkal trenírozzon egy modellt, ha nincs betanítási adatkészlete.
Együttműködés másokkal Együttműködhet a csapatával, és megoszthatja a munkáját különböző személyekkel.
Az egyéni fordítási modell elérése Az egyéni fordítási modellt bármikor elérheti meglévő alkalmazásai vagy programjai segítségével a Microsoft Translator Text API V3-on keresztül.

Egyéni Azure AI Document Intelligence-modellek

Az Azure AI Document Intelligence fejlett gépi tanulási technológiát használ a dokumentumok azonosítására, az űrlapok és dokumentumok információinak észlelésére és kinyerésére, valamint a kinyert adatok strukturált JSON-kimenetben való visszaadására. A Dokumentumintelligencia használatával kihasználhatja az előre összeállított vagy előre betanított dokumentumelemzési modellek vagy betanított önálló egyéni modellek előnyeit.

dokumentumintelligencia-egyéni modellek egyéni besorolási modelleket tartalmaznak olyan forgatókönyvekhez, ahol a kinyerési modell meghívása előtt azonosítania kell a dokumentumtípust. A besorolási modelleket egyéni extrakciós modellel párosítva elemezheti és kinyerheti a vállalatra jellemző űrlapokból és dokumentumokból származó mezőket. Különálló egyéni extrakciós modellek kombinálásával álló modelleket hozhat létre.

Egyéni AI-eszközök

Az előre összeállított AI-modellek hasznosak és egyre rugalmasabbak, de az AI optimalizálásának legjobb módja az, ha a modellt az Ön igényeihez igazítja. Az egyéni AI-modellek létrehozásához két elsődleges eszköz a generatív AI és a hagyományos gépi tanulás.

Azure Machine Learning Studio

Azure Machine Learning Studio egy felhőszolgáltatás a machine learning projekt életciklusának felgyorsítására és kezelésére. A gépi tanulási szakemberek, adattudósok és mérnökök napi munkafolyamataikban használhatják a modellek betanítása és üzembe helyezése, valamint a gépi tanulási műveletek kezelése érdekében.

  • Machine Learning-modellek létrehozása és betanítása bármilyen számítási típus használatával, beleértve a Sparkot és a GPU-kat a nagy méretű AI-számítási feladatokhoz.

  • Futtassa az AutoML-t, és használja a húzd és vidd felhasználói felületet a kódmentes gépi tanuláshoz.

  • Végpontok közötti Machine Learning-műveletek és megismételhető folyamatok implementálása.

  • Használja a felelős AI-irányítópultot az elfogultság észleléséhez és a hibaelemzéshez.

  • A parancssori tervezés és az LLM-folyamatok vezénylése és kezelése.

  • Modellek üzembe helyezése REST API-végpontokon, valós idejű következtetésen és kötegelt feldolgozáson keresztül.

  • A központi munkaterületek használatával megoszthatja a számítási, kvóta-, biztonsági és kapcsolati adatokat a vállalati erőforrásokhoz, miközben központosítja az informatikai szabályozást. Állítson be egyszer egy központot, majd hozzon létre biztonságos munkaterületeket közvetlenül a studióból minden projekthez. A központokkal kezelheti a csapat munkáját a stúdióban és az AI Foundry portálon.

AI Foundry

AI Foundry segítségével hatékonyan hozhat létre és helyezhet üzembe egyéni generatív AI-alkalmazásokat széles körű Azure AI-ajánlatok segítségével.

  • Közösen építkedhet egy csapatként. Az AI Foundry-központ nagyvállalati szintű biztonságot és együttműködési környezetet biztosít, amely megosztott erőforrásokat és kapcsolatokat tartalmaz az előre betanított modellekhez, adatokhoz és számításokhoz.

  • Szervezze a munkáját. Az AI Foundry-projekt segít az állapot mentésében, hogy az első ötlettől az első prototípusig és az első éles üzembe helyezésig iteráljon. Egyszerűen meghívhat másokat, hogy együttműködjenek Önnel.

  • Használja az előnyben részesített fejlesztői platformot és keretrendszereket, például a GitHubot, a Visual Studio Code-ot, a LangChain-t, a Szemantic Kernelt és az AutoGent.

  • Fedezze fel és mérje fel több mint 1600 modellből.

  • Modellek nyújtása szolgáltatásként (MaaS) kiszolgáló nélküli API-kkal és hosztolt finomhangolással.

  • Több modellt, adatforrást és modalitást is tartalmazhat.

  • A RAG létrehozása a védett vállalati adatok használatával, finomhangolás nélkül.

  • A parancssori tervezés és az LLM-folyamatok vezénylése és kezelése.

  • Alkalmazások és API-k tervezése és védelme konfigurálható szűrőkkel és vezérlőkkel.

  • Modellválaszok kiértékelése beépített és egyéni kiértékelési folyamatokkal.

  • MI-innovációk telepítése az Azure által felügyelt infrastruktúrára a különböző környezetekben történő folyamatos monitorozás és szabályozás biztosítása érdekében.

  • Folyamatosan monitorozza az üzembe helyezett alkalmazásokat a biztonság, a minőség és a tokenhasználat érdekében az éles környezetben.

További információ: AI Foundry portál és a Machine Learning Studio.

Útmutatás folyamata az AI Foundry portálon

Parancssori folyamat az AI Foundry portálon egy olyan fejlesztési eszköz, amellyel leegyszerűsítheti az LLM-ekkel működtetett AI-alkalmazások teljes fejlesztési ciklusát. A prompt folyamat átfogó megoldást kínál, amely leegyszerűsíti az AI-alkalmazások prototípus-készítési, kísérletezési, iterálási és üzembe helyezési folyamatát.

  • A parancssori folyamat olyan szolgáltatás, amellyel folyamatokat hozhat létre, szabhat testre vagy futtathat.

  • A folyamatok olyan utasításkészletek, amelyek implementálhatják az AI-logikát. Folyamatokat hozhat létre vagy futtathat eszközökkel, például előre összeállított vásznon vagy LangChainen keresztül. A folyamat iterációit mentheti objektumokként. Miután üzembe helyez egy folyamatot, az API-vá válik. Nem minden folyamat azonnali folyamat. A prompt flow egy módja a folyamat létrehozásának.

  • A parancssor egy modellnek küldött bemeneti csomag. Ez a felhasználói bemenetből, a rendszerüzenetből és az esetleges példákból áll. A felhasználói bevitel olyan szöveg, amelyet a csevegőablakban küldenek el. A rendszerüzenet a modell viselkedésére és működésére vonatkozó utasítások készlete.

  • A mintafolyamat egy egyszerű, előre összeállított vezénylési folyamat, amely bemutatja a folyamatok működését. Testre szabhatja a mintafolyamatokat.

  • A minta utasítás egy meghatározott utasítás egy adott forgatókönyvhöz, amelyet másolhat egy könyvtárból, és használhatja as-is, vagy módosíthatja azt az utasítás tervezésben.

Egyéni AI-kódnyelvek

Az AI alapvető fogalma az algoritmusok használata az adatok elemzéséhez és modellek létrehozásához az adatok hasznos leírásához vagy pontozásához. A fejlesztők és adattudósok programozási kódot használnak algoritmusok írására, és esetenként más algoritmusok is szerepet játszanak ebben. Az AI-fejlesztés két legnépszerűbb programozási nyelve a Python és az R.

A Python egy általános célú, magas szintű programozási nyelv. Egyszerű, könnyen elsajátítható szintaxissal rendelkezik, amely az olvashatóságot hangsúlyozza. Nincs összeállítási lépés. A Python nagy méretű standard kódtárat tartalmaz, és támogatja a modulok és csomagok hozzáadását. Ez a funkció ösztönzi a modularitást, és szükség esetén bővíti a képességeket. A Pythonhoz készült MI- és gépi tanulási kódtárak széles és növekvő ökoszisztémája van, köztük sok az Azure-ban.

További információ:

R a statisztikai számítástechnika és a grafika nyelve és környezete. Használhatja mindenre, a széles körű társadalmi és marketing trendek online leképezésétől a pénzügyi és éghajlati modellek fejlesztéséig.

A Microsoft teljes mértékben támogatja az R programozási nyelvet, és számos lehetőséget kínál az R-fejlesztők számára a kód Azure-ban való futtatására.

További információt az alábbi címen talál: Az R interaktív használatával a gépi tanulásban.

Az azure-beli egyéni AI-ről az alábbi forrásokban talál általános információkat:

Ügyfelek sikertörténetei

Számos iparág alkalmazza az AI-t innovatív és inspiráló módon. Vegye figyelembe az alábbi ügyféleset-tanulmányokat és sikertörténeteket:

További AI-ügyféltörténetek tallózása

A Microsoft AI általános információi

További információ a Microsoft AI-ről, és naprakészen tarthatja a kapcsolódó híreket:

Következő lépés