Mallien käyttöönotto päätepisteisiin

Valmis

Kun olet valinnut mallin katalogista, otat sen käyttöön niin, että se on käytettävissä päätepisteiden kautta, joita sovelluksesi voivat käyttää. Microsoft Foundry -portaali guides sinua käyttöönottoprosessin läpi ja tarjoaa työkaluja käyttöönoton mallin välittömään testaamiseen.

Ymmärrä käyttöönottotyypit

Microsoft Foundry tukee useita käyttöönottotyyppejä, joista jokainen tarjoaa erilaisia ominaisuuksia datan asumiseen, skaalaamiseen ja laskutukseen:

• Global Standard -mallin käyttöönotot voivat käyttää mitä tahansa Azure-aluetta token-per-token-periaatteella. Ne sopivat parhaiten yleisiin työmääriin ja tarjoavat korkeimman kiintiön.
• Global Provisioned -käyttöönotot voivat käyttää mitä tahansa Azure-aluetta, ja niiden käyttö perustuu varattujen provisionien läpimenoyksikköihin (PTU), jotta saadaan ennustettava korkea läpimeno.
• Global Batch -käyttöönotot voivat käyttää mitä tahansa Azure-aluetta 50% alennuksella suurista asynkronisista töistä 24 tunnin sisällä.
• Data Zone Standard -käyttöönotot varmistavat, että data pysyy tietyn datavyöhykkeen sisällä maksuper-token-periaatteella. Ne sopivat parhaiten tilanteisiin, joissa EU/Yhdysvaltojen datavyöhykkeen noudattaminen vaaditaan.
• Data Zone Provisioned -käyttöönotot tarjoavat ennustettavan läpimenon varattujen PTU:iden perusteella datavyöhykkeellä.
• Data Zone Batch -käyttöönotot on suunniteltu suuriin asynkronisiin eräajoihin datavyöhykkeellä.
• Vakiokäyttöönotot toteutetaan yhdellä alueella pay-per-token -periaatteella. Ne ovat erinomaisia, kun tarvitset alueellisen datan asumisen vaatimustenmukaisuutta tai pienivolyymisissa.
• Alueelliset määräykset tarjoavat varattuja PTU-yksiköitä yhden alueen sisällä.
• Kehittäjä Kehittäjien käyttöönotot käyttävät mitä tahansa Azure-aluetta maksuperusteisesti ja on tarkoitettu vain hienosäädettyyn mallin arviointiin.

Jokainen malli katalogissa kertoo, mitä käyttöönottotyyppejä se tukee. Portaali valitsee automaattisesti parhaan käyttöönottovaihtoehdon ympäristösi ja mallin vaatimusten perusteella. Global Standard -käyttöönottoja Foundryn resursseissa tulisi käyttää aina kun mahdollista maksimaalisen kapasiteetin saavuttamiseksi.

Mallin käyttöönotto

Mallin käyttöönotto Microsoft Foundry -portaalista:

Ensiksi siirry valitsemaasi malliin malliluettelossa. Valitse Foundry-portaalin etusivulta Discover navigoinnista ja sitten Mallit vasemmasta ruudusta. Avaa mallikortti tarkistaaksesi sen spesifikaatiot ja tuetut käyttöönottotyypit.

Valitse Deploy aloittaaksesi käyttöönottoprosessin. Voit valita:

• Oletusasetukset nopeaan käyttöönottoon suositelluilla kokoonpanoilla
• Mukautetut asetukset käyttöönoton mukauttamiseen

Jos malli vaatii Azure Marketplace -tilauksen (yleistä kumppaneiden ja yhteisön malleissa), näet käyttöehdot. Tutustu näihin ehtoihin ja valitse Hyväksy ja hyväksy ne. Azure:n suoraan myymät mallit, kuten Azure OpenAI -mallit kuten GPT-4o-mini, eivät vaadi markkinapaikkatilausta.

Määritä käyttöönoton asetukset:

• Käyttöönoton nimi: Oletuksena järjestelmä käyttää mallin nimeä. Voit muokata tätä luomalla merkityksellisiä nimiä useille saman mallin käyttöönottoille. Päättelyn aikana koodisi käyttää tätä käyttöönoton nimeä model parametrissa reittipyyntöjen reittaamiseen.
• Käyttöönottotyyppi: Portaali valitsee automaattisesti sopivan käyttöönottotyypin mallin ja ympäristön perusteella. Jokainen malli tukee erilaisia käyttöönottotyyppejä, tarjoten erilaisia datan asuin- tai läpimenokykytakuita.

Hallinnoituissa laskentatehtävissä konfiguroit myös:

• Virtuaalikoneen SKU: Valitse tuetuista VM-tyypeistä. Tarvitset Azure Machine Learning -laskentakiintiön valitulle SKU:lle tilauksessasi.
• Instanssimäärä: Määritä, kuinka monta instanssia otetaan käyttöön kuorman jakautumista ja redundanssia varten.

Kun olet konfiguroinut kaikki asetukset, valitse Deploy. Kun käyttöönotto on valmis, laskeudut Foundry Playgroundille, jossa voit interaktiivisesti testata mallia. Varmista, että käyttöönoton tila näyttää Onnistunut käyttöönottolistallasi.

Hallinnoi käyttöön otettuja malleja

Käyttöönoton jälkeen hallitset mallejasi Microsoft Foundry - portaalin Build-osiosta . Valitse navigoinnista Build , ja vasemmasta ruudusta Models , niin näet resurssisi käyttöönoton listan.

Valitse käyttöönottolistalta tietty malli nähdäksesi sen yksityiskohdat:

• Käyttöönoton kokoonpano ja tila
• Päätepisteen URL API-accessille
• Todennusavaimet tai tokenit
• Seuranta ja käyttömittarit
• Vaihtoehto muuttaa käyttöönottoasetuksia tai poistaa käyttöönotto

Käyttöönoton yksityiskohdalla on tiedot, joita sovelluksesi tarvitsevat yhdistääkseen ja käyttääkseen mallia.

Koe leikkikentällä

Microsoft Foundryn portaalissa on interaktiivisia leikkikenttiä, joissa testaat käyttöön otettuja malleja välittömästi ilman koodin kirjoittamista. Käyttöönoton päätyttyä laskeudut automaattisesti leikkikentälle, tai voit valita sijoituspaikan mallilistastasi avataksesi leikkipaikan.

Leikkikenttä valitsee sijoituksesi etukäteen, joten voit aloittaa testauksen heti. Chat-käyttöliittymässä:

Syötä kehotteet viestikenttään ja tarkkaile vastauksia. Leikkikenttä näyttää sekä syötteesi että mallin tuottaman tuloksen, mikä auttaa ymmärtämään käyttäytymistä ja laatua.

Kokeile erilaisia kehotteita testataksesi erilaisia ominaisuuksia:

• Yksinkertaisia kysymyksiä perusymmärryksen varmistamiseksi
• Monimutkaiset monivaiheiset päättelyongelmat
• Pyynnöt tietyistä formaateista tai tyyleistä
• Reunatapaukset, jotka saattavat paljastaa rajoituksia

Säädä järjestelmäviestejä ohjaamaan mallin käyttäytymistä. Järjestelmäviestit asettavat kontekstin, sävyn ja käskyt, jotka koskevat kaikkia käyttäjän syötteitä. Esimerkiksi voit ohjeistaa mallia "vastaamaan customer service edustajana" tai "antamaan ytimekkäät, tekniset selitykset."

Muokkaa parametreja kuten lämpötila (luovuus vs. johdonmukaisuus), maksimitokenit (vasteen pituusrajoitukset) ja top-p (ytimen näytteenotto) hienosäätääksesi generointikäyttäytymistä.

Valitse Code-välilehti nähdäksesi esimerkkejä siitä, miten otetaan käyttöön otettu malli ohjelmallisesti. Koodinäytteet osoittavat todennuksen, päätepisteen konfiguroinnin ja pyyntöjen muotoilun kielillä kuten Python, C# ja JavaScript. Voit kopioida nämä näytteet suoraan hakemukseesi.

Leikkikenttä toimii kehitysympäristönä nopeaan suunnitteluun ja testaukseen ennen mallin integroimista sovellukseen.

Access-mallit ohjelmallisesti

Kun olet valmis integroimaan mallin sovellukseesi, tarvitset kolme keskeistä tietoa käyttöönoton yksityiskohdista:

Päätepisteen URL: API-päätepiste, johon sovelluksesi lähettää pyyntöjä. Microsoft Foundry tukee projektin päätelaitteita Foundry-kohtaiseen toiminnallisuuteen sekä OpenAI v1 -päätelaitteita laajaan yhteensopivuuteen OpenAI-mallin API-rajapintojen kanssa.

Tunnistautumisavain: Salainen avain tai tunniste, jonka sovelluksesi esittää todennuspyyntöihin. Vaihtoehtoisesti voit käyttää Microsoft Entra ID -tunnistautumista ja pyytää sovellusta esittämään autentikointitunnuksen identiteettinsä perusteella. Entra ID -tunnistautumista suositellaan tuotantotilanteissa.

Käyttöönoton nimi: Nimi, jonka määritit käyttöönoton aikana, jota käytetään model API-pyyntöjen parametrissa reitittämään juuri sinun käyttöönsä.

Sovelluksesi käyttää näitä tietoja API-pyyntöjen rakentamiseen. Microsoft Foundryn portaali tarjoaa SDK:t ja REST API -dokumentaation eri ohjelmointikielille sekä koodinäytteitä, jotka näyttävät pyyntöjen muotoilun, todennuksen ja vastauskäsittelyn.

Kun mallisi on otettu käyttöön ja testattu, olet valmis integroimaan sen sovelluksiin tai siirtymään kattavampaan arviointiin automatisoitujen mittareiden ja testiaineistojen avulla.