Delen via

Phi-3-serie van kleine taalmodellen implementeren met Azure AI Studio

  • Artikel

Belangrijk

Sommige van de functies die in dit artikel worden beschreven, zijn mogelijk alleen beschikbaar in de preview-versie. Deze preview wordt aangeboden zonder een service level agreement en we raden deze niet aan voor productieworkloads. Misschien worden bepaalde functies niet ondersteund of zijn de mogelijkheden ervan beperkt. Zie Aanvullende gebruiksvoorwaarden voor Microsoft Azure-previews voor meer informatie.

In dit artikel leert u meer over de phi-3-familie van kleine taalmodellen (SLM's). U leert ook hoe u Azure AI Studio gebruikt om modellen uit deze familie te implementeren als serverloze API's met facturering op basis van betalen per gebruik- token.

De Phi-3-familie van SLM's is een verzameling instructie-afgestemde generatieve tekstmodellen. Phi-3-modellen zijn de meest geschikte en rendabele kleine taalmodellen (SLM's) die beschikbaar zijn, beter presterende modellen van dezelfde grootte en volgende grootte in verschillende talen, redenering, codering en wiskundige benchmarks.

Phi-3-serie modellen

Phi-3 Mini is een 3,8B-parameters, lichtgewicht, state-of-the-art open model. Phi-3-Mini is getraind met Phi-3-gegevenssets die zowel synthetische gegevens als de gefilterde, openbaar beschikbare websitesgegevens bevatten, met een focus op hoogwaardige en redenerende dichte eigenschappen.

Het model behoort tot de phi-3-modelfamilie en de Mini-versie is verkrijgbaar in twee varianten, 4K en 128K, die de contextlengte (in tokens) aangeeft die elke modelvariant kan ondersteunen.

Het model onderging een grondig verbeteringsproces, waarbij zowel onder supervisie fine-tuning als directe voorkeursoptimalisatie wordt opgenomen om nauwkeurige naleving van instructies en robuuste veiligheidsmaatregelen te garanderen. Wanneer ze worden beoordeeld op benchmarks die gezond verstand, taalbegrip, wiskunde, code, lange context en logische redenering testen, toont Phi-3-Mini-4K-Instruct en Phi-3-Mini-128K-Instruct een robuuste en geavanceerde prestaties tussen modellen met minder dan 13 miljard parameters.

Phi-3-modellen implementeren als serverloze API's

Bepaalde modellen in de modelcatalogus kunnen worden geïmplementeerd als een serverloze API met betalen per gebruik-facturering. Dit soort implementatie biedt een manier om modellen als API te gebruiken zonder deze te hosten in uw abonnement, terwijl de bedrijfsbeveiliging en -naleving die organisaties nodig hebben, behouden blijven. Voor deze implementatieoptie is geen quotum van uw abonnement vereist.

Vereisten

  • Een Azure-abonnement met een geldige betalingswijze. Gratis of proefversie van Azure-abonnementen werkt niet. Als u geen Azure-abonnement hebt, maakt u eerst een betaald Azure-account .

  • Een Azure AI Studio-hub. De aanbieding voor serverloze API-modelimplementatie voor Phi-3 is alleen beschikbaar met hubs die in deze regio's zijn gemaakt:

    • VS - oost 2
    • Zweden - centraal

    Zie Regio-beschikbaarheid voor modellen in serverloze API-eindpunten voor een lijst met regio's die beschikbaar zijn voor elk van de modellen die ondersteuning bieden voor serverloze API-eindpuntimplementaties.

  • Een Azure AI Studio-project.

  • Op rollen gebaseerd toegangsbeheer van Azure (Azure RBAC) wordt gebruikt om toegang te verlenen tot bewerkingen in Azure AI Studio. Als u de stappen in dit artikel wilt uitvoeren, moet aan uw gebruikersaccount de Azure AI Developer-rol voor de resourcegroep zijn toegewezen. Zie Op rollen gebaseerd toegangsbeheer in Azure AI Studio voor meer informatie over machtigingen.

Een nieuwe implementatie maken

Een implementatie maken:

  1. Meld u aan bij Azure AI Studio.

  2. Selecteer modelcatalogus in de linkerzijbalk.

  3. Zoek en selecteer het model dat u wilt implementeren, bijvoorbeeld Phi-3-mini-4k-Instruct, om de pagina Details te openen.

  4. Selecteer Implementeren.

  5. Kies de optie Serverloze API om een serverloos API-implementatievenster voor het model te openen.

  6. U kunt ook een implementatie starten door te beginnen met uw project in AI Studio.

    1. Selecteer onderdelenimplementaties> in de linkerzijbalk van uw project.
    2. Selecteer + Implementatie maken.
    3. Zoek en selecteer Phi-3-mini-4k-Instruct om de pagina Details van het model te openen.
    4. Selecteer Bevestigen en kies de optie Serverloze API om een serverloos API-implementatievenster voor het model te openen.

  7. Selecteer het project waarin u uw model wilt implementeren. Als u het Phi-3-model wilt implementeren, moet uw project deel uitmaken van een van de regio's die worden vermeld in de sectie Vereisten .

  8. Selecteer het tabblad Prijzen en voorwaarden voor meer informatie over prijzen voor het geselecteerde model.

  9. Geef de implementatie een naam. Deze naam maakt deel uit van de URL van de implementatie-API. Deze URL moet uniek zijn in elke Azure-regio.

  10. Selecteer Implementeren. Wacht totdat de implementatie gereed is en u wordt omgeleid naar de pagina Implementaties. Voor deze stap is vereist dat uw account beschikt over de rolmachtigingen voor Azure AI Developer voor de resourcegroep, zoals vermeld in de vereisten.

  11. Selecteer Openen in speeltuin om te beginnen met interactie met het model.

  12. Ga terug naar de pagina Implementaties, selecteer de implementatie en noteer de doel-URL van het eindpunt en de geheime sleutel, die u kunt gebruiken om de implementatie aan te roepen en voltooiingen te genereren. Zie Naslaginformatie over het gebruik van de API's voor meer informatie over het gebruik van de API's: Voltooiingen van chats.

  13. U kunt de details, URL en toegangssleutels van het eindpunt altijd vinden door naar de overzichtspagina van Project te navigeren. Selecteer vervolgens in de linkerzijbalk van uw project Onderdelenimplementaties>.

Phi-3-modellen als een service gebruiken

Modellen die als serverloze API's zijn geïmplementeerd, kunnen worden gebruikt met behulp van de chat-API, afhankelijk van het type model dat u hebt geïmplementeerd.

  1. Ga op de overzichtspagina van Project naar de linkerzijbalk en selecteer Onderdelenimplementaties>.

  2. Zoek en selecteer de implementatie die u hebt gemaakt.

  3. Kopieer de doel-URL en de sleutelwaarde .

  4. Maak een API-aanvraag met behulp van de /v1/chat/completions API met behulp van <target_url>/v1/chat/completions. Zie de naslaginformatie: Voltooiingen van chats voor meer informatie over het gebruik van de API's.

Kosten en quota

Kosten- en quotumoverwegingen voor Phi-3-modellen die zijn geïmplementeerd als serverloze API's

U vindt de prijsinformatie op het tabblad Prijzen en voorwaarden van de implementatiewizard bij het implementeren van het model.

Het quotum wordt beheerd per implementatie. Elke implementatie heeft een frequentielimiet van 200.000 tokens per minuut en 1000 API-aanvragen per minuut. Momenteel beperken we echter tot één implementatie per model per project. Neem contact op met de ondersteuning voor Microsoft Azure als de huidige frequentielimieten niet voldoende zijn voor uw scenario's.

Gerelateerde inhoud