Dela via

Distribuera Phi-3-familj med små språkmodeller med Azure Mašinsko učenje studio

  • Artikel

I den här artikeln får du lära dig mer om Phi-3-serien med små språkmodeller (SLA). Du lär dig också att använda Azure Mašinsko učenje Studio för att distribuera modeller från den här familjen som serverlösa API:er med betala per användning-tokenbaserad fakturering.

Phi-3-serien med SLI:er är en samling instruktionsjusterade generativa textmodeller. Phi-3-modeller är de mest kompatibla och kostnadseffektiva små språkmodellerna som är tillgängliga, vilket överträffar modeller av samma storlek och nästa storlek upp över olika språk, resonemang, kodning och matematiska riktmärken.

Phi-3-modellfamilj

Phi-3 Mini är en 3,8B-parametrar, lätt, toppmodern öppen modell. Phi-3-Mini tränades med Phi-3-datauppsättningar som innehåller både syntetiska data och filtrerade, offentligt tillgängliga webbplatsdata, med fokus på högkvalitativa och resonemangstäta egenskaper.

Modellen tillhör modellfamiljen Phi-3 och miniversionen finns i två varianter, 4K och 128K, som anger kontextlängden (i token) som varje modellvariant kan stödja.

Modellen genomgick en rigorös förbättringsprocess med både övervakad finjustering och direktpreferensoptimering för att säkerställa exakt instruktionsefterlevnad och robusta säkerhetsåtgärder. När phi-3-Mini-4K-Instruct och Phi-3-Mini-128K-Instruct utvärderades mot riktmärken som testar sunt förnuft, språkförståldring, matematik, kod, långa kontexter och logiska resonemang visade de upp en robust och toppmodern prestanda bland modeller med mindre än 13 miljarder parametrar.

Viktigt!

Den här funktionen är för närvarande i allmänt tillgänglig förhandsversion. Den här förhandsversionen tillhandahålls utan ett serviceavtal och vi rekommenderar det inte för produktionsarbetsbelastningar. Vissa funktioner kanske inte stöds eller kan vara begränsade.

Mer information finns i Kompletterande villkor för användning av Microsoft Azure-förhandsversioner.

Distribuera Phi-3-modeller som serverlösa API:er

Vissa modeller i modellkatalogen kan distribueras som ett serverlöst API med betala per användning-fakturering. Den här typen av distribution ger ett sätt att använda modeller som ett API utan att vara värd för dem i din prenumeration, samtidigt som den företagssäkerhet och efterlevnad som organisationer behöver bevaras. Det här distributionsalternativet kräver inte kvot från din prenumeration.

Förutsättningar

  • En Azure-prenumeration med en giltig betalningsmetod. Kostnadsfria azure-prenumerationer eller utvärderingsprenumerationer fungerar inte. Om du inte har en Azure-prenumeration skapar du ett betalt Azure-konto för att börja.

  • En Azure Machine Learning-arbetsyta. Om du inte har någon arbetsyta använder du stegen i artikeln Snabbstart: Skapa arbetsyteresurser för att skapa en. Det serverlösa API-modelldistributionserbjudandet för Phi-3 är endast tillgängligt med arbetsytor som skapats i dessa regioner:

    • USA, östra 2
    • Sverige, centrala

    En lista över regioner som är tillgängliga för var och en av modellerna som stöder serverlösa API-slutpunktsdistributioner finns i Regiontillgänglighet för modeller i serverlösa API-slutpunkter.

  • Rollbaserade åtkomstkontroller i Azure (Azure RBAC) används för att bevilja åtkomst till åtgärder i Azure Machine Learning. Om du vill utföra stegen i den här artikeln måste ditt användarkonto tilldelas rollen Azure AI Developer i resursgruppen. Mer information om behörigheter finns i Hantera åtkomst till en Azure Machine Learning-arbetsyta.

Skapa en ny distribution

Så här skapar du en distribution:

  1. Gå till Azure Mašinsko učenje Studio.

  2. Välj den arbetsyta där du vill distribuera dina modeller. Om du vill använda det serverlösa API-modelldistributionserbjudandet måste din arbetsyta tillhöra någon av de regioner som anges i avsnittet för förhandskrav.

  3. Välj den modell som du vill distribuera, till exempel Phi-3-medium-128k-Instruct, från modellkatalogen.

  4. På modellens översiktssida i modellkatalogen väljer du Distribuera och sedan Serverlöst API med Azure AI Content Safety.

    Du kan också initiera distributionen genom att gå till din arbetsyta och välja Slutpunkter>Serverlösa slutpunkter>Skapa. Sedan kan du välja en modell.

  5. I distributionsguiden väljer du fliken Priser och villkor för att lära dig mer om priser för den valda modellen.

  6. Ge distributionen ett namn. Det här namnet blir en del av URL:en för distributions-API:et. Den här URL:en måste vara unik i varje Azure-region.

  7. Välj distribuera. Vänta tills distributionen är klar och du omdirigeras till sidan Distributioner. Det här steget kräver att ditt konto har rollbehörigheter för Azure AI Developer i resursgruppen, enligt kraven.

  8. Anteckna mål-URI :n och den hemliga nyckeln, som du kan använda för att anropa distributionen och generera slutföranden. Mer information om hur du använder API:erna finns i Referens: Chattavslutningar.

  9. Välj fliken Test för att börja interagera med modellen.

  10. Du hittar alltid slutpunktens information, URI och åtkomstnycklar genom att navigera till Serverlösa slutpunkter för arbetsyteslutpunkter>>.

Använda Phi-3-modeller som en tjänst

Modeller som distribueras som serverlösa API:er kan användas med hjälp av chatt-API:et, beroende på vilken typ av modell du distribuerade.

  1. På arbetsytan väljer du Slutpunkter>Serverlösa slutpunkter.
  2. Leta upp och välj den distribution som du skapade.
  3. Kopiera mål-URI:n och nyckeltokenvärdena.
  4. Gör en API-begäran med hjälp av API:et /v1/chat/completions med hjälp av <target_url>/v1/chat/completions. Mer information om hur du använder API:erna finns i Referens: Slutförande av chatt.

Kostnad och kvoter

Kostnads- och kvotöverväganden för Phi-3-modeller som distribueras som serverlösa API:er

Du hittar prisinformationen på fliken Priser och villkor i distributionsguiden när du distribuerar modellen.

Kvot hanteras per distribution. Varje distribution har en hastighetsgräns på 200 000 token per minut och 1 000 API-begäranden per minut. För närvarande begränsar vi dock en distribution per modell per arbetsyta. Kontakta Microsoft Azure Support om de aktuella hastighetsgränserna inte räcker för dina scenarier.

Relaterat innehåll