Så här distribuerar du JAIS med Azure Mašinsko učenje Studio

Artikel
06/28/2024

I den här artikeln får du lära dig hur du använder Azure Mašinsko učenje studio för att distribuera JAIS-modellen som en tjänst med betala per användning-fakturering.

JAIS-modellen är tillgänglig i Azure Mašinsko učenje Studio med betala per användning-tokenbaserad fakturering med modeller som en tjänst.

Du hittar JAIS-modellen i modellkatalogen genom att filtrera på JAIS-samlingen.

Förutsättningar

En Azure-prenumeration med en giltig betalningsmetod. Kostnadsfria azure-prenumerationer eller utvärderingsprenumerationer fungerar inte. Om du inte har en Azure-prenumeration skapar du ett betalt Azure-konto för att börja.
En Azure Machine Learning-arbetsyta. Om du inte har dessa använder du stegen i artikeln Snabbstart: Skapa arbetsyteresurser för att skapa dem. Det serverlösa API-modelldistributionserbjudandet för JAIS är endast tillgängligt med arbetsytor som skapats i dessa regioner:
- East US
- USA, östra 2
- USA, norra centrala
- USA, södra centrala
- USA, västra
- USA, västra 3
- Sverige, centrala
En lista över regioner som är tillgängliga för var och en av modellerna som stöder serverlösa API-slutpunktsdistributioner finns i Regiontillgänglighet för modeller i serverlösa API-slutpunkter.
Rollbaserade åtkomstkontroller i Azure (Azure RBAC) används för att bevilja åtkomst till åtgärder i Azure AI Studio. Om du vill utföra stegen i den här artikeln måste ditt användarkonto tilldelas rollen Azure AI Developer i resursgruppen. Mer information om behörigheter finns i Rollbaserad åtkomstkontroll i Azure AI Studio.

JAIS 30b Chat

JAIS 30b Chat är en automatisk regressiv dubbelspråkig LLM för arabiska och engelska. De finjusterade versionerna använder övervakad finjustering (SFT). Modellen är finjusterad med både arabiska och engelska prompt-response-par. De finjusteringsdatauppsättningar som ingår i en mängd olika instruktionsdata i olika domäner. Modellen omfattar ett brett utbud av vanliga uppgifter, inklusive frågesvar, kodgenerering och resonemang över textinnehåll. För att förbättra prestandan på arabiska utvecklade Core42-teamet en intern arabisk datauppsättning och översatte vissa engelska instruktioner med öppen källkod till arabiska.

Kontextlängd: JAIS 30b Chat stöder en kontextlängd på 8 K.

Indata: Modellinmatning är endast text.

Utdata: Modellen genererar endast text.

Viktigt!

Den här funktionen är för närvarande i allmänt tillgänglig förhandsversion. Den här förhandsversionen tillhandahålls utan ett serviceavtal och vi rekommenderar det inte för produktionsarbetsbelastningar. Vissa funktioner kanske inte stöds eller kan vara begränsade.

Mer information finns i Kompletterande villkor för användning av Microsoft Azure-förhandsversioner.

Distribuera med betala per användning

Vissa modeller i modellkatalogen kan distribueras som en tjänst med betala per användning, vilket ger ett sätt att använda dem som ett API utan att vara värd för dem i din prenumeration, samtidigt som företagets säkerhets- och efterlevnadsorganisationer behöver det. Det här distributionsalternativet kräver inte kvot från din prenumeration.

Den tidigare nämnda JAIS 30b Chat-modellen kan distribueras som en tjänst med betala per användning och erbjuds av Core42 via Microsoft Azure Marketplace. Core42 kan ändra eller uppdatera användningsvillkoren och prissättningen för den här modellen.

Skapa en ny distribution

Så här skapar du en distribution:

Gå till Azure Mašinsko učenje Studio.
Välj den arbetsyta där du vill distribuera dina modeller. Om du vill använda distributionserbjudandet för betala per användning-modell måste din arbetsyta tillhöra regionen EastUS2 eller Sverige, centrala.
Sök efter JAIS och välj Jais-30b-chat-modellen från modellkatalogen.
På modellens översiktssida i modellkatalogen väljer du Distribuera.
I distributionsguiden väljer du länken till Azure Marketplace-villkor för att lära dig mer om användningsvillkoren.
Du kan också välja fliken Priser och villkor för att lära dig mer om priser för den valda modellen.
Om det här är första gången du distribuerar modellen på arbetsytan måste du prenumerera på din arbetsyta för modellens specifika erbjudande. Det här steget kräver att ditt konto har behörigheter för Azure AI Developer-rollen för resursgruppen enligt kraven. Varje arbetsyta har en egen prenumeration på det specifika Azure Marketplace-erbjudandet, vilket gör att du kan styra och övervaka utgifter. Välj Prenumerera och Distribuera. För närvarande kan du bara ha en distribution för varje modell på en arbetsyta.
När du prenumererar på arbetsytan för det specifika Azure Marketplace-erbjudandet behöver efterföljande distributioner av samma erbjudande på samma arbetsyta inte prenumerera igen. Om det här scenariot gäller för dig finns det alternativet Fortsätt att distribuera för att välja.
Ge distributionen ett namn. Det här namnet blir en del av URL:en för distributions-API:et. Den här URL:en måste vara unik i varje Azure-region.
Välj distribuera. Vänta tills distributionen är klar och du omdirigeras till sidan serverlösa slutpunkter.
Välj slutpunkten för att öppna sidan Information.
Välj fliken Test för att börja interagera med modellen.
Du kan alltid hitta slutpunktens information, URL och åtkomstnycklar genom att navigera till Serverlösa slutpunkter för arbetsyteslutpunkter>>.
Anteckna mål-URL:en och den hemliga nyckeln. Mer information om hur du använder API:erna finns i referensavsnittet.

Mer information om fakturering för modeller som distribueras med betala per användning finns i Kostnads- och kvotöverväganden för JAIS-modeller som distribueras som en tjänst.

Använda JAIS 30b Chat-modellen som en tjänst

Dessa modeller kan användas med hjälp av chatt-API:et.

Välj fliken Slutpunkter till vänster på arbetsytan.
Gå till fliken Serverlösa slutpunkter .
Välj din distribution för JAIS 30b Chat.
Du kan testa distributionen på fliken Test .
Om du vill använda API:erna kopierar du mål-URL :en och nyckelvärdet .

Mer information om hur du använder API:erna finns i referensavsnittet.

Chatt-API-referens för JAIS som distribuerats som en tjänst

v1/chat/completions

Förfrågan

    POST /v1/chat/completions HTTP/1.1
    Host: <DEPLOYMENT_URI>
    Authorization: Bearer <TOKEN>
    Content-type: application/json

v1/chat/completions request schema

JAIS 30b Chat accepterar följande parametrar för ett v1/chat/completions svarsinferensanrop:

Property	Type	Standardvärde	beskrivning
`messages`	`array`	`None`	Textinmatning som modellen ska svara på.
`max_tokens`	`integer`	`None`	Det maximala antalet token som modellen genererar som en del av svaret. Obs! Om du anger ett lågt värde kan det leda till ofullständiga generationer. Om det inte anges genererar tokens till slutet av sekvensen.
`temperature`	`float`	`0.3`	Styr slumpmässighet i modellen. Lägre värden gör modellen mer deterministisk och högre värden gör modellen mer slumpmässig.
`top_p`	`float`	`None`	Den kumulativa sannolikheten för parameterns högsta sannolikhet för vokabulärtoken som ska behållas för kärnsampling är standardvärdet null.
`top_k`	`integer`	`None`	Antalet token med högst sannolikhet för vokabulär som ska behållas för top-k-filtrering är standardvärdet null.

Ett system- eller användarmeddelande stöder följande egenskaper:

Property	Type	Standardvärde	beskrivning
`role`	`enum`	Obligatoriskt	`role=system` eller `role=user`.
`content`	`string`	Obligatoriskt	Textinmatning som modellen ska svara på.

Ett assistentmeddelande stöder följande egenskaper:

Property	Type	Standardvärde	beskrivning
`role`	`enum`	Obligatoriskt	`role=assistant`
`content`	`string`	Obligatoriskt	Innehållet i assistentmeddelandet.

svarsschema för v1/chat/completions

Svarsnyttolasten är en ordlista med följande fält:

Nyckel	Typ	Beskrivning
`id`	`string`	En unik identifierare för slutförandet.
`choices`	`array`	Listan över slutförandeval som modellen genererade för indatameddelandena.
`created`	`integer`	Unix-tidsstämpeln (i sekunder) för när slutförandet skapades.
`model`	`string`	Den model_id som används för slutförande.
`object`	`string`	chat.completion.
`usage`	`object`	Användningsstatistik för slutförandebegäran.

Objektet choices är en ordlista med följande fält:

Nyckel	Typ	Beskrivning
`index`	`integer`	Valindex.
`messages` eller `delta`	`string`	Chattens slutförande resulterar i objekt för meddelanden. När strömningsläget används används deltanyckeln.
`finish_reason`	`string`	Anledningen till att modellen slutade generera token.

Objektet usage är en ordlista med följande fält:

Nyckel	Typ	Beskrivning
`prompt_tokens`	`integer`	Antal token i prompten.
`completion_tokens`	`integer`	Antal token som genererats i slutförandet.
`total_tokens`	`integer`	Totalt antal token.

Exempel

Arabiska

Begäran:

    "messages": [
        {
        "role": "user",
        "content": "ما هي الأماكن الشهيرة التي يجب زيارتها في الإمارات؟"
        }
    ]

Svar:

    {
        "id": "df23b9f7-e6bd-493f-9437-443c65d428a1",
        "choices": [
            {
                "index": 0,
                "finish_reason": "stop",
                "message": {
                    "role": "assistant",
                    "content": "هناك العديد من الأماكن المذهلة للزيارة في الإمارات! ومن أشهرها برج خليفة في دبي وهو أطول مبنى في العالم ، ومسجد الشيخ زايد الكبير في أبوظبي والذي يعد أحد أجمل المساجد في العالم ، وصحراء ليوا في الظفرة والتي تعد أكبر صحراء رملية في العالم وتجذب الكثير من السياح لتجربة ركوب الجمال والتخييم في الصحراء. كما يمكن للزوار الاستمتاع بالشواطئ الجميلة في دبي وأبوظبي والشارقة ورأس الخيمة، وزيارة متحف اللوفر أبوظبي للتعرف على تاريخ الفن والثقافة العالمية"
                }
            }
        ],
        "created": 1711734274,
        "model": "jais-30b-chat",
        "object": "chat.completion",
        "usage": {
            "prompt_tokens": 23,
            "completion_tokens": 744,
            "total_tokens": 767
        }
    }

Engelska

Begäran:

    "messages": [
        {
        "role": "user",
        "content": "List the emirates of the UAE."
        }
    ]

Svar:

    {
        "id": "df23b9f7-e6bd-493f-9437-443c65d428a1",
        "choices": [
            {
                "index": 0,
                "finish_reason": "stop",
                "message": {
                    "role": "assistant",
                    "content": "The seven emirates of the United Arab Emirates are: Abu Dhabi, Dubai, Sharjah, Ajman, Umm Al-Quwain, Fujairah, and Ras Al Khaimah."
                }
            }
        ],
        "created": 1711734274,
        "model": "jais-30b-chat",
        "object": "chat.completion",
        "usage": {
            "prompt_tokens": 23,
            "completion_tokens": 60,
            "total_tokens": 83
        }
    }

Fler slutsatsdragningsexempel

Exempeltyp	Exempelnotebook
CLI med curl- och Python-webbbegäranden	webrequests.ipynb
OpenAI SDK (experimentell)	openaisdk.ipynb
LiteLLM	litellm.ipynb

Kostnad och kvoter

Kostnads- och kvotöverväganden för modeller som distribueras som en tjänst

JAIS 30b Chat distribueras som en tjänst som erbjuds av Core42 via Azure Marketplace och integreras med Azure AI Studio för användning. Du hittar prissättningen för Azure Marketplace när du distribuerar modellen.

Varje gång ett projekt prenumererar på ett visst erbjudande från Azure Marketplace skapas en ny resurs för att spåra de kostnader som är kopplade till förbrukningen. Samma resurs används för att spåra kostnader som är associerade med slutsatsdragning. Flera mätare är dock tillgängliga för att spåra varje scenario oberoende av varandra.

Mer information om hur du spårar kostnader finns i Övervaka kostnader för modeller som erbjuds i hela Azure Marketplace.

Kvot hanteras per distribution. Varje distribution har en hastighetsgräns på 200 000 token per minut och 1 000 API-begäranden per minut. För närvarande begränsar vi dock en distribution per modell per projekt. Kontakta Microsoft Azure Support om de aktuella hastighetsgränserna inte räcker för dina scenarier.

Innehållsfiltrering

Modeller som distribueras som en tjänst med betala per användning skyddas av Azure AI Content Safety. Med Azure AI-innehållssäkerhet passerar både prompten och slutförandet genom en uppsättning klassificeringsmodeller som syftar till att identifiera och förhindra utdata från skadligt innehåll. Systemet för innehållsfiltrering identifierar och vidtar åtgärder för specifika kategorier av potentiellt skadligt innehåll i både inkommande prompter och slutföranden av utdata. Läs mer om innehållsfiltrering här.

Dela via