Nasazení JAIS pomocí azure AI Studia

Článek
06/28/2024

Důležité

Některé funkce popsané v tomto článku můžou být dostupné jenom ve verzi Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce se nemusí podporovat nebo mohou mít omezené možnosti. Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.

V tomto článku se dozvíte, jak pomocí Azure AI Studia nasadit model JAIS jako bezserverová rozhraní API s fakturací založenými na tokenech s průběžnými platbami.

Model JAIS je k dispozici v Azure AI Studiu s fakturací na základě tokenů založených na průběžných platbách pomocí modelů jako služby.

Model JAIS najdete v katalogu modelů filtrováním podle kolekce JAIS.

Požadavky

Předplatné Azure s platným způsobem platby. Bezplatná nebo zkušební předplatná Azure nebudou fungovat. Pokud nemáte předplatné Azure, vytvořte si placený účet Azure, abyste mohli začít.
Centrum Azure AI Studio. Nabídka nasazení modelu bezserverového rozhraní API pro JAIS je k dispozici pouze u center vytvořených v těchto oblastech:
- East US
- USA – východ 2
- USA – středosever
- Středojižní USA
- USA – západ
- USA – západ 3
- Švédsko – střed
Seznam oblastí dostupných pro každý z modelů podporujících nasazení koncových bodů bez serveru najdete v tématu Dostupnost oblastí pro modely v koncových bodech bezserverového rozhraní API.
Projekt AI Studio v Azure AI Studiu
Řízení přístupu na základě role v Azure (Azure RBAC) se používá k udělení přístupu k operacím v Azure AI Studiu. Pokud chcete provést kroky v tomto článku, musí být vašemu uživatelskému účtu přiřazena role Vývojář Azure AI ve skupině prostředků. Další informace o oprávněních najdete v tématu Řízení přístupu na základě role v nástroji Azure AI Studio.

JAIS 30b Chat

JAIS 30b Chat je automaticky regresní bi-lingual LLM pro arabštinu a angličtinu. Vyladěné verze používají jemné ladění pod dohledem (SFT). Model je vyladěn pomocí arabského i anglického páru prompt-response. Podrobné ladění datových sad zahrnovalo širokou škálu instrukčních dat napříč různými doménami. Model se zabývá širokou škálou běžných úloh, mezi které patří zodpovězení otázek, generování kódu a odůvodnění textového obsahu. Pro zvýšení výkonu v arabštině vyvinul tým Core42 interní arabskou datovou sadu a přeložil některé opensourcové anglické instrukce do arabštiny.

Délka kontextu: JAIS podporuje délku kontextu 8 tisíc.

Vstup: Vstup modelu je pouze text.

Výstup: Model generuje pouze text.

Nasazení jako bezserverového rozhraní API

Některé modely v katalogu modelů je možné nasadit jako bezserverové rozhraní API s průběžnými platbami. Tento druh nasazení poskytuje způsob, jak využívat modely jako rozhraní API bez jejich hostování ve vašem předplatném a současně udržovat podnikové zabezpečení a dodržování předpisů, které organizace potřebují. Tato možnost nasazení nevyžaduje kvótu z vašeho předplatného.

Dříve zmíněný model chatu JAIS 30b je možné nasadit jako službu s průběžnými platbami a nabízí Core42 prostřednictvím Microsoft Azure Marketplace. Core42 může změnit nebo aktualizovat podmínky použití a ceny tohoto modelu.

Vytvoření nového nasazení

Vytvoření nasazení:

Přihlaste se k Azure AI Studiu.
Na levém bočním panelu vyberte Katalog modelů.
Vyhledejte JAIS a vyberte model Jais-30b-chat.
Výběrem možnosti Nasadit otevřete okno nasazení bezserverového rozhraní API pro model.
Vyberte projekt, ve kterém chcete model nasadit. Pokud chcete nasadit model, který projekt nasadíte, musí být v oblasti USA – východ 2 nebo Švédsko – střed.
V průvodci nasazením vyberte odkaz na podmínky Azure Marketplace, kde najdete další informace o podmínkách použití.
Vyberte kartu Ceny a podmínky a seznamte se s cenami pro vybraný model.
Vyberte tlačítko Přihlásit se k odběru a nasazení . Pokud model nasazujete v projektu poprvé, musíte se přihlásit k odběru projektu pro konkrétní nabídku. Tento krok vyžaduje, aby váš účet má pro skupinu prostředků oprávnění role Azure AI Developer, jak je uvedeno v požadavcích. Každý projekt má vlastní předplatné konkrétní nabídky modelu Azure Marketplace, která umožňuje řídit a monitorovat útraty. V současné době můžete mít pro každý model v rámci projektu pouze jedno nasazení.
Jakmile se přihlásíte k odběru projektu pro konkrétní nabídku Azure Marketplace, následná nasazení stejné nabídky ve stejném projektu nevyžadují opětovné přihlášení k odběru. Pokud se tento scénář týká vás, můžete vybrat možnost Pokračovat k nasazení .
Pojmenujte nasazení. Tento název se stane součástí adresy URL rozhraní API nasazení. Tato adresa URL musí být v každé oblasti Azure jedinečná.
Vyberte Nasadit. Počkejte, až bude nasazení připravené a budete přesměrováni na stránku Nasazení.
Vyberte Otevřít v dětském hřišti a začněte s modelem pracovat.
Můžete se vrátit na stránku Nasazení, vybrat nasazení a poznamenat si cílovou adresu URL koncového bodu a tajný klíč. Další informace o používání rozhraní API najdete v referenční části.
Podrobnosti o koncovém bodu, adresu URL a přístupové klíče můžete kdykoli najít tak, že přejdete na stránku přehledu projektu. Potom na levém bočním panelu projektu vyberte Nasazení komponent>.

Informace o fakturaci modelů JAIS nasazených jako bezserverové rozhraní API s fakturací na základě tokenů založených na průběžných platbách najdete v tématu Aspekty nákladů a kvót pro modely JAIS nasazené jako služba.

Využívání modelu chatu JAIS 30b jako služby

Tyto modely je možné využívat pomocí rozhraní API chatu.

Na stránce přehledu projektu přejděte na levý boční panel a vyberte Nasazení součástí>.
Vyhledejte a vyberte nasazení, které jste vytvořili.
Zkopírujte cílovou adresu URL a hodnotu klíče.

Další informace o používání rozhraní API najdete v referenční části.

Referenční informace k rozhraní API chatu pro JAIS nasazené jako služba

v1/ chat/ dokončení

Žádost

    POST /v1/chat/completions HTTP/1.1
    Host: <DEPLOYMENT_URI>
    Authorization: Bearer <TOKEN>
    Content-type: application/json

v1/chat/completions request schema

JAIS 30b Chat přijímá následující parametry pro v1/chat/completions volání odvozování odpovědí:

Vlastnost	Typ	Výchozí	Popis
`messages`	`array`	`None`	Textové zadání, na které má model reagovat.
`max_tokens`	`integer`	`None`	Maximální počet tokenů, které model vygeneruje jako součást odpovědi. Poznámka: Nastavení nízké hodnoty může vést k neúplným generacím. Pokud ho nezadáte, vygeneruje tokeny až do konce sekvence.
`temperature`	`float`	`0.3`	Řídí náhodnost v modelu. Nižší hodnoty činí model determinističtějšími a vyššími hodnotami, aby byl model náhodnější.
`top_p`	`float`	`None`	Kumulativní pravděpodobnost tokenů slovníku nejvyšší pravděpodobnosti parametru, která se má zachovat pro vzorkování jádra, výchozí hodnota je null.
`top_k`	`integer`	`None`	Počet tokenů slovníku s nejvyšší pravděpodobností, které se mají zachovat pro filtrování top-k, výchozí hodnota je null.

Systémová nebo uživatelská zpráva podporuje následující vlastnosti:

Vlastnost	Typ	Výchozí	Popis
`role`	`enum`	Povinní účastníci	`role=system` nebo `role=user`.
`content`	`string`	Požaduje se	Textové zadání, na které má model reagovat.

Zpráva pomocníka podporuje následující vlastnosti:

Vlastnost	Typ	Výchozí	Popis
`role`	`enum`	Povinní účastníci	`role=assistant`
`content`	`string`	Požaduje se	Obsah zprávy asistenta.

v1/chat/completions response schema

Datová část odpovědi je slovník s následujícími poli:

Klíč	Typ	Popis
`id`	`string`	Jedinečný identifikátor dokončení.
`choices`	`array`	Seznam voleb dokončení, které model vygeneroval pro vstupní zprávy.
`created`	`integer`	Časové razítko unixu (v sekundách) doby vytvoření dokončení.
`model`	`string`	Model_id použité k dokončení.
`object`	`string`	chat.completion.
`usage`	`object`	Statistiky využití žádosti o dokončení

Objekt choices je slovník s následujícími poli:

Klíč	Typ	Popis
`index`	`integer`	Index voleb.
`messages` nebo `delta`	`string`	Dokončení chatu vede k objektu zpráv. Při použití režimu streamování se použije rozdílový klíč.
`finish_reason`	`string`	Důvod, proč model přestal generovat tokeny

Objekt usage je slovník s následujícími poli:

Klíč	Typ	Popis
`prompt_tokens`	`integer`	Počet tokenů v příkazovém řádku
`completion_tokens`	`integer`	Počet tokenů vygenerovaných v dokončení
`total_tokens`	`integer`	Celkový počet tokenů

Příklady

Arabština

Požadavek:

    "messages": [
        {
        "role": "user",
        "content": "ما هي الأماكن الشهيرة التي يجب زيارتها في الإمارات؟"
        }
    ]

Odpověď:

    {
        "id": "df23b9f7-e6bd-493f-9437-443c65d428a1",
        "choices": [
            {
                "index": 0,
                "finish_reason": "stop",
                "message": {
                    "role": "assistant",
                    "content": "هناك العديد من الأماكن المذهلة للزيارة في الإمارات! ومن أشهرها برج خليفة في دبي وهو أطول مبنى في العالم ، ومسجد الشيخ زايد الكبير في أبوظبي والذي يعد أحد أجمل المساجد في العالم ، وصحراء ليوا في الظفرة والتي تعد أكبر صحراء رملية في العالم وتجذب الكثير من السياح لتجربة ركوب الجمال والتخييم في الصحراء. كما يمكن للزوار الاستمتاع بالشواطئ الجميلة في دبي وأبوظبي والشارقة ورأس الخيمة، وزيارة متحف اللوفر أبوظبي للتعرف على تاريخ الفن والثقافة العالمية"
                }
            }
        ],
        "created": 1711734274,
        "model": "jais-30b-chat",
        "object": "chat.completion",
        "usage": {
            "prompt_tokens": 23,
            "completion_tokens": 744,
            "total_tokens": 767
        }
    }

Angličtina

Požadavek:

    "messages": [
        {
        "role": "user",
        "content": "List the emirates of the UAE."
        }
    ]

Odpověď:

    {
        "id": "df23b9f7-e6bd-493f-9437-443c65d428a1",
        "choices": [
            {
                "index": 0,
                "finish_reason": "stop",
                "message": {
                    "role": "assistant",
                    "content": "The seven emirates of the United Arab Emirates are: Abu Dhabi, Dubai, Sharjah, Ajman, Umm Al-Quwain, Fujairah, and Ras Al Khaimah."
                }
            }
        ],
        "created": 1711734274,
        "model": "jais-30b-chat",
        "object": "chat.completion",
        "usage": {
            "prompt_tokens": 23,
            "completion_tokens": 60,
            "total_tokens": 83
        }
    }

Další příklady odvození

Ukázkový typ	Ukázkový poznámkový blok
Rozhraní příkazového řádku s využitím webových požadavků CURL a Pythonu	webrequests.ipynb
OpenAI SDK (experimentální)	openaisdk.ipynb
LiteLLM	litellm.ipynb

Náklady a kvóty

Důležité informace o nákladech a kvótách pro modely nasazené jako služba

JAIS 30b Chat je nasazený jako služba, kterou nabízí Core42 prostřednictvím Azure Marketplace a integrovanou se sadou Azure AI Studio pro použití. Ceny na Azure Marketplace najdete při nasazení modelu.

Pokaždé, když si projekt předplatí danou nabídku z tržiště Azure Marketplace, vytvoří se nový prostředek pro sledování nákladů spojených s jeho spotřebou. Stejný zdroj se používá ke sledování nákladů spojených s odvozováním; Pro nezávislé sledování jednotlivých scénářů je však k dispozici více měřičů.

Další informace o sledování nákladů naleznete v části Sledování nákladů na modely nabízené prostřednictvím služby Azure Marketplace.

Kvóta se spravuje podle nasazení. Každé nasazení má limit rychlosti 200 000 tokenů za minutu a 1 000 požadavků rozhraní API za minutu. V současné době ale omezujeme jedno nasazení na model na jeden projekt. Pokud aktuální limity sazeb pro vaše scénáře nestačí, obraťte se na podporu Microsoft Azure.

Filtrování obsahu

Modely nasazené jako služba s průběžnými platbami jsou chráněné službou Azure AI Content Safety. S bezpečností obsahu Azure AI prochází výzva i dokončení souborem klasifikačních modelů určených k detekci a zabránění výstupu škodlivého obsahu. Systém filtrování obsahu zjistí a provede akce s konkrétními kategoriemi potenciálně škodlivého obsahu ve vstupních výzev i dokončení výstupu. Další informace o filtrování obsahu najdete tady.

Sdílet prostřednictvím