Megosztás a következőn keresztül:

Databricks alapmodell API-k

  • Cikk

Ez a cikk áttekintést nyújt az Azure Databricks alapmodell API-jairól. Tartalmazza a használati követelményeket, a támogatott modelleket és a korlátozásokat.

Mik azok a Databricks Foundation-modell API-k?

A Mozaik AI-modellmegjelenítés mostantól támogatja az alapmodell API-kat, amelyek lehetővé teszik a korszerű nyitott modellek elérését és lekérdezését egy kiszolgáló végpontról. Az Alapmodell API-kkal gyorsan és egyszerűen hozhat létre olyan alkalmazásokat, amelyek kiváló minőségű, generatív AI-modellt használnak anélkül, hogy fenntartanák a saját modell üzembe helyezését. Az Alapmodell API-k egy Databricks-kijelölt szolgáltatás, amely azt jelenti, hogy a Databricks Geos használatával kezeli az adatok tartózkodási helyét az ügyféltartalmak feldolgozásakor.

Az Alapmodell API-k két díjszabási módban érhetők el:

  • Pay-per-token: Ez a legegyszerűbb módja annak, hogy megkezdje az alapmodellek elérését a Databricksen, és ajánlott az alapmodell API-kkal való utazás megkezdéséhez. Ez a mód nem nagy átviteli sebességű alkalmazásokhoz vagy nagy teljesítményű éles számítási feladatokhoz készült.
  • Kiosztott átviteli sebesség: Ez a mód minden éles számítási feladathoz ajánlott, különösen azokhoz, amelyek magas átviteli sebességet, teljesítménygaranciát, finomhangolt modelleket vagy további biztonsági követelményeket igényelnek. A kiépített átviteli sebesség végpontjai olyan megfelelőségi tanúsítványokkal érhetők el, mint a HIPAA.

A két mód és a támogatott modellek használatára vonatkozó útmutatásért tekintse meg az Alapmodell API-k használatát ismertető cikket.

Az Alapmodell API-kkal a következőt teheti:

  • Lekérdezhet egy általánosított LLM-et a projekt érvényességének ellenőrzéséhez, mielőtt további erőforrásokat fektet be.
  • Lekérdezhet egy általánosított LLM-et, hogy gyors megvalósíthatósági igazolást hozzon létre egy LLM-alapú alkalmazáshoz, mielőtt betanítanának és üzembe helyeznének egy egyéni modellt.
  • Használjon alapmodellt és vektoradatbázist egy csevegőrobot létrehozásához a lekéréses kiterjesztett generáció (RAG) használatával.
  • Cserélje le a védett modelleket nyílt alternatívákra a költségek és a teljesítmény optimalizálása érdekében.
  • Hatékonyan hasonlítsa össze az LLM-eket, hogy lássa, melyik a legjobb jelölt a használati esethez, vagy felcserélhet egy éles modellt egy jobb teljesítményűre.
  • Olyan, skálázható, SLA-alapú LLM-kiszolgáló megoldáson alapuló, fejlesztésre vagy éles használatra készült LLM-alkalmazás létrehozása, amely támogatja az éles forgalom csúcsait.

Követelmények

Feljegyzés

A DBRX-alapmodellt használó kiosztott átviteli sebesség számítási feladataiért tekintse meg az alapmodell API-jainak a régió rendelkezésre állására vonatkozó korlátait .

Alapmodell API-k használata

Az alapmodell API-k használatára több lehetősége is van.

Az API-k kompatibilisek az OpenAI-val, így az OpenAI-ügyfelet használhatja a lekérdezéshez. A támogatott modellek lekérdezéséhez használhatja a felhasználói felületet, az Foundation Models API-kat, a Python SDK-t, az MLflow Deployments SDK-t vagy a REST API-t is. A Databricks az OpenAI ügyféloldali SDK-t vagy API-t javasolja a kiterjesztett interakciókhoz, valamint a felhasználói felületet a funkció kipróbáláshoz.

Példák pontozásához tekintse meg a lekérdezésgeneratív AI-modelleket .

Jogkivonatonkénti fizetéses alapmodell API-k

A jogkivonatonkénti fizetéses modellek elérhetők az Azure Databricks-munkaterületen, és ajánlott az első lépésekhez. A munkaterületen való hozzáféréshez lépjen a bal oldali oldalsáv Kiszolgálás lapjára. Az Alapmodell API-k a Végpontok listanézet tetején találhatók.

Végpontok listázása

Az alábbi táblázat összefoglalja a jogkivonatonkénti fizetés támogatott modelljeit. További modellinformációkért tekintse meg a jogkivonatonkénti fizetés támogatott modelljeit.

Ha tesztelni és csevegni szeretne ezekkel a modellekkel, ezt az AI Playground használatával teheti meg. Lásd: Csevegés LLM-ekkel és GenAI-alkalmazások prototípusával az AI Playground használatával.

Fontos

  • 2024. július 23-tól a Meta-Llama-3.1-70B-Instruct a Meta-Llama-3-70B-Instruct in Foundation Model API-k tokenenkénti fizetéses végpontjainak támogatását váltja fel.
  • A Meta-Llama-3.1-405B-Instruct a legnagyobb, nyíltan elérhető, a meta által készített és betanított, az Azure Machine Learning által az AzureML-modellkatalógussal elosztott, nyíltan elérhető, modern, nagy nyelvi modell.
  • A következő modellek kivonásra kerülnek. Az ajánlott cseremodellekért tekintse meg a kivezetett modelleket .
    • Llama 2 70B csevegés
    • MPT 7B utasítás
    • MPT 30B utasítás
Modell Tevékenység típusa Végpont Jegyzetek
GTE Large (angol) Beágyazás databricks-gte-large-en Nem hoz létre normalizált beágyazásokat.
Meta-Llama-3.1-70B-Instruct Csevegés databricks-meta-llama-3-1-70b-instruct
Meta-Llama-3.1-405B-Instruct* Csevegés databricks-meta-llama-3-1-405b-instruct Tekintse meg az alapmodell API-k régióhoz való elérhetőségére vonatkozó korlátozásait .
DBRX-utasítások Csevegés databricks-dbrx-instruct Tekintse meg az alapmodell API-k régióhoz való elérhetőségére vonatkozó korlátozásait .
Mixtral-8x7B utasítás Csevegés databricks-mixtral-8x7b-instruct Tekintse meg az alapmodell API-k régióhoz való elérhetőségére vonatkozó korlátozásait .
BGE Large (angol) Beágyazás databricks-bge-large-en Tekintse meg az alapmodell API-k régióhoz való elérhetőségére vonatkozó korlátozásait .

* Ha végponthibákat vagy stabilizálási hibákat tapasztal a modell használatakor, forduljon a Databricks-fiók csapatához.

Kiosztott átviteli sebesség foundation model API-k

A kiosztott átviteli sebesség optimalizált következtetést biztosít az alapmodell számítási feladataihoz, amelyek teljesítménygaranciát igényelnek. A Databricks a kiosztott átviteli sebességet javasolja az éles számítási feladatokhoz. Az alapmodell API-k üzembe helyezéséről részletes útmutatót talál a kiépített átviteli sebesség foundation modell API-iról.

A kiépített átviteli sebesség támogatása a következőket tartalmazza:

  • Alapmodellek minden méretben, például DBRX Base. Az alapmodellek a Databricks Marketplace-en érhetők el, vagy letöltheti őket az Ölelés arcról vagy egy másik külső forrásból, és regisztrálhatja őket a Unity katalógusban. Az utóbbi megközelítés a támogatott modellek bármely finomhangolt változatával működik, függetlenül az alkalmazott finomhangolási módszertől.
  • Az alapmodellek finomhangolt változatai, például a LlamaGuard-7B. Ide tartoznak a védett adatokra finomhangolt modellek.
  • Teljesen egyéni súlyok és tokenizerek, például az alapoktól betanított vagy az alapmodell architektúráját (például CodeLlama) használó folyamatos előre betanított vagy egyéb változatok.

Az alábbi táblázat a kiosztott átviteli sebesség támogatott modellarchitektúráit foglalja össze.

Fontos

A Meta Llama 3.2 licenccel rendelkezik a LLAMA 3.2 közösségi licenc, Copyright © Meta Platformok, Inc. Minden jog fenntartva. Az ügyfelek felelősek azért, hogy megfeleljenek a licenc feltételeinek és a Llama 3.2 elfogadható használati szabályzatának.

A Meta Llama 3.1 licenccel rendelkezik a LLAMA 3.1 közösségi licenc, copyright © metaplatformok, Inc. Minden jog fenntartva. Az ügyfelek felelősek az alkalmazandó modelllicencek megfelelőségének biztosításáért.

Modellarchitektúra Feladattípusok Jegyzetek
Meta Llama 3.2 3B Csevegés vagy befejezés
Meta Llama 3.2 1B Csevegés vagy befejezés
Meta Llama 3.1 Csevegés vagy befejezés
Meta Llama 3 Csevegés vagy befejezés
Meta Láma 2 Csevegés vagy befejezés
DBRX Csevegés vagy befejezés Tekintse meg az alapmodell API-k régióhoz való elérhetőségére vonatkozó korlátozásait .
Misztrál Csevegés vagy befejezés
Mixtral Csevegés vagy befejezés
TCT Csevegés vagy befejezés
GTE 1.5-ös verzió (angol) Beágyazás Nem hoz létre normalizált beágyazásokat.
BGE 1.5-ös verzió (angol) Beágyazás

Korlátozások

Lásd az alapmodell API-jainak korlátait.

További erőforrások