Megosztás a következőn keresztül:


Databricks Foundation modell API-k

Ez a cikk áttekintést nyújt az Azure Databricks alapmodell API-jairól. Tartalmazza a használati követelményeket, a támogatott modelleket és a korlátozásokat.

Mik azok a Databricks Foundation-modell API-k?

Mozaik AI-modell kiszolgálói mostantól támogatja az alapmodell API-kat, amelyek lehetővé teszik a csúcsszintű nyitott modellek elérését és lekérdezését egy kiszolgáló végpontról. Ezeket a modelleket a Databricks üzemelteti, és gyorsan és egyszerűen hozhat létre olyan alkalmazásokat, amelyek a saját modell üzembe helyezése nélkül használják őket. Az Foundation Model API-k egy Databricks kijelölt szolgáltatás, ami azt jelenti, hogy az Databricks Geos használatával kezeli az adatok területi elhelyezkedését az ügyféltartalmak feldolgozásakor.

Az Alapmodell API-k a következő díjszabási módokban érhetők el:

  • Pay-per-token: Ez a legegyszerűbb módja annak, hogy megkezdje az alapmodellek elérését a Databricksen, és ajánlott az alapmodell API-kkal való utazás megkezdéséhez. Ez a mód nem nagy átviteli sebességű alkalmazásokhoz vagy nagy teljesítményű éles számítási feladatokhoz készült.
  • Kiosztott átviteli sebesség: Ez a mód minden éles számítási feladathoz ajánlott, különösen azokhoz, amelyek magas átviteli sebességet, teljesítménygaranciát, finomhangolt modelleket vagy további biztonsági követelményeket igényelnek. A kiépített átviteli sebesség végpontjai olyan megfelelőségi tanúsítványokkal érhetők el, mint a HIPAA.

Lásd a Alapmodell API-k használata részt útmutatásért az ilyen módok és a támogatott modellek használatáról.

Az Alapmodell API-kkal az alábbiakat teheti meg:

  • Lekérdezhet egy általánosított LLM-et a projekt érvényességének ellenőrzéséhez, mielőtt további erőforrásokat fektet be.
  • Általánosított LLM lekérdezése egy LLM-alapú alkalmazás gyors megvalósíthatósági igazolásának létrehozásához, mielőtt betanítanának és üzembe helyeznének egy egyéni modellt.
  • Használjon alapmodellt és vektoradatbázist egy csevegőrobot létrehozásához a lekéréses kiterjesztett generáció (RAG) használatával.
  • Cserélje le a védett modelleket nyílt alternatívákra a költségek és a teljesítmény optimalizálása érdekében.
  • Hatékonyan hasonlítsa össze az LLM-eket, hogy megtalálja a használati esethez legjobban illő jelöltet, vagy cseréljen le egy éles modellt egy jobb teljesítményűre.
  • Építsen egy fejlesztésre vagy éles használatra szánt LLM-alkalmazást egy skálázható, SLA-támogatott LLM-kiszolgáló megoldásra alapozva, amely képes kezelni a produkciós forgalmi csúcsokat.

követelmények

Alapmodell API-k használata

Az alapmodell API-k használatára több lehetősége is van.

Az API-k kompatibilisek az OpenAI-val, így az OpenAI-ügyfelet használhatja a lekérdezéshez. A támogatott modellek lekérdezéséhez használhatja a felhasználói felületet, az Foundation Models API-kat, a Python SDK-t, az MLflow Deployments SDK-t vagy a REST API-t is. A Databricks az OpenAI ügyféloldali SDK-t vagy API-t javasolja a kiterjesztett interakciókhoz, valamint a felhasználói felületet a funkció kipróbáláshoz.

A pontozási példákért lásd Lekérdezésalapmodellek.

Tokenenkénti fizetés alapmodell API-k

A jogkivonatonkénti fizetéses modelleket kiszolgáló előre konfigurált végpontok elérhetők az Azure Databricks-munkaterületen. Ezek a tokenenkénti fizetési modellek ajánlottak az első lépésekhez. A munkaállomáson való hozzáféréshez lépjen a bal oldali oldalsávon található Kiszolgáló fülre. Az Alapmodell API-k a Végpontok listanézet tetején találhatók.

Végpontok kiszolgálása lista

Kiosztott átviteli kapacitás alapmodell API-k

A kiosztott átviteli kapacitás optimalizált következtetést nyújt azoknak az alapmodelleknek a munkafolyamataihoz, amelyek teljesítménygaranciát igényelnek. A Databricks az előre meghatározott átviteli sebességet javasolja az éles számítási feladatokhoz.

A kiépített átviteli sebesség támogatása a következőket tartalmazza:

  • Minden méretben elérhető alapmodellek. Az alapmodellek a Databricks Marketplace-en érhetők el, vagy letöltheti őket az Ölelés arcról vagy egy másik külső forrásból, és regisztrálhatja őket a Unity katalógusban. Az utóbbi megközelítés a támogatott modellek bármely finomhangolt változatával működik.
  • alapmodellek finomhangolt változatai, például a védett adatokra finomhangolt modellek.
  • Teljesen egyéni súlyok és tokenizerek, például az alapoktól betanított, illetve a folyamatos előre betanított vagy más változatok az alapmodell architektúrájának (például CodeLlama) használatával.

Korlátozások

Lásd a Foundation Model API-k határait.

További erőforrások