Databricks Foundation modell API-k
Ez a cikk áttekintést nyújt az Azure Databricks alapmodell API-jairól. Tartalmazza a használati követelményeket, a támogatott modelleket és a korlátozásokat.
Mik azok a Databricks Foundation-modell API-k?
Mozaik AI-modell kiszolgálói mostantól támogatja az alapmodell API-kat, amelyek lehetővé teszik a csúcsszintű nyitott modellek elérését és lekérdezését egy kiszolgáló végpontról. Ezeket a modelleket a Databricks üzemelteti, és gyorsan és egyszerűen hozhat létre olyan alkalmazásokat, amelyek a saját modell üzembe helyezése nélkül használják őket. Az Foundation Model API-k egy Databricks kijelölt szolgáltatás, ami azt jelenti, hogy az Databricks Geos használatával kezeli az adatok területi elhelyezkedését az ügyféltartalmak feldolgozásakor.
Az Alapmodell API-k a következő díjszabási módokban érhetők el:
- Pay-per-token: Ez a legegyszerűbb módja annak, hogy megkezdje az alapmodellek elérését a Databricksen, és ajánlott az alapmodell API-kkal való utazás megkezdéséhez. Ez a mód nem nagy átviteli sebességű alkalmazásokhoz vagy nagy teljesítményű éles számítási feladatokhoz készült.
- Kiosztott átviteli sebesség: Ez a mód minden éles számítási feladathoz ajánlott, különösen azokhoz, amelyek magas átviteli sebességet, teljesítménygaranciát, finomhangolt modelleket vagy további biztonsági követelményeket igényelnek. A kiépített átviteli sebesség végpontjai olyan megfelelőségi tanúsítványokkal érhetők el, mint a HIPAA.
Lásd a Alapmodell API-k használata részt útmutatásért az ilyen módok és a támogatott modellek használatáról.
Az Alapmodell API-kkal az alábbiakat teheti meg:
- Lekérdezhet egy általánosított LLM-et a projekt érvényességének ellenőrzéséhez, mielőtt további erőforrásokat fektet be.
- Általánosított LLM lekérdezése egy LLM-alapú alkalmazás gyors megvalósíthatósági igazolásának létrehozásához, mielőtt betanítanának és üzembe helyeznének egy egyéni modellt.
- Használjon alapmodellt és vektoradatbázist egy csevegőrobot létrehozásához a lekéréses kiterjesztett generáció (RAG) használatával.
- Cserélje le a védett modelleket nyílt alternatívákra a költségek és a teljesítmény optimalizálása érdekében.
- Hatékonyan hasonlítsa össze az LLM-eket, hogy megtalálja a használati esethez legjobban illő jelöltet, vagy cseréljen le egy éles modellt egy jobb teljesítményűre.
- Építsen egy fejlesztésre vagy éles használatra szánt LLM-alkalmazást egy skálázható, SLA-támogatott LLM-kiszolgáló megoldásra alapozva, amely képes kezelni a produkciós forgalmi csúcsokat.
követelmények
- Databricks API-jogkivonat a végpontkérelmek hitelesítéséhez.
- Kiszolgáló nélküli számítás (kiépített átviteli sebességmodellekhez).
- Munkaterület a következő támogatott régiók egyikében:
Alapmodell API-k használata
Az alapmodell API-k használatára több lehetősége is van.
Az API-k kompatibilisek az OpenAI-val, így az OpenAI-ügyfelet használhatja a lekérdezéshez. A támogatott modellek lekérdezéséhez használhatja a felhasználói felületet, az Foundation Models API-kat, a Python SDK-t, az MLflow Deployments SDK-t vagy a REST API-t is. A Databricks az OpenAI ügyféloldali SDK-t vagy API-t javasolja a kiterjesztett interakciókhoz, valamint a felhasználói felületet a funkció kipróbáláshoz.
A pontozási példákért lásd Lekérdezésalapmodellek.
Tokenenkénti fizetés alapmodell API-k
A jogkivonatonkénti fizetéses modelleket kiszolgáló előre konfigurált végpontok elérhetők az Azure Databricks-munkaterületen. Ezek a tokenenkénti fizetési modellek ajánlottak az első lépésekhez. A munkaállomáson való hozzáféréshez lépjen a bal oldali oldalsávon található Kiszolgáló fülre. Az Alapmodell API-k a Végpontok listanézet tetején találhatók.
- támogatott, tokenenkénti fizetéses modellek.
- Az alapmodell API-k lekérdezésére vonatkozó útmutatásért tekintse meg Lekérdezési alapmodellek című témakört.
- A szükséges paramétereket és szintaxisokat a Foundation-modell REST API-referencia című témakörben talál.
Kiosztott átviteli kapacitás alapmodell API-k
A kiosztott átviteli kapacitás optimalizált következtetést nyújt azoknak az alapmodelleknek a munkafolyamataihoz, amelyek teljesítménygaranciát igényelnek. A Databricks az előre meghatározott átviteli sebességet javasolja az éles számítási feladatokhoz.
- Kiosztott teljesítmény által támogatott modell architektúrák.
- Kérjük, tekintse meg a Kiépített átviteli sebességű Alapmodell API-k részben található részletes útmutatót arról, hogyan lehet üzembe helyezni az alapmodell API-kat kiépített átviteli sebesség módban.
A kiépített átviteli sebesség támogatása a következőket tartalmazza:
- Minden méretben elérhető alapmodellek. Az alapmodellek a Databricks Marketplace-en érhetők el, vagy letöltheti őket az Ölelés arcról vagy egy másik külső forrásból, és regisztrálhatja őket a Unity katalógusban. Az utóbbi megközelítés a támogatott modellek bármely finomhangolt változatával működik.
- alapmodellek finomhangolt változatai, például a védett adatokra finomhangolt modellek.
- Teljesen egyéni súlyok és tokenizerek, például az alapoktól betanított, illetve a folyamatos előre betanított vagy más változatok az alapmodell architektúrájának (például CodeLlama) használatával.
Korlátozások
Lásd a Foundation Model API-k határait.