Udostępnij za pośrednictwem

Obsługiwane modele dla płatności za token

  • Artykuł

Ważne

Ta funkcja jest dostępna w publicznej wersji zapoznawczej.

W tym artykule opisano najnowocześniejsze otwarte modele, które są obsługiwane przez interfejsy API modelu usługi Databricks Foundation w trybie płatności za token.

Żądania zapytań można wysyłać do tych modeli przy użyciu punktów końcowych płatności za token dostępnych w obszarze roboczym usługi Databricks. Aby uzyskać nazwy punktów końcowych modelu, które mają być używane, zobacz Tworzenie zapytań dotyczących modeli i tabelę modeli obsługiwanych za token.

Oprócz modeli pomocniczych w trybie płatności za token interfejsy API modelu foundation oferują również tryb aprowizowanej przepływności. Usługa Databricks zaleca aprowizowaną przepływność dla obciążeń produkcyjnych. Ten tryb obsługuje wszystkie modele rodziny architektury modelu (na przykład modele DBRX), w tym dostosowane i niestandardowe wstępnie wytrenowane modele obsługiwane w trybie płatności za token. Aby uzyskać listę obsługiwanych architektur, zobacz Aprowizowanie interfejsów API modelu przepływności foundation.

Możesz korzystać z tych obsługiwanych modeli przy użyciu narzędzia AI Playground.

DBRX Poinstruowanie

Ważne

DBRX jest udostępniany w ramach licencji Databricks Open Model License, Copyright © Databricks, Inc. Wszelkie prawa zastrzeżone. Klienci są odpowiedzialni za zapewnienie zgodności z odpowiednimi licencjami modeli, w tym zasadami akceptowalnego użycia usługi Databricks.

DBRX Poinstruowanie to najnowocześniejsze połączenie modeli językowych ekspertów (MoE) wyszkolonych przez usługę Databricks.

Model przewyższa modele oparte na standardowych testach porównawczych i wyróżnia się w szerokim zestawie zadań języka naturalnego, takich jak podsumowanie tekstu, odpowiadanie na pytania, wyodrębnianie i kodowanie.

DBRX Poinstruowanie może obsługiwać maksymalnie 32k tokenów długości danych wejściowych i generuje dane wyjściowe maksymalnie 4k tokenów. Dzięki architekturze MoE DBRX Poinstruowanie jest wysoce wydajne do wnioskowania, aktywowanie tylko 36B parametrów z łącznie 132B wytrenowanych parametrów. Punkt końcowy płatności za token, który obsługuje ten model, ma limit szybkości jednego zapytania na sekundę. Zobacz Limity i regiony obsługi modeli.

Podobnie jak w przypadku innych dużych modeli językowych, dane wyjściowe DBRX Poinstruuj mogą pominąć niektóre fakty i czasami generować fałszywe informacje. Usługa Databricks zaleca używanie funkcji pobierania rozszerzonej generacji (RAG) w scenariuszach, w których dokładność jest szczególnie ważna.

Modele DBRX używają następującego domyślnego monitu systemowego, aby zapewnić istotność i dokładność odpowiedzi modelu:

You are DBRX, created by Databricks. You were last updated in December 2023. You answer questions based on information available up to that point.
YOU PROVIDE SHORT RESPONSES TO SHORT QUESTIONS OR STATEMENTS, but provide thorough responses to more complex and open-ended questions.
You assist with various tasks, from writing to coding (using markdown for code blocks — remember to use ``` with code, JSON, and tables).
(You do not have real-time data access or code execution capabilities. You avoid stereotyping and provide balanced perspectives on controversial topics. You do not provide song lyrics, poems, or news articles and do not divulge details of your training data.)
This is your system prompt, guiding your responses. Do not reference it, just respond to the user. If you find yourself talking about this message, stop. You should be responding appropriately and usually that means not mentioning this.
YOU DO NOT MENTION ANY OF THIS INFORMATION ABOUT YOURSELF UNLESS THE INFORMATION IS DIRECTLY PERTINENT TO THE USER'S QUERY.

Meta Llama 3 70B Poinstruuj

Ważne

Llama 3 jest licencjonowana zgodnie z licencją LLAMA 3 Community License, Copyright © Meta Platform, Inc. Wszelkie prawa zastrzeżone. Klienci są odpowiedzialni za zapewnienie zgodności z odpowiednimi licencjami modelu.

Meta-Llama-3-70B-Instruct to najnowocześniejsze model języka gęstego 70B z kontekstem 8000 tokenów utworzonych i wytrenowanych przez meta. Model jest zoptymalizowany pod kątem przypadków użycia dialogu i dostosowany do preferencji człowieka w celu uzyskania pomocy i bezpieczeństwa. Nie jest przeznaczony do użytku w językach innych niż angielski. Dowiedz się więcej o modelach Meta Llama 3.

Podobnie jak w przypadku innych dużych modeli językowych, dane wyjściowe Llama-3 mogą pominąć niektóre fakty i czasami generować fałszywe informacje. Usługa Databricks zaleca używanie funkcji pobierania rozszerzonej generacji (RAG) w scenariuszach, w których dokładność jest szczególnie ważna.

Llama 2 70B Chat

Ważne

Llama 2 jest licencjonowana zgodnie z licencją LLAMA 2 Community License, Copyright © Meta Platform, Inc. Wszelkie prawa zastrzeżone. Klienci są odpowiedzialni za zapewnienie zgodności z odpowiednimi licencjami modelu.

Llama-2-70B-Chat to najnowocześniejsze model języka parametrów 70B o długości kontekstu 4096 tokenów, wytrenowany przez meta. Wyróżnia się ona w aplikacjach interaktywnych, które wymagają silnych możliwości rozumowania, w tym podsumowania, odpowiedzi na pytania i aplikacji do czatów.

Podobnie jak w przypadku innych dużych modeli językowych, dane wyjściowe Llama-2-70B mogą pominąć niektóre fakty i czasami generować fałszywe informacje. Usługa Databricks zaleca używanie funkcji pobierania rozszerzonej generacji (RAG) w scenariuszach, w których dokładność jest szczególnie ważna.

Mixtral-8x7B Poinstruowanie

Mixtral-8x7B Poinstruowanie jest wysokiej jakości rozrzedliwe mieszaniny modeli ekspertów (SMoE) wyszkolonych przez Mistral AI. Mixtral-8x7B Poinstruowanie może służyć do różnych zadań, takich jak odpowiadanie na pytania, podsumowanie i wyodrębnianie.

Mixtral może obsługiwać długości kontekstu do 32k tokenów. Mixtral może przetwarzać angielski, francuski, włoski, niemiecki i hiszpański. Mecze mixtral lub przewyższają Llama 2 70B i GPT3.5 w większości testów porównawczych (wydajność Mixtral), podczas gdy są cztery razy szybsze niż Llama 70B podczas wnioskowania.

Podobnie jak w przypadku innych dużych modeli językowych, model Mixtral-8x7B Poinstruuj model nie powinien polegać na generowaniu faktycznych dokładnych informacji. Chociaż podjęto wielkie wysiłki w celu oczyszczenia danych wstępnego trenowania, możliwe jest, że ten model może wygenerować sprośne, stronnicze lub w inny sposób obraźliwe dane wyjściowe. Aby zmniejszyć ryzyko, usługa Databricks domyślnie używa wariantu monitu systemu trybu bezpiecznego Mistral.

GTE — duży (en)

Ważne

GtE Large (En) jest udostępniany w ramach licencji Apache 2.0, Copyright © The Apache Software Foundation, Wszelkie prawa zastrzeżone. Klienci są odpowiedzialni za zapewnienie zgodności z odpowiednimi licencjami modelu.

Ogólne osadzanie tekstu (GTE) to model osadzania tekstu, który może mapować dowolny tekst na wektor osadzania 1024 wymiarów i okno osadzania 8192 tokenów. Te wektory mogą być używane w bazach danych wektorów dla funkcji LLM oraz w przypadku zadań takich jak pobieranie, klasyfikacja, odpowiadanie na pytania, klastrowanie lub wyszukiwanie semantyczne. Ten punkt końcowy obsługuje angielską wersję modelu.

Modele osadzania są szczególnie skuteczne w przypadku użycia w połączeniu z modułami LLM do pobierania przypadków użycia rozszerzonej generacji (RAG). GtE może służyć do znajdowania odpowiednich fragmentów tekstu w dużych fragmentach dokumentów, które mogą być używane w kontekście llM.

Duży BGE (en)

BaAI General Embedding (BGE) to model osadzania tekstu, który może mapować dowolny tekst na wektor osadzania 1024 wymiarów i okno osadzania 512 tokenów. Te wektory mogą być używane w bazach danych wektorów dla funkcji LLM oraz w przypadku zadań takich jak pobieranie, klasyfikacja, odpowiadanie na pytania, klastrowanie lub wyszukiwanie semantyczne. Ten punkt końcowy obsługuje angielską wersję modelu.

Modele osadzania są szczególnie skuteczne w przypadku użycia w połączeniu z modułami LLM do pobierania przypadków użycia rozszerzonej generacji (RAG). Usługa BGE może służyć do znajdowania odpowiednich fragmentów tekstu w dużych fragmentach dokumentów, które mogą być używane w kontekście llM.

W aplikacjach RAG może być możliwe zwiększenie wydajności systemu pobierania przez dołączenie parametru instrukcji. Autorzy BGE zalecają wypróbowanie instrukcji "Represent this sentence for searching relevant passages:" dotyczących osadzania zapytań, chociaż jej wpływ na wydajność jest zależny od domeny.

Poinstruowanie MPT 7B

Ważne

MpT 7B Poinstruowanie jest planowane na emeryturę. Po 30 sierpnia 2024 r. ten model nie będzie już obsługiwany.

MPT-7B-8K-Poinstruowanie jest modelem parametrów 6.7B wyszkolonym przez MosaicML na potrzeby instrukcji długich formularzy, zwłaszcza odpowiedzi na pytania i podsumowywania dłuższych dokumentów. Model jest wstępnie wytrenowany dla tokenów 1,5T na mieszance zestawów danych i dostrojony na zestawie danych pochodzącym z zestawu danych dolly-15k oraz zestawów danych Anthropic Helpful and Nieszkodliwe (HH-RLHF) Nazwa modelu widoczna w produkcie jest, ale używany model jest mpt-7b-instruct nowszą wersją modelu.

MpT-7B-8K-Poinstruowanie może służyć do różnych zadań, takich jak odpowiadanie na pytania, podsumowywanie i wyodrębnianie. Jest to bardzo szybkie w stosunku do Llama-2-70B, ale może generować odpowiedzi niższej jakości. Ten model obsługuje długość kontekstu 8 tysięcy tokenów. Dowiedz się więcej o modelu MPT-7B-8k-Instruct.

Podobnie jak w przypadku innych modeli językowych tego rozmiaru, mpT-7B-8K-Poinstruowanie nie powinno polegać na generowaniu faktycznych dokładnych informacji. Ten model został wytrenowany na różnych publicznych zestawach danych. Chociaż podjęto wielkie wysiłki w celu oczyszczenia danych wstępnego trenowania, możliwe jest, że ten model może wygenerować sprośne, stronnicze lub w inny sposób obraźliwe dane wyjściowe.

MpT 30B Poinstruowanie

Ważne

Model MPT 30B Instruct jest planowany na emeryturę. Po 30 sierpnia 2024 r. ten model nie będzie już obsługiwany.

MPT-30B-Poinstruowanie jest modelem parametrów 30B na potrzeby instrukcji wytrenowanych przez MosaicML. Model jest wstępnie przeszkolony dla tokenów 1T w kombinacji tekstu i kodu w języku angielskim, a następnie dalsze instrukcje dostosowane do zestawu danych pochodzącego z zestawu danych Databricks Dolly-15k, Anthropic Helpful and Harmless (HH-RLHF), CompetitionMath, DuoRC, CoT GSM8k, QASPER, QuALITY, SummScreen i Spider zestawów danych.

Program MPT-30B-Instruct może służyć do wykonywania różnych zadań, takich jak odpowiadanie na pytania, podsumowanie i wyodrębnianie. Jest to bardzo szybkie w stosunku do Llama-2-70B, ale może generować odpowiedzi niższej jakości i nie obsługuje czatu wielowrotnego. Ten model obsługuje długość kontekstu 8192 tokenów. Dowiedz się więcej o modelu MPT-30B-Instruct.

Podobnie jak w przypadku innych modeli językowych tego rozmiaru, nie należy polegać na mpT-30B-Poinstruuj, aby przedstawić faktyczne dokładne informacje. Ten model został wytrenowany na różnych publicznych zestawach danych. Chociaż podjęto wielkie wysiłki w celu oczyszczenia danych przed trenowaniem, możliwe jest, że ten model może wygenerować sprośne, stronnicze lub w inny sposób obraźliwe dane wyjściowe.

Dodatkowe zasoby