Narzędzie LLM

Narzędzie dużego modelu językowego (LLM) w przepływie monitów umożliwia korzystanie z powszechnie używanych dużych modeli językowych, takich jak OpenAI lub Azure OpenAI w modelach usługi Azure AI Foundry Models, lub dowolnego modelu języka obsługiwanego przez interfejs API wnioskowania modelu sztucznej inteligencji platformy Azure na potrzeby przetwarzania języka naturalnego.

Przepływ monitów udostępnia kilka różnych interfejsów API modelu języka:

• Uzupełnianie: modele uzupełniania interfejsu OpenAI generują tekst na podstawie podanych monitów.
• Czat: modele czatów openAI i modele czatów usługi Azure AI ułatwiają interaktywne rozmowy z danymi wejściowymi i odpowiedziami opartymi na tekście.

Uwaga

Usunęliśmy embedding opcję z ustawienia interfejsu API narzędzia LLM. Możesz użyć interfejsu API osadzania z narzędziem osadzania. Tylko uwierzytelnianie oparte na kluczach jest obsługiwane w przypadku połączenia azure OpenAI. Nie używaj znaków innych niż ascii w nazwie grupy zasobów zasobu Azure OpenAI, przepływ monitu nie obsługuje tego przypadku.

Wymagania wstępne

Tworzenie zasobów openAI:

• OpenAI:

  • Zarejestruj swoje konto w witrynie internetowej OpenAI.
  • Zaloguj się i znajdź osobisty klucz interfejsu API.

• Azure OpenAI:

  • Utwórz zasoby usługi Azure OpenAI, wykonując te instrukcje.

• Modele wdrożone we standardowych wdrożeniach

  • Utwórz punkt końcowy z modelem z interesującego Cię katalogu i wdróż go przy użyciu standardowego wdrożenia.
  • Aby używać modeli wdrożonych w standardowym wdrożeniu obsługiwanym przez interfejs API wnioskowania modelu sztucznej inteligencji platformy Azure, takich jak Mistral, Cohere, Meta Llama lub rodzina modeli firmy Microsoft (między innymi), musisz utworzyć połączenie w projekcie z punktem końcowym

Połączenia

Skonfiguruj połączenia z aprowizowaną zasobami w przepływie monitu.

Typ	Nazwisko	klucz interfejsu API	Typ API	Wersja interfejsu API
OpenAI	Wymagania	Wymagania	-	-
Azure OpenAI — klucz interfejsu API	Wymagania	Wymagania	Wymagania	Wymagania
Azure OpenAI — identyfikator entra firmy Microsoft	Wymagania	-	-	Wymagania
Model bezserwerowy	Wymagania	Wymagania	-	-

Napiwek

• Aby użyć typu uwierzytelniania identyfikatora entra firmy Microsoft dla połączenia azure OpenAI, musisz przypisać tożsamość zarządzaną przypisaną Cognitive Services OpenAI User przez użytkownika lub Cognitive Services OpenAI Contributor role użytkownika.
• Dowiedz się więcej o sposobie określania sposobu używania tożsamości użytkownika do przesyłania przebiegu przepływu.
• Dowiedz się więcej na temat konfigurowania usługi Azure OpenAI przy użyciu tożsamości zarządzanych.

Dane wejściowe

W poniższych sekcjach przedstawiono różne dane wejściowe.

Uzupełnianie tekstu

Nazwisko	Typ	Opis	Wymagania
monit	ciąg	Monit tekstowy dla modelu językowego.	Tak
model, deployment_name	ciąg	Model językowy do użycia.	Tak
maks_tokenów	liczba całkowita	Maksymalna liczba tokenów do wygenerowania w zakończeniu. Wartość domyślna to 16.	Nie.
temperatura	float	Losowość wygenerowanego tekstu. Wartość domyślna to 1.	Nie.
zatrzymać	lista	Zatrzymywanie sekwencji wygenerowanego tekstu. Wartość domyślna to null.	Nie.
przyrostek	ciąg	Tekst dołączony na końcu ukończenia.	Nie.
top_p	float	Prawdopodobieństwo użycia najlepszego wyboru z wygenerowanych tokenów. Wartość domyślna to 1.	Nie.
logprobs	liczba całkowita	Liczba prawdopodobieństwa dziennika do wygenerowania. Wartość domyślna to null.	Nie.
echo	typ logiczny (boolowski)	Wartość wskazująca, czy należy powtórzyć monit w odpowiedzi. Wartość domyślna to „fałsz”.	Nie.
kara_obecności	float	Wartość, która kontroluje zachowanie modelu na potrzeby powtarzania fraz. Wartość domyślna to 0.	Nie.
kara za częstotliwość	float	Wartość, która kontroluje zachowanie modelu w celu generowania rzadkich fraz. Wartość domyślna to 0.	Nie.
najlepsze z	liczba całkowita	Liczba najlepszych uzupełnień do wygenerowania. Wartość domyślna to 1.	Nie.
odchylenie logistyczne	słownik	Logit stronniczy dla modelu językowego. Wartość domyślna to pusty słownik.	Nie.

Czat

Nazwisko	Typ	Opis	Wymagania
monit	ciąg	Monit tekstowy używany przez model językowy na potrzeby odpowiedzi.	Tak
model, deployment_name	ciąg	Model językowy do użycia. Ten parametr nie jest wymagany, jeśli model jest wdrożony w standardowym wdrożeniu.	Tak*
maks_tokenów	liczba całkowita	Maksymalna liczba tokenów do wygenerowania w odpowiedzi. Wartość domyślna to inf.	Nie.
temperatura	float	Losowość wygenerowanego tekstu. Wartość domyślna to 1.	Nie.
zatrzymać	lista	Zatrzymywanie sekwencji wygenerowanego tekstu. Wartość domyślna to null.	Nie.
top_p	float	Prawdopodobieństwo użycia najlepszego wyboru z wygenerowanych tokenów. Wartość domyślna to 1.	Nie.
kara_obecności	float	Wartość, która kontroluje zachowanie modelu na potrzeby powtarzania fraz. Wartość domyślna to 0.	Nie.
kara za częstotliwość	float	Wartość, która kontroluje zachowanie modelu w celu generowania rzadkich fraz. Wartość domyślna to 0.	Nie.
odchylenie logistyczne	słownik	Logit stronniczy dla modelu językowego. Wartość domyślna to pusty słownik.	Nie.

Dane wyjściowe

API	Typ zwracany	Opis
Zakończenie	ciąg	Tekst jednego przewidywanego ukończenia
Czat	ciąg	Tekst jednej odpowiedzi konwersacji

Korzystanie z narzędzia LLM

1. Skonfiguruj i wybierz połączenia z zasobami openAI lub standardowym wdrożeniem.
2. Skonfiguruj interfejs API modelu dużego języka i jego parametry.
3. Przygotuj monit, aby uzyskać wskazówki.