Udostępnij za pośrednictwem

Importowanie interfejsu API modelu językowego kompatybilnego z OpenAI

DOTYCZY: Wszystkich poziomów zarządzania API

Punkty końcowe modelu języka zgodne z OpenAI można zaimportować do instancji zarządzania API jako interfejsy API. Na przykład możesz chcieć zarządzać własnym hostem usługi LLM lub hostowanym u dostawcy wnioskowania innego niż usługi Azure AI. Użyj zasad bramy sztucznej inteligencji i innych funkcji w usłudze API Management, aby uprościć integrację, zwiększyć czytelność i zwiększyć kontrolę nad punktami końcowymi modelu.

Dowiedz się więcej o zarządzaniu interfejsami API sztucznej inteligencji w usłudze API Management:

Typy interfejsów API modelu języka

Usługa API Management obsługuje dwa typy interfejsów API modelu językowego dla tego scenariusza. Wybierz opcję odpowiednią dla wdrożenia modelu. Opcja określa, jak klienci wywołują interfejs API i jak wystąpienie usługi API Management kieruje żądania do usług związanych ze sztuczną inteligencją.

  • Zgodne z interfejsem OpenAI — punkty końcowe modelu języka zgodne z interfejsem API openAI. Przykłady obejmują niektóre modele ujawnione przez dostawców wnioskowania, takich jak Hugging Face Text Generation Inference (TGI).

    Usługa API Management konfiguruje punkt końcowy uzupełniania czatów zgodny z interfejsem OpenAI.

  • Passthrough — inne punkty końcowe modelu językowego, które nie są zgodne z interfejsem API OpenAI. Przykłady obejmują modele wdrożone w usłudze Amazon Bedrock lub innych dostawców.

    API Management konfiguruje operacje z użyciem symboli wieloznacznych dla typowych czasowników HTTP. Klienci mogą dołączać ścieżki do operacji z symbolami wieloznacznymi, a usługa API Management przekazuje żądania do zaplecza.

Wymagania wstępne

  • Istniejąca instancja usługi API Management. Utwórz go, jeśli jeszcze tego nie zrobiono.
  • Wdrożenie modelu językowego, które jest hostowane samodzielnie lub nie jest dostarczane przez platformę Azure, z punktem końcowym interfejsu API.

Importowanie interfejsu API modelu językowego przy użyciu portalu

Aby zaimportować interfejs API modelu językowego do usługi API Management:

  1. Na portalu Azure przejdź do instancji zarządzania API.

  2. W menu po lewej stronie, w obszarze APIs, wybierz APIs>+ Dodaj API.

  3. W obszarze Definiowanie nowego interfejsu API wybierz pozycję Interfejs API modelu językowego.

    Zrzut ekranu przedstawiający tworzenie interfejsu API zgodnego z interfejsem OpenAI w portalu.

  4. Na karcie Konfiguracja API :

    1. Wprowadź nazwę wyświetlaną i opcjonalny opis dla API.
    2. Wprowadź adres URL punktu końcowego API LLM.
    3. Opcjonalnie wybierz co najmniej jeden produkt do skojarzenia z interfejsem API.
    4. W polu Ścieżka dołącz ścieżkę używaną przez wystąpienie usługi API Management do uzyskiwania dostępu do punktów końcowych interfejsu API LLM.
    5. W Typie wybierz pozycję Create OpenAI API (Utwórz interfejs API OpenAI) lub Create a passthrough API (Utwórz interfejs API przekazywania). Aby uzyskać więcej informacji, zobacz Typy interfejsów API modelu języka .
    6. W polu Klucz dostępu wprowadź nazwę nagłówka autoryzacji i klucz interfejsu API używany do uzyskiwania dostępu do interfejsu API LLM, jeśli jest to wymagane.
    7. Wybierz Dalej.

    Zrzut ekranu przedstawiający konfigurację interfejsu API modelu językowego w portalu.

  5. Na karcie Zarządzanie użyciem tokenu opcjonalnie wprowadź ustawienia lub zaakceptuj wartości domyślne, które definiują następujące zasady, aby ułatwić monitorowanie interfejsu API i zarządzanie nim:

  6. Na karcie Zastosuj buforowanie semantyczne opcjonalnie wprowadź ustawienia lub zaakceptuj ustawienia domyślne, które definiują zasady, aby pomóc zoptymalizować wydajność i zmniejszyć opóźnienie dla interfejsu API:

  7. W Bezpieczeństwo Zawartości AI możesz wprowadzić ustawienia lub zaakceptować wartości domyślne, aby skonfigurować usługę Azure AI Content Safety do blokowania treści z niebezpieczną zawartością.

  8. Wybierz opcję Przejrzyj.

  9. Po zweryfikowaniu ustawień wybierz pozycję Utwórz.

Testowanie interfejsu API LLM

Aby upewnić się, że interfejs API LLM działa zgodnie z oczekiwaniami, przetestuj go w konsoli testowej usługi API Management.

  1. Wybierz interfejs API utworzony w poprzednim kroku.

  2. Wybierz kartę Test.

  3. Wybierz operację zgodną z wdrożeniem modelu. Na stronie są wyświetlane pola parametrów i nagłówków.

  4. Wprowadź parametry i nagłówki zgodnie z potrzebami. W zależności od operacji może być konieczne skonfigurowanie lub zaktualizowanie treści żądania.

    Uwaga / Notatka

    W konsoli testowej usługa API Management automatycznie wypełnia nagłówek Ocp-Apim-Subscription-Key i konfiguruje klucz subskrypcji dla wbudowanej subskrypcji o pełnym dostępie. Ten klucz umożliwia dostęp do wszystkich interfejsów API w instancji zarządzania API. Opcjonalnie wyświetl nagłówek Ocp-Apim-Subscription-Key, wybierając ikonę "oko" znajdującą się obok żądania HTTP.

  5. Wybierz Wyślij.

    Po pomyślnym zakończeniu testu zaplecze odpowiada z pomyślnym kodem odpowiedzi HTTP i pewnymi danymi. Dołączane do odpowiedzi to dane użycia tokenu, które ułatwiają monitorowanie użycia tokenów modelu językowego i zarządzanie nim.

Treści powiązane