다음을 통해 공유

OpenAI 호환 언어 모델 API 가져오기

적용 대상: 모든 API Management 계층

OpenAI 호환 언어 모델 엔드포인트를 API로 API Management 인스턴스로 가져올 수 있습니다. 예를 들어 자체 호스팅하거나 Azure AI 서비스 이외의 유추 공급자에서 호스트되는 LLM을 관리할 수 있습니다. API Management의 AI 게이트웨이 정책 및 기타 기능을 사용하여 통합을 간소화하고, 가시성을 향상시키며, 모델 엔드포인트에 대한 제어를 향상시킵니다.

API Management에서 AI API를 관리하는 방법에 대해 자세히 알아봅니다.

언어 모델 API 형식

API Management는 이 시나리오에 대해 두 가지 유형의 언어 모델 API를 지원합니다. 모델 배포에 적합한 옵션을 선택합니다. 이 옵션은 클라이언트가 API를 호출하는 방법과 API Management 인스턴스가 AI 서비스에 요청을 라우팅하는 방법을 결정합니다.

  • OpenAI 호환 - OpenAI 의 API와 호환되는 언어 모델 엔드포인트입니다. 예를 들어 포옹 얼굴 텍스트 생성 유추(TGI)와 같은 유추 공급자가 노출하는 특정 모델이 있습니다.

    API Management는 OpenAI 호환 채팅 완료 엔드포인트를 구성합니다.

  • 패스스루 - OpenAI의 API와 호환되지 않는 다른 언어 모델 엔드포인트가 포함됩니다. 예를 들어 Amazon Bedrock 또는 다른 공급자에 배포된 모델이 있습니다.

    API Management는 일반적인 HTTP 동사에 대한 와일드카드 작업을 구성합니다. 클라이언트는 와일드카드 작업에 경로를 추가할 수 있으며 API Management는 백 엔드에 요청을 전달합니다.

필수 조건

포털을 사용하여 언어 모델 API 가져오기

언어 모델 API를 API Management로 가져오려면 다음을 수행합니다.

  1. Azure Portal에서 API Management 인스턴스로 이동합니다.

  2. 왼쪽 메뉴의 API에서 API>+ API 추가를 선택합니다.

  3. 새 API 정의에서 언어 모델 API를 선택합니다.

    포털에서 OpenAI 호환 API를 만드는 스크린샷

  4. API 구성 탭에서 다음을 수행합니다.

    1. API에 대한 표시 이름과 선택 사항인 설명을 입력합니다.
    2. LLM API 엔드포인트에 대한 URL 을 입력합니다.
    3. 필요에 따라 API와 연결할 제품을 하나 이상 선택합니다 .
    4. 경로에서 API Management 인스턴스가 LLM API 엔드포인트에 액세스하는 데 사용하는 경로를 추가합니다.
    5. 형식에서 OpenAI API 만들기 또는 통과 API 만들기를 선택합니다. 자세한 내용은 언어 모델 API 유형을 참조하세요.
    6. 필요한 경우 Access 키에서 LLM API에 액세스하는 데 사용되는 권한 부여 헤더 이름 및 API 키를 입력합니다.
    7. 다음을 선택합니다.

    포털의 언어 모델 API 구성 스크린샷

  5. 토큰 사용 관리 탭에서 필요에 따라 설정을 입력하거나 API를 모니터링하고 관리하는 데 도움이 되는 다음 정책을 정의하는 기본값을 적용합니다.

  6. 의미 체계 캐싱 적용 탭에서 필요에 따라 설정을 입력하거나 API에 대한 성능을 최적화하고 대기 시간을 줄이는 데 도움이 되는 정책을 정의하는 기본값을 적용합니다.

  7. AI 콘텐츠 안전성에서 선택적으로 설정을 입력하거나 기본값을 적용하여 안전하지 않은 콘텐츠로 프롬프트를 차단하도록 Azure AI Content Safety 서비스를 구성합니다.

  8. 검토를 선택합니다.

  9. 설정의 유효성을 검사한 후 만들기를 선택합니다.

LLM API 테스트

LLM API가 예상대로 작동하는지 확인하려면 API Management 테스트 콘솔에서 테스트합니다.

  1. 이전 단계에서 만든 API를 선택합니다.

  2. 테스트 탭을 선택합니다.

  3. 모델 배포와 호환되는 작업을 선택합니다. 이 페이지에는 매개 변수 및 헤더에 대한 필드가 표시됩니다.

  4. 필요에 따라 매개 변수 및 헤더를 입력합니다. 작업에 따라 요청 본문을 구성하거나 업데이트해야 할 수 있습니다.

    비고

    테스트 콘솔에서 API Management는 Ocp-Apim-Subscription-Key 헤더를 자동으로 채우고 기본 제공된 모든 액세스 구독의 구독 키를 구성합니다. 이 키를 사용하면 API Management 인스턴스의 모든 API에 액세스할 수 있습니다. 선택적으로 HTTP 요청 옆에 있는 "눈" 아이콘을 선택하여 Ocp-Apim-Subscription-Key 헤더를 표시합니다.

  5. 보내기를 선택합니다.

    테스트가 성공하면 백 엔드는 성공적인 HTTP 응답 코드와 일부 데이터로 응답합니다. 응답에 추가된 토큰 사용량 데이터는 언어 모델 토큰 사용량을 모니터링하고 관리하는 데 도움이 됩니다.

관련 콘텐츠