Conecta Visual Studio Code a los extremos de modelos locales y remotos

Visual Studio Code puede conectar la vista de chat a un punto final de inferencia compatible con OpenAI para un modelo alojado localmente. El endpoint puede ejecutarse en el mismo dispositivo Windows 11 que Visual Studio Code o en Windows Server para acceder desde uno o más clientes remotos de Windows 11. Estas topologías te permiten mantener la inferencia en un dispositivo desarrollador o centralizar el cálculo del modelo sin ejecutar Visual Studio Code en Windows Server.

En este artículo, añades un punto final existente como un punto final personalizado en Visual Studio Code, seleccionas su modelo y verificas que el modelo responde. El procedimiento asume que el endpoint de inferencia ya está ejecutándose y es accesible desde Visual Studio Code.

Requisitos previos para puntos de conexión de modelos locales y remotos

  • Descarga la versión estable actual de Visual Studio Code y asegúrate de que puedes acceder a la vista de chat.
  • Un endpoint compatible con OpenAI existente que soporta la API Chat Completions y es accesible desde el ordenador que ejecuta Visual Studio Code.
  • Para un punto final remoto alojado en Windows Server, conectividad de red desde el cliente de Windows 11 al servidor y al puerto del punto final. Configura el cortafuegos de Windows y cualquier cortafuegos o proxy intermedio para permitir la conexión. Configura el endpoint para que escuche en una interfaz de red accesible para los clientes remotos y no solo en una dirección de loopback.
  • Para un endpoint remoto que utiliza un nombre de host, un registro del Sistema de Nombres de Dominio (DNS) que el cliente de Windows 11 puede resolver al host de Windows Server.
  • Para un extremo HTTPS remoto, un certificado TLS válido en el que confíe el cliente de Windows 11 y cuyo nombre del sujeto o nombre alternativo del sujeto coincida con el nombre de host de la URL del extremo.
  • Controles de acceso al punto de conexión que permiten al cliente Windows 11 acceder a la ruta Chat Completions. Obtén cualquier clave o token de API necesario del administrador del endpoint.
  • Para la inferencia en el mismo dispositivo, la URL de loopback que expone el endpoint, como http://localhost:<port>/v1/chat/completions.
  • Para la inferencia remota, una URL HTTPS confiable, como https://<server-name>:<port>/v1/chat/completions.
  • El ID exacto del modelo; un nombre de visualización del modelo, que Visual Studio Code muestra en el selector de modelos de lenguaje; límites de contexto; y capacidades soportadas por el propietario del endpoint o la documentación del modelo.
  • Los requisitos del encabezado de autenticación para el punto de conexión.
  • Si su organización administra GitHub Copilot, debe habilitar la directiva Traiga su propia clave de modelo de lenguaje en VS Code. Para más información, consulta Usar tu propia clave de modelo de lenguaje en VS Code.

No necesitas una cuenta de GitHub ni un plan de GitHub Copilot para usar un modelo de traer tu propia clave en el chat. El endpoint personalizado no ofrece funciones que dependan del servicio GitHub Copilot, incluyendo sugerencias en línea, búsqueda semántica y embeddings.

Añadir un endpoint personalizado de modelo local o remoto

El mismo procedimiento soporta un endpoint en el mismo dispositivo Windows 11 o un endpoint remoto compatible con OpenAI en Windows Server. Visual Studio Code se conecta a una URL de endpoint, y el servicio endpoint gestiona la distribución de inferencia en el backend.

  1. En Visual Studio Code, abre la vista de chat.

  2. Abre el selector de modelos de lenguaje y luego selecciona Gestionar modelos de lenguaje (icono de engranaje).

    También puedes abrir la Paleta de Comandos y ejecutar Chat: Gestionar Modelos de Lenguaje.

  3. En el editor de Modelos de Lenguaje , selecciona Añadir Modelos y luego selecciona Punto Final Personalizado.

  4. Introduce el nombre de un grupo. Este nombre identifica los modelos del endpoint en el selector de modelos de lenguaje y en el editor de Modelos de Lenguaje .

  5. Introduce el nombre de visualización del modelo y la clave API del endpoint.

  6. Para el tipo de API, selecciona Chat Completions.

  7. En el chatLanguageModels.json archivo que abre Visual Studio Code, configura las propiedades del modelo y luego guarda el archivo.

    Utiliza la documentación del punto de conexión y del modelo para configurar las propiedades. Como mínimo, confirma los siguientes valores:

    Propiedad Importancia
    id El ID exacto del modelo esperado por el endpoint.
    name El nombre de visualización del modelo que Visual Studio Code muestra en el selector de modelos de lenguaje.
    url La ruta completa, como https://<server-name>:<port>/v1/chat/completions.
    apiType chat-completions
    toolCalling true solo si el endpoint y el modelo admiten llamadas a herramientas.
    vision true Solo si el endpoint y el modelo admiten entrada de imagen.
    maxInputTokens La cantidad máxima de tokens de entrada que admite el modelo.
    maxOutputTokens El número máximo de tokens de salida que admite el modelo.

    Mantén la referencia de entrada generada apiKey en lugar de colocar la clave API directamente en chatLanguageModels.json. Visual Studio Code envía la clave en un Authorization: Bearer <api-key> encabezado por defecto para los endpoints personalizados de Chat Completions.

    Si el endpoint requiere una cabecera de autenticación diferente, configura la propiedad requestHeaders del modelo y usa el token ${apiKey} como valor de la cabecera. No pongas un secreto en bruto en el archivo de configuración. Para conocer las propiedades compatibles y el comportamiento de autenticación, consulte la referencia de configuración del punto de conexión personalizado.

Seleccionar y verificar un modelo de endpoint local o remoto

  1. Vuelve a la vista de chat y abre el selector de modelos de lenguaje.

  2. Selecciona el modelo bajo el nombre del grupo que configuraste.

  3. Introduce un breve prompt de prueba, como:

    Reply with one sentence that confirms you received this request.

  4. Confirma que la vista de chat muestra una respuesta del modelo seleccionado.

  5. Si tienes acceso a los registros del endpoint de inferencia, confirma que el endpoint recibió la solicitud correspondiente al ID de modelo configurado.

La configuración funciona cuando el modelo seleccionado devuelve una respuesta y el endpoint registra la solicitud.

Note

Un modelo debe soportar la llamada de herramientas para estar disponible para los agentes en el chat. No establezcas toolCalling en true a menos que el endpoint y el modelo admitan esa capacidad.

Solucionar problemas de los endpoints locales y remotos de modelos en Visual Studio Code

Problema Elementos que se deben comprobar
El punto final personalizado no está disponible Actualización a la versión estable actual de Visual Studio Code. Si tu organización gestiona GitHub Copilot, confirma que tu organización activa la política de traer tu propia clave.
El modelo no aparece en el selector de modelos Guarda chatLanguageModels.jsony luego reinicia Visual Studio Code. En un espacio de trabajo en Modo Restringido, confía en que el espacio de trabajo restaure la lista completa de modelos. Para su uso con agentes, confirma también que el modelo admite la invocación de herramientas y que toolCalling es true.
El endpoint devuelve un error de autenticación Confirma que la clave API está vigente y que su encabezado de autenticación cumple con los requisitos del endpoint. Si el punto de conexión requiere otra cabecera, configura requestHeaders con el token ${apiKey}.
El endpoint devuelve un error de ruta o API Confirma que apiType es url y que /v1/chat/completions contiene la ruta completa de Chat Completions, incluyendo chat-completions cuando el endpoint expone esa ruta.
Un cliente remoto no puede conectarse al endpoint Confirma que el cliente de Windows 11 puede resolver el nombre del host del servidor y llegar al puerto del punto final. Comprueba la dirección del oyente del endpoint, el cortafuegos de Windows y cualquier cortafuegos o proxy intermedio.
Un endpoint remoto devuelve un TLS o un error de certificado Confirma que el certificado es válido, que el cliente de Windows 11 confía en él y que cubre el nombre de host en la URL del endpoint.
El endpoint niega un cliente remoto Confirma que los controles de acceso al endpoint permiten al cliente llamar a la ruta de Chat Completions y que la credencial configurada tiene acceso al modelo solicitado.
La solicitud llega al endpoint pero la inferencia falla Confirma que el ID del modelo coincide exactamente con el ID del modelo del endpoint y que este soporta las capacidades del modelo solicitado. Revisa los registros de endpoint para detectar el fallo de la petición.

Contenido relacionado

  • Last updated on