Compartir a través de

Introducción a Prompt Builder en AI Toolkit para VS Code

AI Toolkit for VS Code (AI Toolkit) es una extensión VS Code que le permite descargar, probar, ajustar y desplegar modelos de IA con sus aplicaciones o en la nube. Para obtener más información, consulte la información general del kit de herramientas de IA.

Una de las características clave del kit de herramientas de AI es prompt Builder. Prompt Builder es una herramienta que le ayuda a crear, editar y probar mensajes para los modelos de IA. Proporciona una interfaz fácil de usar para elaborar avisos y le permite:

  • Crea, edita y prueba tus indicaciones
  • Creación de avisos generados por IA
  • Generación de resultados estructurados para la aplicación mediante un esquema predefinido
  • Código de generación para interacciones de solicitud basadas en la consulta y el modelo del área de trabajo

Nota:

Encontrará documentación adicional y tutoriales del AI Toolkit para VS Code en la documentación de VS Code: AI Toolkit para Visual Studio Code. Encontrará instrucciones sobre Playground, trabajar con modelos de IA, ajustar modelos locales y basados en la nube, etc.

En este artículo, aprenderá a:

  • Descarga, carga y trabajo con un modelo de lenguaje pequeño basado en Mini CPU (SLM) local de Phi 3.5
  • Creación, edición y prueba de avisos mediante el modelo local
  • Creación de una salida estructurada mediante un esquema predefinido
  • Generación de código de Python para ejecutar el modelo con las indicaciones proporcionadas

Prerrequisitos

Al usar características de IA, se recomienda revisar: Desarrollo de aplicaciones y características de IA generativas responsables en Windows.

Instalar

Consulte Introducción a AI Toolkit para obtener instrucciones de instalación de AI Toolkit.

Selección del modelo local

En esta sección, aprenderá cómo cargar el modelo SLM que utiliza la CPU Mini Phi 3.5. Ai Toolkit for VS Code admite modelos locales, que son modelos que se ejecutan en la máquina local y modelos basados en la nube, que se hospedan en la nube.

  1. Abra la vista ai Toolkit en VS Code ; para ello, seleccione el icono del kit de herramientas de AI en la barra de actividades situada en el lado de la ventana.

  2. En la vista Ai Toolkit , seleccione el elemento Prompt Builder en la sección Herramientas del panel izquierdo.

    Captura de pantalla del panel Herramientas del kit de herramientas de AI

  3. En la vista Generador de mensajes , seleccione el botón Examinar modelos para abrir el catálogo de modelos.

  4. Busque Phi 3.5 en el catálogo de modelos. El modelo Phi 3.5 Mini (CPU - Small, Fast, Accurate) debe aparecer en la lista de la sección Modelos ONNX .

  5. Seleccione el botón Agregar para agregar el modelo al área de trabajo. El modelo se descargará y agregará a la sección Mis modelos del panel izquierdo.

  6. Una vez que el modelo haya terminado de descargarse, vuelva a la vista Generador de mensajes.

    Captura de pantalla de la ventana del Generador de mensajes del kit de herramientas de IA

  7. Ingrese el siguiente indicador del sistema en el cuadro de texto Mensaje del sistema :

    You are a professor of marine biology at a respected university. Answer the following questions as best you can.

  8. Escriba el siguiente mensaje en el cuadro de texto Mensaje de usuario :

    Please provide a concise list of 10 types of marine mammals that live in the Pacific Ocean.

  9. Seleccione el botón Ejecutar para ejecutar el modelo con las indicaciones proporcionadas.

  10. El modelo generará una respuesta basada en las indicaciones proporcionadas. La respuesta se mostrará en el cuadro de texto Respuesta .

    Captura de pantalla de la ventana del Generador de avisos del kit de herramientas de AI con los resultados de una consulta sobre los mamíferos marinos mostrados

  11. Si desea refinar los resultados, tiene algunas opciones:

    • Edite el símbolo del sistema o el mensaje del usuario y vuelva a ejecutar la consulta del modelo.
    • Seleccione Agregar mensaje para agregar un nuevo mensaje al cuadro de texto Mensaje de usuario. Esto le permitirá crear una consulta más compleja con varias solicitudes.
    • Seleccione Usar respuesta como aviso del Asistente para usarlo como contexto para ayudar a guiar el comportamiento del modelo.
    • Repita cualquier combinación de los pasos anteriores hasta que obtenga los resultados deseados.

  12. Seleccione el botón Ver código para generar código de Python que use el SDK para ejecutar el modelo con las indicaciones proporcionadas. El código generado se mostrará en una nueva pestaña del editor. El código tendrá un aspecto similar al siguiente:

     """Run this model in Python

 > pip install openai
 """
 from openai import OpenAI

 client = OpenAI(
     base_url = "http://localhost:5272/v1/",
     api_key = "unused", # required for the API but not used
 )

 response = client.chat.completions.create(
     messages = [
         {
             "role": "system",
             "content": "You are a professor of marine biology at a university",
         },
         {
             "role": "user",
             "content": [
                 {
                     "type": "text",
                     "text": "Please provide a concise list of 10 types of marine mammals that live in the Pacific Ocean.",
                 },
             ],
         },
     ],
     model = "Phi-3.5-mini-cpu-int4-awq-block-128-acc-level-4-onnx",
     max_tokens = 256,
     frequency_penalty = 1,
 )

 print(response.choices[0].message.content)

  13. Si desea ejecutar el código generado, asegúrese de que tiene instaladas las dependencias necesarias. Puede instalar las dependencias necesarias mediante pip:

  14. Puede ejecutar el código generado en el entorno de Python. Para obtener más información sobre cómo instalar y empezar a trabajar con Python en Windows, consulte Introducción al uso de Python en Windows para principiantes.

Prompt Builder es una herramienta eficaz para diseñar y refinar los mensajes de los modelos de IA. Puede usarlo para iterar rápidamente en las indicaciones y probar diferentes variaciones para encontrar los mejores resultados. Para obtener información general más detallada sobre prompt Builder y sus características, consulte Ingeniería de mensajes en AI Toolkit.

Contenido relacionado