Cómo usar el modelo de chat premium de Mistral

Importante

Algunas de las características descritas en este artículo solo pueden estar disponibles en versión preliminar. Esta versión preliminar se ofrece sin acuerdo de nivel de servicio y no se recomienda para las cargas de trabajo de producción. Es posible que algunas características no sean compatibles o que tengan sus funcionalidades limitadas. Para más información, consulte Términos de uso complementarios de las Versiones Preliminares de Microsoft Azure.

En este artículo, obtendrá información sobre los modelos de chat premium de Mistral y cómo usarlos. La IA de Mistral ofrece dos categorías de modelos. Los modelos premium, incluyendo Mistral Large y Mistral Small, están disponibles como API sin servidor con facturación basada en tokens de pago por uso. Los modelos abiertos, incluyendo Mistral Nemo, Mixtral-8x7B-Instruct-v01, Mixtral-8x7B-v01, Mistral-7B-Instruct-v01 y Mistral-7B-v01 están disponibles para descargarse y ejecutarse también en puntos de conexión administrados autohospedados.

Modelos de chat premium de Mistral

Los modelos de chat premium de Mistral incluyen los siguientes modelos:

Mistral Large

Mistral Large es el modelo de lenguaje grande (LLM) más avanzado de Mistral AI. Se puede usar en cualquier tarea basada en lenguaje gracias a sus capacidades de razonamiento y conocimiento de última generación.

Además, Mistral Large es:

• Especializado en RAG. La información crucial no se pierde en medio de ventanas de contexto largas (hasta tokens 32-K).
• Fuerte en la codificación. Generación de código, revisión y comentarios. Admite todos los lenguajes de codificación estándar.
• Multilingüe por diseño. Mejor rendimiento en francés, alemán, español, italiano e inglés. Se admiten docenas de otros idiomas.
• Compatible con la inteligencia artificial responsable. Barreras de protección eficientes simuladas mediante "bake" en el modelo y capa de seguridad adicional con la opción safe_mode.

Los atributos de Mistral Large (2407) incluyen:

• Multilingüe por diseño. Admite docenas de idiomas, incluidos inglés, francés, alemán, español e italiano.
• Experto en codificación. Entrenado en más de 80 lenguajes de codificación, incluidos Python, Java, C, C++, JavaScript y Bash. También se entrena en lenguajes más específicos, como Swift y Fortran.
• Centrado en el agente. Posee funcionalidades de agente con llamadas de funciones nativas y salida JSON.
• Avanzado en el razonamiento. Muestra capacidades matemáticas y de razonamiento de última generación.

Están disponibles los siguientes modelos:

• Mistral-Large
• Mistral-Large-2407

Mistral Small

Mistral Small es el modelo de lenguaje grande (LLM) más eficaz de Mistral AI. Se puede usar en cualquier tarea basada en lenguaje que requiera alta eficiencia y baja latencia.

Mistral Small es:

• Un modelo a pequeña escala optimizado para baja latencia. Eficaz para cargas de trabajo de gran volumen y baja latencia. Mistral Small es el modelo de su propiedad más pequeño de Mistral, supera a Mixtral-8x7B y tiene una latencia menor.
• Especializado en RAG. La información crucial no se pierde en medio de ventanas de contexto largas (hasta tokens 32 K).
• Fuerte en la codificación. Generación de código, revisión y comentarios. Admite todos los lenguajes de codificación estándar.
• Multilingüe por diseño. Mejor rendimiento en francés, alemán, español, italiano e inglés. Se admiten docenas de otros idiomas.
• Compatible con la inteligencia artificial responsable. Barreras de protección eficientes simuladas mediante bake en el modelo y capa de seguridad adicional con la opción safe_mode.

Están disponibles los siguientes modelos:

• Mistral-Small

Sugerencia

Además, MistralAI admite el uso de una API adaptada para su uso con características específicas del modelo. Para usar la API específica del proveedor de modelos, consulte la documentación de MistralAI o vea la sección de ejemplos de inferencia para obtener ejemplos de código.

Requisitos previos

Para usar los modelos de chat premium de Mistral con Inteligencia artificial de Azure Studio, necesita los siguientes requisitos previos:

Implementación de modelo

Implementación en API sin servidor

Los modelos de chat premium de Mistral se pueden implementar en puntos de conexión de API sin servidor con facturación de pago por uso. Este tipo de implementación proporciona una forma de consumir modelos como API sin alojarlos en su suscripción, al tiempo que mantiene la seguridad y el cumplimiento empresarial que necesitan las organizaciones.

La implementación en un punto de conexión de API sin servidor no requiere cuota de la suscripción. Si el modelo aún no está implementado, use Azure AI Studio, el SDK de Azure Machine Learning para Python, la CLI de Azure o las plantillas de ARM para implementar el modelo como una API sin servidor.

Implementación del modelo en los puntos de conexión de API sin servidor

El paquete de inferencia instalado

Puede consumir predicciones de este modelo mediante el paquete azure-ai-inference con Python. Para instalar este paquete, necesita los siguientes requisitos previos:

• Python 3.8 o posterior instalado, incluido pip.
• Dirección URL del punto de conexión. Para construir la biblioteca cliente, debe pasar la dirección URL del punto de conexión. La dirección URL del punto de conexión tiene el formato https://your-host-name.your-azure-region.inference.ai.azure.com, donde your-host-name es el nombre de host de implementación del modelo único y your-azure-region es la región de Azure donde se implementa el modelo (por ejemplo, eastus2).
• En función de la preferencia de autenticación y implementación de modelo, necesita una clave para autenticarse en el servicio o en las credenciales de Microsoft Entra ID. La clave es una cadena de 32 caracteres.

Una vez que tenga estos requisitos previos, instale el paquete de inferencia de Azure AI con el siguiente comando:

pip install azure-ai-inference

Más información sobre el Paquete de inferencia y referencia de Azure AI.

Trabajar con finalizaciones de chat

En esta sección, usará API de inferencia de modelos de Azure AI con un modelo de finalizaciones de chat para chat.

Sugerencia

La API de inferencia de modelos de Azure AI permite hablar con la mayoría de los modelos implementados en Azure AI Studio con el mismo código y estructura, incluidos el modelo de chat premium de Mistral.

Creación de un cliente para consumir el modelo

En primer lugar, cree el cliente para consumir el modelo. El código siguiente usa una dirección URL de punto de conexión y una clave que se almacenan en variables de entorno.

import os
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential

client = ChatCompletionsClient(
    endpoint=os.environ["AZURE_INFERENCE_ENDPOINT"],
    credential=AzureKeyCredential(os.environ["AZURE_INFERENCE_CREDENTIAL"]),
)

Obtención de las funcionalidades del modelo

La ruta /info devuelve información sobre el modelo que se implementa en el punto de conexión. Devuelva la información del modelo llamando al método siguiente:

model_info = client.get_model_info()

La respuesta es la siguiente:

print("Model name:", model_info.model_name)
print("Model type:", model_info.model_type)
print("Model provider name:", model_info.model_provider_name)

Model name: Mistral-Large
Model type: chat-completions
Model provider name: MistralAI

Creación de una solicitud de finalización de chat

En el ejemplo siguiente se muestra cómo puede crear una solicitud básica de finalizaciones de chat al modelo.

from azure.ai.inference.models import SystemMessage, UserMessage

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="How many languages are in the world?"),
    ],
)

La respuesta es la siguiente, donde puede ver las estadísticas de uso del modelo:

print("Response:", response.choices[0].message.content)
print("Model:", response.model)
print("Usage:")
print("\tPrompt tokens:", response.usage.prompt_tokens)
print("\tTotal tokens:", response.usage.total_tokens)
print("\tCompletion tokens:", response.usage.completion_tokens)

Response: As of now, it's estimated that there are about 7,000 languages spoken around the world. However, this number can vary as some languages become extinct and new ones develop. It's also important to note that the number of speakers can greatly vary between languages, with some having millions of speakers and others only a few hundred.
Model: Mistral-Large
Usage: 
  Prompt tokens: 19
  Total tokens: 91
  Completion tokens: 72

Inspeccione la sección usage de la respuesta para ver el número de tokens usados para el aviso, el número total de tokens generados y el número de tokens usados para la finalización.

Streaming de contenido

De forma predeterminada, la API de finalizaciones devuelve todo el contenido generado en una única respuesta. Si está generando finalizaciones largas, esperar la respuesta puede tardar muchos segundos.

Puede transmitir el contenido para obtenerlo a medida que se genera. El contenido de streaming permite empezar a procesar la finalización a medida que el contenido está disponible. Este modo devuelve un objeto que transmite la respuesta como eventos enviados por el servidor de solo datos. Extraiga fragmentos del campo delta, en lugar del campo de mensaje.

result = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="How many languages are in the world?"),
    ],
    temperature=0,
    top_p=1,
    max_tokens=2048,
    stream=True,
)

Para transmitir finalizaciones, establezca stream=True al llamar al modelo.

Para visualizar la salida, defina una función auxiliar para imprimir la secuencia.

def print_stream(result):
    """
    Prints the chat completion with streaming.
    """
    import time
    for update in result:
        if update.choices:
            print(update.choices[0].delta.content, end="")

Puede visualizar cómo el streaming genera contenido:

print_stream(result)

Exploración de más parámetros admitidos por el cliente de inferencia

Explore otros parámetros que puede especificar en el cliente de inferencia. Para obtener una lista completa de todos los parámetros admitidos y su documentación correspondiente, vea Referencia de la API de inferencia de modelos de Azure AI.

from azure.ai.inference.models import ChatCompletionsResponseFormatText

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="How many languages are in the world?"),
    ],
    presence_penalty=0.1,
    frequency_penalty=0.8,
    max_tokens=2048,
    stop=["<|endoftext|>"],
    temperature=0,
    top_p=1,
    response_format=ChatCompletionsResponseFormatText(),
)

Si quiere pasar un parámetro que no está en la lista de parámetros admitidos, puede pasarlo al modelo subyacente mediante parámetros adicionales. Vea Pasar parámetros adicionales al modelo.

Creación de salidas JSON

Los modelos de chat premium de Mistral pueden crear salidas JSON. Establezca el response_format en json_object para habilita el modo JSON y garantizar que el mensaje que genera el modelo es JSON válido. También debe indicar al modelo que genere JSON usted mismo mediante un mensaje de usuario o sistema. Además, el contenido del mensaje puede cortarse parcialmente si finish_reason="length", que indica que la generación superó max_tokens o que la conversación superó la longitud máxima del contexto.

from azure.ai.inference.models import ChatCompletionsResponseFormatJSON

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant that always generate responses in JSON format, using."
                      " the following format: { ""answer"": ""response"" }."),
        UserMessage(content="How many languages are in the world?"),
    ],
    response_format=ChatCompletionsResponseFormatJSON()
)

Pase de parámetros adicionales al modelo

La API de inferencia de modelos de Azure AI permite pasar parámetros adicionales al modelo. En el ejemplo de código siguiente se muestra cómo pasar el parámetro adicional logprobs al modelo.

Antes de pasar parámetros adicionales a la API de inferencia del modelo de Azure AI, asegúrese de que el modelo admite esos parámetros adicionales. Cuando se realiza la solicitud al modelo subyacente, el encabezado extra-parameters se pasa al modelo con el valor pass-through. Este valor indica al punto de conexión que pase los parámetros adicionales al modelo. El uso de parámetros adicionales con el modelo no garantiza que el modelo pueda controlarlos realmente. Lea la documentación del modelo para comprender qué parámetros adicionales se admiten.

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="How many languages are in the world?"),
    ],
    model_extras={
        "logprobs": True
    }
)

Los siguientes parámetros adicionales se pueden pasar al modelo de chat premium de Mistral:

Nombre	Description	Tipo
ignore_eos	Si se omite el token EOS y continúa generando tokens después de que se genere el token EOS.	boolean
safe_mode	Si se inyecta un aviso de seguridad antes de todas las conversaciones.	boolean

Safe mode

El modelo de chat premium de Mistral admite el parámetro safe_prompt. Puede alternar el mensaje seguro para anteponer los mensajes con la siguiente solicitud de sistema:

Ayude siempre con cuidado, respeto y verdad. Responda con la máxima utilidad, pero de forma segura. Evite contenido perjudicial, no ético, prejuicioso o negativo. Garantice que las respuestas promuevan la equidad y la positividad.

La API de inferencia de modelos de Azure AI permite pasar este parámetro adicional de la siguiente manera:

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="How many languages are in the world?"),
    ],
    model_extras={
        "safe_mode": True
    }
)

Uso de herramientas

El modelo de chat premium de Mistral admite el uso de herramientas, que puede ser un recurso extraordinario cuando necesita descargar tareas específicas del modelo de lenguaje y, en su lugar, confiar en un sistema más determinista o incluso en un modelo de lenguaje diferente. La API de inferencia de modelos de Azure AI permite definir herramientas de la siguiente manera.

En el ejemplo de código siguiente se crea una definición de herramienta que puede buscar a partir de información de vuelo de dos ciudades diferentes.

from azure.ai.inference.models import FunctionDefinition, ChatCompletionsFunctionToolDefinition

flight_info = ChatCompletionsFunctionToolDefinition(
    function=FunctionDefinition(
        name="get_flight_info",
        description="Returns information about the next flight between two cities. This includes the name of the airline, flight number and the date and time of the next flight",
        parameters={
            "type": "object",
            "properties": {
                "origin_city": {
                    "type": "string",
                    "description": "The name of the city where the flight originates",
                },
                "destination_city": {
                    "type": "string",
                    "description": "The flight destination city",
                },
            },
            "required": ["origin_city", "destination_city"],
        },
    )
)

tools = [flight_info]

En este ejemplo, la salida de la función es que no hay vuelos disponibles para la ruta seleccionada, pero el usuario debe considerar la posibilidad de tomar un tren.

def get_flight_info(loc_origin: str, loc_destination: str):
    return { 
        "info": f"There are no flights available from {loc_origin} to {loc_destination}. You should take a train, specially if it helps to reduce CO2 emissions."
    }

Pida al modelo que reserve vuelos con la ayuda de esta función:

messages = [
    SystemMessage(
        content="You are a helpful assistant that help users to find information about traveling, how to get"
                " to places and the different transportations options. You care about the environment and you"
                " always have that in mind when answering inqueries.",
    ),
    UserMessage(
        content="When is the next flight from Miami to Seattle?",
    ),
]

response = client.complete(
    messages=messages, tools=tools, tool_choice="auto"
)

Puede inspeccionar la respuesta para averiguar si es necesario llamar a una herramienta. Inspeccione el motivo de finalización para determinar si se debe llamar a la herramienta. Recuerde que se pueden indicar varios tipos de herramientas. En este ejemplo se muestra una herramienta de tipo function.

response_message = response.choices[0].message
tool_calls = response_message.tool_calls

print("Finish reason:", response.choices[0].finish_reason)
print("Tool call:", tool_calls)

Para continuar, anexe este mensaje al historial de chats:

messages.append(
    response_message
)

Ahora es el momento de llamar a la función adecuada para controlar la llamada a la herramienta. El siguiente fragmento de código itera todas las llamadas a herramienta indicadas en la respuesta y llama a la función correspondiente con los parámetros adecuados. La respuesta también se anexa al historial de chat.

import json
from azure.ai.inference.models import ToolMessage

for tool_call in tool_calls:

    # Get the tool details:

    function_name = tool_call.function.name
    function_args = json.loads(tool_call.function.arguments.replace("\'", "\""))
    tool_call_id = tool_call.id

    print(f"Calling function `{function_name}` with arguments {function_args}")

    # Call the function defined above using `locals()`, which returns the list of all functions 
    # available in the scope as a dictionary. Notice that this is just done as a simple way to get
    # the function callable from its string name. Then we can call it with the corresponding
    # arguments.

    callable_func = locals()[function_name]
    function_response = callable_func(**function_args)

    print("->", function_response)

    # Once we have a response from the function and its arguments, we can append a new message to the chat 
    # history. Notice how we are telling to the model that this chat message came from a tool:

    messages.append(
        ToolMessage(
            tool_call_id=tool_call_id,
            content=json.dumps(function_response)
        )
    )

Vea la respuesta del modelo:

response = client.complete(
    messages=messages,
    tools=tools,
)

Aplicación de la seguridad del contenido

La API de inferencia de modelos de Azure AI admite Seguridad de contenido de Azure AI. Cuando se usan implementaciones con la seguridad de contenido de Azure AI activada, las entradas y las salidas pasan a través de un conjunto de modelos de clasificación destinados a detectar y evitar la salida de contenido perjudicial. El sistema de filtrado de contenido detecta y toma medidas en categorías específicas de contenido potencialmente perjudicial tanto en solicitudes de entrada como en finalizaciones de salida.

En el ejemplo siguiente se muestra cómo controlar eventos cuando el modelo detecta contenido perjudicial en el mensaje de entrada y la seguridad del contenido está habilitado.

from azure.ai.inference.models import AssistantMessage, UserMessage, SystemMessage

try:
    response = client.complete(
        messages=[
            SystemMessage(content="You are an AI assistant that helps people find information."),
            UserMessage(content="Chopping tomatoes and cutting them into cubes or wedges are great ways to practice your knife skills."),
        ]
    )

    print(response.choices[0].message.content)

except HttpResponseError as ex:
    if ex.status_code == 400:
        response = ex.response.json()
        if isinstance(response, dict) and "error" in response:
            print(f"Your request triggered an {response['error']['code']} error:\n\t {response['error']['message']}")
        else:
            raise
    raise

Sugerencia

Para más información sobre cómo configurar y controlar la configuración de seguridad del contenido de Azure AI, consulte la Documentación de seguridad de contenido de Azure AI.

Modelos de chat premium de Mistral

Los modelos de chat premium de Mistral incluyen los siguientes modelos:

Mistral Large

Mistral Large es el modelo de lenguaje grande (LLM) más avanzado de Mistral AI. Se puede usar en cualquier tarea basada en lenguaje gracias a sus capacidades de razonamiento y conocimiento de última generación.

Además, Mistral Large es:

• Especializado en RAG. La información crucial no se pierde en medio de ventanas de contexto largas (hasta tokens 32-K).
• Fuerte en la codificación. Generación de código, revisión y comentarios. Admite todos los lenguajes de codificación estándar.
• Multilingüe por diseño. Mejor rendimiento en francés, alemán, español, italiano e inglés. Se admiten docenas de otros idiomas.
• Compatible con la inteligencia artificial responsable. Barreras de protección eficientes simuladas mediante "bake" en el modelo y capa de seguridad adicional con la opción safe_mode.

Los atributos de Mistral Large (2407) incluyen:

• Multilingüe por diseño. Admite docenas de idiomas, incluidos inglés, francés, alemán, español e italiano.
• Experto en codificación. Entrenado en más de 80 lenguajes de codificación, incluidos Python, Java, C, C++, JavaScript y Bash. También se entrena en lenguajes más específicos, como Swift y Fortran.
• Centrado en el agente. Posee funcionalidades de agente con llamadas de funciones nativas y salida JSON.
• Avanzado en el razonamiento. Muestra capacidades matemáticas y de razonamiento de última generación.

Están disponibles los siguientes modelos:

• Mistral-Large
• Mistral-Large-2407

Mistral Small

Mistral Small es el modelo de lenguaje grande (LLM) más eficaz de Mistral AI. Se puede usar en cualquier tarea basada en lenguaje que requiera alta eficiencia y baja latencia.

Mistral Small es:

• Un modelo a pequeña escala optimizado para baja latencia. Eficaz para cargas de trabajo de gran volumen y baja latencia. Mistral Small es el modelo de su propiedad más pequeño de Mistral, supera a Mixtral-8x7B y tiene una latencia menor.
• Especializado en RAG. La información crucial no se pierde en medio de ventanas de contexto largas (hasta tokens 32 K).
• Fuerte en la codificación. Generación de código, revisión y comentarios. Admite todos los lenguajes de codificación estándar.
• Multilingüe por diseño. Mejor rendimiento en francés, alemán, español, italiano e inglés. Se admiten docenas de otros idiomas.
• Compatible con la inteligencia artificial responsable. Barreras de protección eficientes simuladas mediante bake en el modelo y capa de seguridad adicional con la opción safe_mode.

Están disponibles los siguientes modelos:

• Mistral-Small

Sugerencia

Además, MistralAI admite el uso de una API adaptada para su uso con características específicas del modelo. Para usar la API específica del proveedor de modelos, consulte la documentación de MistralAI o vea la sección de ejemplos de inferencia para obtener ejemplos de código.

Requisitos previos

Para usar los modelos de chat premium de Mistral con Inteligencia artificial de Azure Studio, necesita los siguientes requisitos previos:

Implementación de modelo

Implementación en API sin servidor

Los modelos de chat premium de Mistral se pueden implementar en puntos de conexión de API sin servidor con facturación de pago por uso. Este tipo de implementación proporciona una forma de consumir modelos como API sin alojarlos en su suscripción, al tiempo que mantiene la seguridad y el cumplimiento empresarial que necesitan las organizaciones.

La implementación en un punto de conexión de API sin servidor no requiere cuota de la suscripción. Si el modelo aún no está implementado, use Azure AI Studio, el SDK de Azure Machine Learning para Python, la CLI de Azure o las plantillas de ARM para implementar el modelo como una API sin servidor.

Implementación del modelo en los puntos de conexión de API sin servidor

El paquete de inferencia instalado

Puede consumir predicciones de este modelo mediante el paquete @azure-rest/ai-inference de npm. Para instalar este paquete, necesita los siguientes requisitos previos:

• Versiones LTS de Node.js con npm.
• Dirección URL del punto de conexión. Para construir la biblioteca cliente, debe pasar la dirección URL del punto de conexión. La dirección URL del punto de conexión tiene el formato https://your-host-name.your-azure-region.inference.ai.azure.com, donde your-host-name es el nombre de host de implementación del modelo único y your-azure-region es la región de Azure donde se implementa el modelo (por ejemplo, eastus2).
• En función de la preferencia de autenticación y implementación de modelo, necesita una clave para autenticarse en el servicio o en las credenciales de Microsoft Entra ID. La clave es una cadena de 32 caracteres.

Una vez que tenga estos requisitos previos, instale la biblioteca de Inferencia de Azure para JavaScript con el siguiente comando:

npm install @azure-rest/ai-inference

Trabajar con finalizaciones de chat

En esta sección, usará API de inferencia de modelos de Azure AI con un modelo de finalizaciones de chat para chat.

Sugerencia

La API de inferencia de modelos de Azure AI permite hablar con la mayoría de los modelos implementados en Azure AI Studio con el mismo código y estructura, incluidos el modelo de chat premium de Mistral.

Creación de un cliente para consumir el modelo

En primer lugar, cree el cliente para consumir el modelo. El código siguiente usa una dirección URL de punto de conexión y una clave que se almacenan en variables de entorno.

import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { AzureKeyCredential } from "@azure/core-auth";

const client = new ModelClient(
    process.env.AZURE_INFERENCE_ENDPOINT, 
    new AzureKeyCredential(process.env.AZURE_INFERENCE_CREDENTIAL)
);

Obtención de las funcionalidades del modelo

La ruta /info devuelve información sobre el modelo que se implementa en el punto de conexión. Devuelva la información del modelo llamando al método siguiente:

var model_info = await client.path("/info").get()

La respuesta es la siguiente:

console.log("Model name: ", model_info.body.model_name)
console.log("Model type: ", model_info.body.model_type)
console.log("Model provider name: ", model_info.body.model_provider_name)

Model name: Mistral-Large
Model type: chat-completions
Model provider name: MistralAI

Creación de una solicitud de finalización de chat

En el ejemplo siguiente se muestra cómo puede crear una solicitud básica de finalizaciones de chat al modelo.

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "How many languages are in the world?" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
    }
});

La respuesta es la siguiente, donde puede ver las estadísticas de uso del modelo:

if (isUnexpected(response)) {
    throw response.body.error;
}

console.log("Response: ", response.body.choices[0].message.content);
console.log("Model: ", response.body.model);
console.log("Usage:");
console.log("\tPrompt tokens:", response.body.usage.prompt_tokens);
console.log("\tTotal tokens:", response.body.usage.total_tokens);
console.log("\tCompletion tokens:", response.body.usage.completion_tokens);

Response: As of now, it's estimated that there are about 7,000 languages spoken around the world. However, this number can vary as some languages become extinct and new ones develop. It's also important to note that the number of speakers can greatly vary between languages, with some having millions of speakers and others only a few hundred.
Model: Mistral-Large
Usage: 
  Prompt tokens: 19
  Total tokens: 91
  Completion tokens: 72

Inspeccione la sección usage de la respuesta para ver el número de tokens usados para el aviso, el número total de tokens generados y el número de tokens usados para la finalización.

Streaming de contenido

De forma predeterminada, la API de finalizaciones devuelve todo el contenido generado en una única respuesta. Si está generando finalizaciones largas, esperar la respuesta puede tardar muchos segundos.

Puede transmitir el contenido para obtenerlo a medida que se genera. El contenido de streaming permite empezar a procesar la finalización a medida que el contenido está disponible. Este modo devuelve un objeto que transmite la respuesta como eventos enviados por el servidor de solo datos. Extraiga fragmentos del campo delta, en lugar del campo de mensaje.

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "How many languages are in the world?" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
    }
}).asNodeStream();

Para transmitir finalizaciones, use .asNodeStream() al llamar al modelo.

Puede visualizar cómo el streaming genera contenido:

var stream = response.body;
if (!stream) {
    stream.destroy();
    throw new Error(`Failed to get chat completions with status: ${response.status}`);
}

if (response.status !== "200") {
    throw new Error(`Failed to get chat completions: ${response.body.error}`);
}

var sses = createSseStream(stream);

for await (const event of sses) {
    if (event.data === "[DONE]") {
        return;
    }
    for (const choice of (JSON.parse(event.data)).choices) {
        console.log(choice.delta?.content ?? "");
    }
}

Exploración de más parámetros admitidos por el cliente de inferencia

Explore otros parámetros que puede especificar en el cliente de inferencia. Para obtener una lista completa de todos los parámetros admitidos y su documentación correspondiente, vea Referencia de la API de inferencia de modelos de Azure AI.

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "How many languages are in the world?" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        presence_penalty: "0.1",
        frequency_penalty: "0.8",
        max_tokens: 2048,
        stop: ["<|endoftext|>"],
        temperature: 0,
        top_p: 1,
        response_format: { type: "text" },
    }
});

Si quiere pasar un parámetro que no está en la lista de parámetros admitidos, puede pasarlo al modelo subyacente mediante parámetros adicionales. Vea Pasar parámetros adicionales al modelo.

Creación de salidas JSON

Los modelos de chat premium de Mistral pueden crear salidas JSON. Establezca el response_format en json_object para habilita el modo JSON y garantizar que el mensaje que genera el modelo es JSON válido. También debe indicar al modelo que genere JSON usted mismo mediante un mensaje de usuario o sistema. Además, el contenido del mensaje puede cortarse parcialmente si finish_reason="length", que indica que la generación superó max_tokens o que la conversación superó la longitud máxima del contexto.

var messages = [
    { role: "system", content: "You are a helpful assistant that always generate responses in JSON format, using."
        + " the following format: { \"answer\": \"response\" }." },
    { role: "user", content: "How many languages are in the world?" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        response_format: { type: "json_object" }
    }
});

Pase de parámetros adicionales al modelo

La API de inferencia de modelos de Azure AI permite pasar parámetros adicionales al modelo. En el ejemplo de código siguiente se muestra cómo pasar el parámetro adicional logprobs al modelo.

Antes de pasar parámetros adicionales a la API de inferencia del modelo de Azure AI, asegúrese de que el modelo admite esos parámetros adicionales. Cuando se realiza la solicitud al modelo subyacente, el encabezado extra-parameters se pasa al modelo con el valor pass-through. Este valor indica al punto de conexión que pase los parámetros adicionales al modelo. El uso de parámetros adicionales con el modelo no garantiza que el modelo pueda controlarlos realmente. Lea la documentación del modelo para comprender qué parámetros adicionales se admiten.

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "How many languages are in the world?" },
];

var response = await client.path("/chat/completions").post({
    headers: {
        "extra-params": "pass-through"
    },
    body: {
        messages: messages,
        logprobs: true
    }
});

Los siguientes parámetros adicionales se pueden pasar al modelo de chat premium de Mistral:

Nombre	Description	Tipo
ignore_eos	Si se omite el token EOS y continúa generando tokens después de que se genere el token EOS.	boolean
safe_mode	Si se inyecta un aviso de seguridad antes de todas las conversaciones.	boolean

Safe mode

El modelo de chat premium de Mistral admite el parámetro safe_prompt. Puede alternar el mensaje seguro para anteponer los mensajes con la siguiente solicitud de sistema:

Ayude siempre con cuidado, respeto y verdad. Responda con la máxima utilidad, pero de forma segura. Evite contenido perjudicial, no ético, prejuicioso o negativo. Garantice que las respuestas promuevan la equidad y la positividad.

La API de inferencia de modelos de Azure AI permite pasar este parámetro adicional de la siguiente manera:

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "How many languages are in the world?" },
];

var response = await client.path("/chat/completions").post({
    headers: {
        "extra-params": "pass-through"
    },
    body: {
        messages: messages,
        safe_mode: true
    }
});

Uso de herramientas

El modelo de chat premium de Mistral admite el uso de herramientas, que puede ser un recurso extraordinario cuando necesita descargar tareas específicas del modelo de lenguaje y, en su lugar, confiar en un sistema más determinista o incluso en un modelo de lenguaje diferente. La API de inferencia de modelos de Azure AI permite definir herramientas de la siguiente manera.

En el ejemplo de código siguiente se crea una definición de herramienta que puede buscar a partir de información de vuelo de dos ciudades diferentes.

const flight_info = {
    name: "get_flight_info",
    description: "Returns information about the next flight between two cities. This includes the name of the airline, flight number and the date and time of the next flight",
    parameters: {
        type: "object",
        properties: {
            origin_city: {
                type: "string",
                description: "The name of the city where the flight originates",
            },
            destination_city: {
                type: "string",
                description: "The flight destination city",
            },
        },
        required: ["origin_city", "destination_city"],
    },
}

const tools = [
    {
        type: "function",
        function: flight_info,
    },
];

En este ejemplo, la salida de la función es que no hay vuelos disponibles para la ruta seleccionada, pero el usuario debe considerar la posibilidad de tomar un tren.

function get_flight_info(loc_origin, loc_destination) {
    return {
        info: "There are no flights available from " + loc_origin + " to " + loc_destination + ". You should take a train, specially if it helps to reduce CO2 emissions."
    }
}

Pida al modelo que reserve vuelos con la ayuda de esta función:

var result = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        tools: tools,
        tool_choice: "auto"
    }
});

Puede inspeccionar la respuesta para averiguar si es necesario llamar a una herramienta. Inspeccione el motivo de finalización para determinar si se debe llamar a la herramienta. Recuerde que se pueden indicar varios tipos de herramientas. En este ejemplo se muestra una herramienta de tipo function.

const response_message = response.body.choices[0].message;
const tool_calls = response_message.tool_calls;

console.log("Finish reason: " + response.body.choices[0].finish_reason);
console.log("Tool call: " + tool_calls);

Para continuar, anexe este mensaje al historial de chats:

messages.push(response_message);

Ahora es el momento de llamar a la función adecuada para controlar la llamada a la herramienta. El siguiente fragmento de código itera todas las llamadas a herramienta indicadas en la respuesta y llama a la función correspondiente con los parámetros adecuados. La respuesta también se anexa al historial de chat.

function applyToolCall({ function: call, id }) {
    // Get the tool details:
    const tool_params = JSON.parse(call.arguments);
    console.log("Calling function " + call.name + " with arguments " + tool_params);

    // Call the function defined above using `window`, which returns the list of all functions 
    // available in the scope as a dictionary. Notice that this is just done as a simple way to get
    // the function callable from its string name. Then we can call it with the corresponding
    // arguments.
    const function_response = tool_params.map(window[call.name]);
    console.log("-> " + function_response);

    return function_response
}

for (const tool_call of tool_calls) {
    var tool_response = tool_call.apply(applyToolCall);

    messages.push(
        {
            role: "tool",
            tool_call_id: tool_call.id,
            content: tool_response
        }
    );
}

Vea la respuesta del modelo:

var result = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        tools: tools,
    }
});

Aplicación de la seguridad del contenido

La API de inferencia de modelos de Azure AI admite Seguridad de contenido de Azure AI. Cuando se usan implementaciones con la seguridad de contenido de Azure AI activada, las entradas y las salidas pasan a través de un conjunto de modelos de clasificación destinados a detectar y evitar la salida de contenido perjudicial. El sistema de filtrado de contenido detecta y toma medidas en categorías específicas de contenido potencialmente perjudicial tanto en solicitudes de entrada como en finalizaciones de salida.

En el ejemplo siguiente se muestra cómo controlar eventos cuando el modelo detecta contenido perjudicial en el mensaje de entrada y la seguridad del contenido está habilitado.

try {
    var messages = [
        { role: "system", content: "You are an AI assistant that helps people find information." },
        { role: "user", content: "Chopping tomatoes and cutting them into cubes or wedges are great ways to practice your knife skills." },
    ];

    var response = await client.path("/chat/completions").post({
        body: {
            messages: messages,
        }
    });

    console.log(response.body.choices[0].message.content);
}
catch (error) {
    if (error.status_code == 400) {
        var response = JSON.parse(error.response._content);
        if (response.error) {
            console.log(`Your request triggered an ${response.error.code} error:\n\t ${response.error.message}`);
        }
        else
        {
            throw error;
        }
    }
}

Sugerencia

Para más información sobre cómo configurar y controlar la configuración de seguridad del contenido de Azure AI, consulte la Documentación de seguridad de contenido de Azure AI.

Modelos de chat premium de Mistral

Los modelos de chat premium de Mistral incluyen los siguientes modelos:

Mistral Large

Mistral Large es el modelo de lenguaje grande (LLM) más avanzado de Mistral AI. Se puede usar en cualquier tarea basada en lenguaje gracias a sus capacidades de razonamiento y conocimiento de última generación.

Además, Mistral Large es:

• Especializado en RAG. La información crucial no se pierde en medio de ventanas de contexto largas (hasta tokens 32-K).
• Fuerte en la codificación. Generación de código, revisión y comentarios. Admite todos los lenguajes de codificación estándar.
• Multilingüe por diseño. Mejor rendimiento en francés, alemán, español, italiano e inglés. Se admiten docenas de otros idiomas.
• Compatible con la inteligencia artificial responsable. Barreras de protección eficientes simuladas mediante "bake" en el modelo y capa de seguridad adicional con la opción safe_mode.

Los atributos de Mistral Large (2407) incluyen:

• Multilingüe por diseño. Admite docenas de idiomas, incluidos inglés, francés, alemán, español e italiano.
• Experto en codificación. Entrenado en más de 80 lenguajes de codificación, incluidos Python, Java, C, C++, JavaScript y Bash. También se entrena en lenguajes más específicos, como Swift y Fortran.
• Centrado en el agente. Posee funcionalidades de agente con llamadas de funciones nativas y salida JSON.
• Avanzado en el razonamiento. Muestra capacidades matemáticas y de razonamiento de última generación.

Están disponibles los siguientes modelos:

• Mistral-Large
• Mistral-Large-2407

Mistral Small

Mistral Small es el modelo de lenguaje grande (LLM) más eficaz de Mistral AI. Se puede usar en cualquier tarea basada en lenguaje que requiera alta eficiencia y baja latencia.

Mistral Small es:

• Un modelo a pequeña escala optimizado para baja latencia. Eficaz para cargas de trabajo de gran volumen y baja latencia. Mistral Small es el modelo de su propiedad más pequeño de Mistral, supera a Mixtral-8x7B y tiene una latencia menor.
• Especializado en RAG. La información crucial no se pierde en medio de ventanas de contexto largas (hasta tokens 32 K).
• Fuerte en la codificación. Generación de código, revisión y comentarios. Admite todos los lenguajes de codificación estándar.
• Multilingüe por diseño. Mejor rendimiento en francés, alemán, español, italiano e inglés. Se admiten docenas de otros idiomas.
• Compatible con la inteligencia artificial responsable. Barreras de protección eficientes simuladas mediante bake en el modelo y capa de seguridad adicional con la opción safe_mode.

Están disponibles los siguientes modelos:

• Mistral-Small

Sugerencia

Además, MistralAI admite el uso de una API adaptada para su uso con características específicas del modelo. Para usar la API específica del proveedor de modelos, consulte la documentación de MistralAI o vea la sección de ejemplos de inferencia para obtener ejemplos de código.

Requisitos previos

Para usar los modelos de chat premium de Mistral con Inteligencia artificial de Azure Studio, necesita los siguientes requisitos previos:

Implementación de modelo

Implementación en API sin servidor

Los modelos de chat premium de Mistral se pueden implementar en puntos de conexión de API sin servidor con facturación de pago por uso. Este tipo de implementación proporciona una forma de consumir modelos como API sin alojarlos en su suscripción, al tiempo que mantiene la seguridad y el cumplimiento empresarial que necesitan las organizaciones.

La implementación en un punto de conexión de API sin servidor no requiere cuota de la suscripción. Si el modelo aún no está implementado, use Azure AI Studio, el SDK de Azure Machine Learning para Python, la CLI de Azure o las plantillas de ARM para implementar el modelo como una API sin servidor.

Implementación del modelo en los puntos de conexión de API sin servidor

El paquete de inferencia instalado

Puede consumir predicciones de este modelo mediante el paquete Azure.AI.Inference de Nuget. Para instalar este paquete, necesita los siguientes requisitos previos:

• Dirección URL del punto de conexión. Para construir la biblioteca cliente, debe pasar la dirección URL del punto de conexión. La dirección URL del punto de conexión tiene el formato https://your-host-name.your-azure-region.inference.ai.azure.com, donde your-host-name es el nombre de host de implementación del modelo único y your-azure-region es la región de Azure donde se implementa el modelo (por ejemplo, eastus2).
• En función de la preferencia de autenticación y implementación de modelo, necesita una clave para autenticarse en el servicio o en las credenciales de Microsoft Entra ID. La clave es una cadena de 32 caracteres.

Una vez que tenga estos requisitos previos, instale la biblioteca de inferencia de Azure AI con el siguiente comando:

dotnet add package Azure.AI.Inference --prerelease

También puede autenticarse con el Microsoft Entra ID (anteriormente Azure Active Directory). Para usar proveedores de credenciales proporcionados con el SDK de Azure, instale el paquete de Azure.Identity :

dotnet add package Azure.Identity

Importe los siguientes espacios de nombres:

using Azure;
using Azure.Identity;
using Azure.AI.Inference;

En este ejemplo también se usan los siguientes espacios de nombres, pero es posible que no siempre los necesite:

using System.Text.Json;
using System.Text.Json.Serialization;
using System.Reflection;

Trabajar con finalizaciones de chat

En esta sección, usará API de inferencia de modelos de Azure AI con un modelo de finalizaciones de chat para chat.

Sugerencia

La API de inferencia de modelos de Azure AI permite hablar con la mayoría de los modelos implementados en Azure AI Studio con el mismo código y estructura, incluidos el modelo de chat premium de Mistral.

Creación de un cliente para consumir el modelo

En primer lugar, cree el cliente para consumir el modelo. El código siguiente usa una dirección URL de punto de conexión y una clave que se almacenan en variables de entorno.

ChatCompletionsClient client = new ChatCompletionsClient(
    new Uri(Environment.GetEnvironmentVariable("AZURE_INFERENCE_ENDPOINT")),
    new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
);

Obtención de las funcionalidades del modelo

La ruta /info devuelve información sobre el modelo que se implementa en el punto de conexión. Devuelva la información del modelo llamando al método siguiente:

Response<ModelInfo> modelInfo = client.GetModelInfo();

La respuesta es la siguiente:

Console.WriteLine($"Model name: {modelInfo.Value.ModelName}");
Console.WriteLine($"Model type: {modelInfo.Value.ModelType}");
Console.WriteLine($"Model provider name: {modelInfo.Value.ModelProviderName}");

Model name: Mistral-Large
Model type: chat-completions
Model provider name: MistralAI

Creación de una solicitud de finalización de chat

En el ejemplo siguiente se muestra cómo puede crear una solicitud básica de finalizaciones de chat al modelo.

ChatCompletionsOptions requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("How many languages are in the world?")
    },
};

Response<ChatCompletions> response = client.Complete(requestOptions);

La respuesta es la siguiente, donde puede ver las estadísticas de uso del modelo:

Console.WriteLine($"Response: {response.Value.Choices[0].Message.Content}");
Console.WriteLine($"Model: {response.Value.Model}");
Console.WriteLine("Usage:");
Console.WriteLine($"\tPrompt tokens: {response.Value.Usage.PromptTokens}");
Console.WriteLine($"\tTotal tokens: {response.Value.Usage.TotalTokens}");
Console.WriteLine($"\tCompletion tokens: {response.Value.Usage.CompletionTokens}");

Response: As of now, it's estimated that there are about 7,000 languages spoken around the world. However, this number can vary as some languages become extinct and new ones develop. It's also important to note that the number of speakers can greatly vary between languages, with some having millions of speakers and others only a few hundred.
Model: Mistral-Large
Usage: 
  Prompt tokens: 19
  Total tokens: 91
  Completion tokens: 72

Inspeccione la sección usage de la respuesta para ver el número de tokens usados para el aviso, el número total de tokens generados y el número de tokens usados para la finalización.

Streaming de contenido

De forma predeterminada, la API de finalizaciones devuelve todo el contenido generado en una única respuesta. Si está generando finalizaciones largas, esperar la respuesta puede tardar muchos segundos.

Puede transmitir el contenido para obtenerlo a medida que se genera. El contenido de streaming permite empezar a procesar la finalización a medida que el contenido está disponible. Este modo devuelve un objeto que transmite la respuesta como eventos enviados por el servidor de solo datos. Extraiga fragmentos del campo delta, en lugar del campo de mensaje.

static async Task StreamMessageAsync(ChatCompletionsClient client)
{
    ChatCompletionsOptions requestOptions = new ChatCompletionsOptions()
    {
        Messages = {
            new ChatRequestSystemMessage("You are a helpful assistant."),
            new ChatRequestUserMessage("How many languages are in the world? Write an essay about it.")
        },
        MaxTokens=4096
    };

    StreamingResponse<StreamingChatCompletionsUpdate> streamResponse = await client.CompleteStreamingAsync(requestOptions);

    await PrintStream(streamResponse);
}

Para transmitir finalizaciones, use CompleteStreamingAsync método al llamar al modelo. Observe que en este ejemplo, la llamada se ajusta en un método asincrónico.

Para visualizar la salida, defina un método asincrónico para imprimir la secuencia en la consola.

static async Task PrintStream(StreamingResponse<StreamingChatCompletionsUpdate> response)
{
    await foreach (StreamingChatCompletionsUpdate chatUpdate in response)
    {
        if (chatUpdate.Role.HasValue)
        {
            Console.Write($"{chatUpdate.Role.Value.ToString().ToUpperInvariant()}: ");
        }
        if (!string.IsNullOrEmpty(chatUpdate.ContentUpdate))
        {
            Console.Write(chatUpdate.ContentUpdate);
        }
    }
}

Puede visualizar cómo el streaming genera contenido:

StreamMessageAsync(client).GetAwaiter().GetResult();

Exploración de más parámetros admitidos por el cliente de inferencia

Explore otros parámetros que puede especificar en el cliente de inferencia. Para obtener una lista completa de todos los parámetros admitidos y su documentación correspondiente, vea Referencia de la API de inferencia de modelos de Azure AI.

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("How many languages are in the world?")
    },
    PresencePenalty = 0.1f,
    FrequencyPenalty = 0.8f,
    MaxTokens = 2048,
    StopSequences = { "<|endoftext|>" },
    Temperature = 0,
    NucleusSamplingFactor = 1,
    ResponseFormat = new ChatCompletionsResponseFormatText()
};

response = client.Complete(requestOptions);
Console.WriteLine($"Response: {response.Value.Choices[0].Message.Content}");

Si quiere pasar un parámetro que no está en la lista de parámetros admitidos, puede pasarlo al modelo subyacente mediante parámetros adicionales. Vea Pasar parámetros adicionales al modelo.

Creación de salidas JSON

Los modelos de chat premium de Mistral pueden crear salidas JSON. Establezca el response_format en json_object para habilita el modo JSON y garantizar que el mensaje que genera el modelo es JSON válido. También debe indicar al modelo que genere JSON usted mismo mediante un mensaje de usuario o sistema. Además, el contenido del mensaje puede cortarse parcialmente si finish_reason="length", que indica que la generación superó max_tokens o que la conversación superó la longitud máxima del contexto.

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage(
            "You are a helpful assistant that always generate responses in JSON format, " +
            "using. the following format: { \"answer\": \"response\" }."
        ),
        new ChatRequestUserMessage(
            "How many languages are in the world?"
        )
    },
    ResponseFormat = new ChatCompletionsResponseFormatJSON()
};

response = client.Complete(requestOptions);
Console.WriteLine($"Response: {response.Value.Choices[0].Message.Content}");

Pase de parámetros adicionales al modelo

La API de inferencia de modelos de Azure AI permite pasar parámetros adicionales al modelo. En el ejemplo de código siguiente se muestra cómo pasar el parámetro adicional logprobs al modelo.

Antes de pasar parámetros adicionales a la API de inferencia del modelo de Azure AI, asegúrese de que el modelo admite esos parámetros adicionales. Cuando se realiza la solicitud al modelo subyacente, el encabezado extra-parameters se pasa al modelo con el valor pass-through. Este valor indica al punto de conexión que pase los parámetros adicionales al modelo. El uso de parámetros adicionales con el modelo no garantiza que el modelo pueda controlarlos realmente. Lea la documentación del modelo para comprender qué parámetros adicionales se admiten.

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("How many languages are in the world?")
    },
    AdditionalProperties = { { "logprobs", BinaryData.FromString("true") } },
};

response = client.Complete(requestOptions, extraParams: ExtraParameters.PassThrough);
Console.WriteLine($"Response: {response.Value.Choices[0].Message.Content}");

Los siguientes parámetros adicionales se pueden pasar al modelo de chat premium de Mistral:

Nombre	Description	Tipo
ignore_eos	Si se omite el token EOS y continúa generando tokens después de que se genere el token EOS.	boolean
safe_mode	Si se inyecta un aviso de seguridad antes de todas las conversaciones.	boolean

Safe mode

El modelo de chat premium de Mistral admite el parámetro safe_prompt. Puede alternar el mensaje seguro para anteponer los mensajes con la siguiente solicitud de sistema:

Ayude siempre con cuidado, respeto y verdad. Responda con la máxima utilidad, pero de forma segura. Evite contenido perjudicial, no ético, prejuicioso o negativo. Garantice que las respuestas promuevan la equidad y la positividad.

La API de inferencia de modelos de Azure AI permite pasar este parámetro adicional de la siguiente manera:

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("How many languages are in the world?")
    },
    AdditionalProperties = { { "safe_mode", BinaryData.FromString("true") } },
};

response = client.Complete(requestOptions, extraParams: ExtraParameters.PassThrough);
Console.WriteLine($"Response: {response.Value.Choices[0].Message.Content}");

Uso de herramientas

El modelo de chat premium de Mistral admite el uso de herramientas, que puede ser un recurso extraordinario cuando necesita descargar tareas específicas del modelo de lenguaje y, en su lugar, confiar en un sistema más determinista o incluso en un modelo de lenguaje diferente. La API de inferencia de modelos de Azure AI permite definir herramientas de la siguiente manera.

En el ejemplo de código siguiente se crea una definición de herramienta que puede buscar a partir de información de vuelo de dos ciudades diferentes.

FunctionDefinition flightInfoFunction = new FunctionDefinition("getFlightInfo")
{
    Description = "Returns information about the next flight between two cities. This includes the name of the airline, flight number and the date and time of the next flight",
    Parameters = BinaryData.FromObjectAsJson(new
    {
        Type = "object",
        Properties = new
        {
            origin_city = new
            {
                Type = "string",
                Description = "The name of the city where the flight originates"
            },
            destination_city = new
            {
                Type = "string",
                Description = "The flight destination city"
            }
        }
    },
        new JsonSerializerOptions() { PropertyNamingPolicy = JsonNamingPolicy.CamelCase }
    )
};

ChatCompletionsFunctionToolDefinition getFlightTool = new ChatCompletionsFunctionToolDefinition(flightInfoFunction);

En este ejemplo, la salida de la función es que no hay vuelos disponibles para la ruta seleccionada, pero el usuario debe considerar la posibilidad de tomar un tren.

static string getFlightInfo(string loc_origin, string loc_destination)
{
    return JsonSerializer.Serialize(new
    {
        info = $"There are no flights available from {loc_origin} to {loc_destination}. You " +
        "should take a train, specially if it helps to reduce CO2 emissions."
    });
}

Pida al modelo que reserve vuelos con la ayuda de esta función:

var chatHistory = new List<ChatRequestMessage>(){
        new ChatRequestSystemMessage(
            "You are a helpful assistant that help users to find information about traveling, " +
            "how to get to places and the different transportations options. You care about the" +
            "environment and you always have that in mind when answering inqueries."
        ),
        new ChatRequestUserMessage("When is the next flight from Miami to Seattle?")
    };

requestOptions = new ChatCompletionsOptions(chatHistory);
requestOptions.Tools.Add(getFlightTool);
requestOptions.ToolChoice = ChatCompletionsToolChoice.Auto;

response = client.Complete(requestOptions);

Puede inspeccionar la respuesta para averiguar si es necesario llamar a una herramienta. Inspeccione el motivo de finalización para determinar si se debe llamar a la herramienta. Recuerde que se pueden indicar varios tipos de herramientas. En este ejemplo se muestra una herramienta de tipo function.

var responseMenssage = response.Value.Choices[0].Message;
var toolsCall = responseMenssage.ToolCalls;

Console.WriteLine($"Finish reason: {response.Value.Choices[0].FinishReason}");
Console.WriteLine($"Tool call: {toolsCall[0].Id}");

Para continuar, anexe este mensaje al historial de chats:

requestOptions.Messages.Add(new ChatRequestAssistantMessage(response.Value.Choices[0].Message));

Ahora es el momento de llamar a la función adecuada para controlar la llamada a la herramienta. El siguiente fragmento de código itera todas las llamadas a herramienta indicadas en la respuesta y llama a la función correspondiente con los parámetros adecuados. La respuesta también se anexa al historial de chat.

foreach (ChatCompletionsToolCall tool in toolsCall)
{
    if (tool is ChatCompletionsFunctionToolCall functionTool)
    {
        // Get the tool details:
        string callId = functionTool.Id;
        string toolName = functionTool.Name;
        string toolArgumentsString = functionTool.Arguments;
        Dictionary<string, object> toolArguments = JsonSerializer.Deserialize<Dictionary<string, object>>(toolArgumentsString);

        // Here you have to call the function defined. In this particular example we use 
        // reflection to find the method we definied before in an static class called 
        // `ChatCompletionsExamples`. Using reflection allows us to call a function 
        // by string name. Notice that this is just done for demonstration purposes as a 
        // simple way to get the function callable from its string name. Then we can call 
        // it with the corresponding arguments.

        var flags = BindingFlags.Instance | BindingFlags.Public | BindingFlags.NonPublic | BindingFlags.Static;
        string toolResponse = (string)typeof(ChatCompletionsExamples).GetMethod(toolName, flags).Invoke(null, toolArguments.Values.Cast<object>().ToArray());

        Console.WriteLine("->", toolResponse);
        requestOptions.Messages.Add(new ChatRequestToolMessage(toolResponse, callId));
    }
    else
        throw new Exception("Unsupported tool type");
}

Vea la respuesta del modelo:

response = client.Complete(requestOptions);

Aplicación de la seguridad del contenido

La API de inferencia de modelos de Azure AI admite Seguridad de contenido de Azure AI. Cuando se usan implementaciones con la seguridad de contenido de Azure AI activada, las entradas y las salidas pasan a través de un conjunto de modelos de clasificación destinados a detectar y evitar la salida de contenido perjudicial. El sistema de filtrado de contenido detecta y toma medidas en categorías específicas de contenido potencialmente perjudicial tanto en solicitudes de entrada como en finalizaciones de salida.

En el ejemplo siguiente se muestra cómo controlar eventos cuando el modelo detecta contenido perjudicial en el mensaje de entrada y la seguridad del contenido está habilitado.

try
{
    requestOptions = new ChatCompletionsOptions()
    {
        Messages = {
            new ChatRequestSystemMessage("You are an AI assistant that helps people find information."),
            new ChatRequestUserMessage(
                "Chopping tomatoes and cutting them into cubes or wedges are great ways to practice your knife skills."
            ),
        },
    };

    response = client.Complete(requestOptions);
    Console.WriteLine(response.Value.Choices[0].Message.Content);
}
catch (RequestFailedException ex)
{
    if (ex.ErrorCode == "content_filter")
    {
        Console.WriteLine($"Your query has trigger Azure Content Safety: {ex.Message}");
    }
    else
    {
        throw;
    }
}

Sugerencia

Para más información sobre cómo configurar y controlar la configuración de seguridad del contenido de Azure AI, consulte la Documentación de seguridad de contenido de Azure AI.

Modelos de chat premium de Mistral

Los modelos de chat premium de Mistral incluyen los siguientes modelos:

Mistral Large

Mistral Large es el modelo de lenguaje grande (LLM) más avanzado de Mistral AI. Se puede usar en cualquier tarea basada en lenguaje gracias a sus capacidades de razonamiento y conocimiento de última generación.

Además, Mistral Large es:

• Especializado en RAG. La información crucial no se pierde en medio de ventanas de contexto largas (hasta tokens 32-K).
• Fuerte en la codificación. Generación de código, revisión y comentarios. Admite todos los lenguajes de codificación estándar.
• Multilingüe por diseño. Mejor rendimiento en francés, alemán, español, italiano e inglés. Se admiten docenas de otros idiomas.
• Compatible con la inteligencia artificial responsable. Barreras de protección eficientes simuladas mediante "bake" en el modelo y capa de seguridad adicional con la opción safe_mode.

Los atributos de Mistral Large (2407) incluyen:

• Multilingüe por diseño. Admite docenas de idiomas, incluidos inglés, francés, alemán, español e italiano.
• Experto en codificación. Entrenado en más de 80 lenguajes de codificación, incluidos Python, Java, C, C++, JavaScript y Bash. También se entrena en lenguajes más específicos, como Swift y Fortran.
• Centrado en el agente. Posee funcionalidades de agente con llamadas de funciones nativas y salida JSON.
• Avanzado en el razonamiento. Muestra capacidades matemáticas y de razonamiento de última generación.

Están disponibles los siguientes modelos:

• Mistral-Large
• Mistral-Large-2407

Mistral Small

Mistral Small es el modelo de lenguaje grande (LLM) más eficaz de Mistral AI. Se puede usar en cualquier tarea basada en lenguaje que requiera alta eficiencia y baja latencia.

Mistral Small es:

• Un modelo a pequeña escala optimizado para baja latencia. Eficaz para cargas de trabajo de gran volumen y baja latencia. Mistral Small es el modelo de su propiedad más pequeño de Mistral, supera a Mixtral-8x7B y tiene una latencia menor.
• Especializado en RAG. La información crucial no se pierde en medio de ventanas de contexto largas (hasta tokens 32 K).
• Fuerte en la codificación. Generación de código, revisión y comentarios. Admite todos los lenguajes de codificación estándar.
• Multilingüe por diseño. Mejor rendimiento en francés, alemán, español, italiano e inglés. Se admiten docenas de otros idiomas.
• Compatible con la inteligencia artificial responsable. Barreras de protección eficientes simuladas mediante bake en el modelo y capa de seguridad adicional con la opción safe_mode.

Están disponibles los siguientes modelos:

• Mistral-Small

Sugerencia

Además, MistralAI admite el uso de una API adaptada para su uso con características específicas del modelo. Para usar la API específica del proveedor de modelos, consulte la documentación de MistralAI o vea la sección de ejemplos de inferencia para obtener ejemplos de código.

Requisitos previos

Para usar los modelos de chat premium de Mistral con Inteligencia artificial de Azure Studio, necesita los siguientes requisitos previos:

Implementación de modelo

Implementación en API sin servidor

Los modelos de chat premium de Mistral se pueden implementar en puntos de conexión de API sin servidor con facturación de pago por uso. Este tipo de implementación proporciona una forma de consumir modelos como API sin alojarlos en su suscripción, al tiempo que mantiene la seguridad y el cumplimiento empresarial que necesitan las organizaciones.

La implementación en un punto de conexión de API sin servidor no requiere cuota de la suscripción. Si el modelo aún no está implementado, use Azure AI Studio, el SDK de Azure Machine Learning para Python, la CLI de Azure o las plantillas de ARM para implementar el modelo como una API sin servidor.

Implementación del modelo en los puntos de conexión de API sin servidor

Un cliente REST

Los modelos implementados con la API de inferencia de modelos de Azure AI pueden consumirse usando cualquier cliente REST. Para usar el cliente REST, necesita los siguientes requisitos previos:

• Para construir las solicitudes, debe pasar la dirección URL del punto de conexión. La dirección URL del punto de conexión tiene el formato https://your-host-name.your-azure-region.inference.ai.azure.com, donde your-host-name`` is your unique model deployment host name and your-azure-region`` es la región de Azure donde se implementa el modelo (por ejemplo, eastus2).
• En función de la preferencia de autenticación y implementación de modelo, necesita una clave para autenticarse en el servicio o en las credenciales de Microsoft Entra ID. La clave es una cadena de 32 caracteres.

Trabajar con finalizaciones de chat

En esta sección, usará API de inferencia de modelos de Azure AI con un modelo de finalizaciones de chat para chat.

Sugerencia

La API de inferencia de modelos de Azure AI permite hablar con la mayoría de los modelos implementados en Azure AI Studio con el mismo código y estructura, incluidos el modelo de chat premium de Mistral.

Creación de un cliente para consumir el modelo

En primer lugar, cree el cliente para consumir el modelo. El código siguiente usa una dirección URL de punto de conexión y una clave que se almacenan en variables de entorno.

Obtención de las funcionalidades del modelo

La ruta /info devuelve información sobre el modelo que se implementa en el punto de conexión. Devuelva la información del modelo llamando al método siguiente:

GET /info HTTP/1.1
Host: <ENDPOINT_URI>
Authorization: Bearer <TOKEN>
Content-Type: application/json

La respuesta es la siguiente:

{
    "model_name": "Mistral-Large",
    "model_type": "chat-completions",
    "model_provider_name": "MistralAI"
}

Creación de una solicitud de finalización de chat

En el ejemplo siguiente se muestra cómo puede crear una solicitud básica de finalizaciones de chat al modelo.

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "How many languages are in the world?"
        }
    ]
}

La respuesta es la siguiente, donde puede ver las estadísticas de uso del modelo:

{
    "id": "0a1234b5de6789f01gh2i345j6789klm",
    "object": "chat.completion",
    "created": 1718726686,
    "model": "Mistral-Large",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "As of now, it's estimated that there are about 7,000 languages spoken around the world. However, this number can vary as some languages become extinct and new ones develop. It's also important to note that the number of speakers can greatly vary between languages, with some having millions of speakers and others only a few hundred.",
                "tool_calls": null
            },
            "finish_reason": "stop",
            "logprobs": null
        }
    ],
    "usage": {
        "prompt_tokens": 19,
        "total_tokens": 91,
        "completion_tokens": 72
    }
}

Inspeccione la sección usage de la respuesta para ver el número de tokens usados para el aviso, el número total de tokens generados y el número de tokens usados para la finalización.

Streaming de contenido

De forma predeterminada, la API de finalizaciones devuelve todo el contenido generado en una única respuesta. Si está generando finalizaciones largas, esperar la respuesta puede tardar muchos segundos.

Puede transmitir el contenido para obtenerlo a medida que se genera. El contenido de streaming permite empezar a procesar la finalización a medida que el contenido está disponible. Este modo devuelve un objeto que transmite la respuesta como eventos enviados por el servidor de solo datos. Extraiga fragmentos del campo delta, en lugar del campo de mensaje.

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "How many languages are in the world?"
        }
    ],
    "stream": true,
    "temperature": 0,
    "top_p": 1,
    "max_tokens": 2048
}

Puede visualizar cómo el streaming genera contenido:

{
    "id": "23b54589eba14564ad8a2e6978775a39",
    "object": "chat.completion.chunk",
    "created": 1718726371,
    "model": "Mistral-Large",
    "choices": [
        {
            "index": 0,
            "delta": {
                "role": "assistant",
                "content": ""
            },
            "finish_reason": null,
            "logprobs": null
        }
    ]
}

El último mensaje de la secuencia ha establecido finish_reason, lo que indica el motivo para que se detenga el proceso de generación.

{
    "id": "23b54589eba14564ad8a2e6978775a39",
    "object": "chat.completion.chunk",
    "created": 1718726371,
    "model": "Mistral-Large",
    "choices": [
        {
            "index": 0,
            "delta": {
                "content": ""
            },
            "finish_reason": "stop",
            "logprobs": null
        }
    ],
    "usage": {
        "prompt_tokens": 19,
        "total_tokens": 91,
        "completion_tokens": 72
    }
}

Exploración de más parámetros admitidos por el cliente de inferencia

Explore otros parámetros que puede especificar en el cliente de inferencia. Para obtener una lista completa de todos los parámetros admitidos y su documentación correspondiente, vea Referencia de la API de inferencia de modelos de Azure AI.

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "How many languages are in the world?"
        }
    ],
    "presence_penalty": 0.1,
    "frequency_penalty": 0.8,
    "max_tokens": 2048,
    "stop": ["<|endoftext|>"],
    "temperature" :0,
    "top_p": 1,
    "response_format": { "type": "text" }
}

{
    "id": "0a1234b5de6789f01gh2i345j6789klm",
    "object": "chat.completion",
    "created": 1718726686,
    "model": "Mistral-Large",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "As of now, it's estimated that there are about 7,000 languages spoken around the world. However, this number can vary as some languages become extinct and new ones develop. It's also important to note that the number of speakers can greatly vary between languages, with some having millions of speakers and others only a few hundred.",
                "tool_calls": null
            },
            "finish_reason": "stop",
            "logprobs": null
        }
    ],
    "usage": {
        "prompt_tokens": 19,
        "total_tokens": 91,
        "completion_tokens": 72
    }
}

Si quiere pasar un parámetro que no está en la lista de parámetros admitidos, puede pasarlo al modelo subyacente mediante parámetros adicionales. Vea Pasar parámetros adicionales al modelo.

Creación de salidas JSON

Los modelos de chat premium de Mistral pueden crear salidas JSON. Establezca el response_format en json_object para habilita el modo JSON y garantizar que el mensaje que genera el modelo es JSON válido. También debe indicar al modelo que genere JSON usted mismo mediante un mensaje de usuario o sistema. Además, el contenido del mensaje puede cortarse parcialmente si finish_reason="length", que indica que la generación superó max_tokens o que la conversación superó la longitud máxima del contexto.

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant that always generate responses in JSON format, using the following format: { \"answer\": \"response\" }"
        },
        {
            "role": "user",
            "content": "How many languages are in the world?"
        }
    ],
    "response_format": { "type": "json_object" }
}

{
    "id": "0a1234b5de6789f01gh2i345j6789klm",
    "object": "chat.completion",
    "created": 1718727522,
    "model": "Mistral-Large",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "{\"answer\": \"There are approximately 7,117 living languages in the world today, according to the latest estimates. However, this number can vary as some languages become extinct and others are newly discovered or classified.\"}",
                "tool_calls": null
            },
            "finish_reason": "stop",
            "logprobs": null
        }
    ],
    "usage": {
        "prompt_tokens": 39,
        "total_tokens": 87,
        "completion_tokens": 48
    }
}

Pase de parámetros adicionales al modelo

La API de inferencia de modelos de Azure AI permite pasar parámetros adicionales al modelo. En el ejemplo de código siguiente se muestra cómo pasar el parámetro adicional logprobs al modelo.

Antes de pasar parámetros adicionales a la API de inferencia del modelo de Azure AI, asegúrese de que el modelo admite esos parámetros adicionales. Cuando se realiza la solicitud al modelo subyacente, el encabezado extra-parameters se pasa al modelo con el valor pass-through. Este valor indica al punto de conexión que pase los parámetros adicionales al modelo. El uso de parámetros adicionales con el modelo no garantiza que el modelo pueda controlarlos realmente. Lea la documentación del modelo para comprender qué parámetros adicionales se admiten.

POST /chat/completions HTTP/1.1
Host: <ENDPOINT_URI>
Authorization: Bearer <TOKEN>
Content-Type: application/json
extra-parameters: pass-through

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "How many languages are in the world?"
        }
    ],
    "logprobs": true
}

Los siguientes parámetros adicionales se pueden pasar al modelo de chat premium de Mistral:

Nombre	Description	Tipo
ignore_eos	Si se omite el token EOS y continúa generando tokens después de que se genere el token EOS.	boolean
safe_mode	Si se inyecta un aviso de seguridad antes de todas las conversaciones.	boolean

Safe mode

El modelo de chat premium de Mistral admite el parámetro safe_prompt. Puede alternar el mensaje seguro para anteponer los mensajes con la siguiente solicitud de sistema:

Ayude siempre con cuidado, respeto y verdad. Responda con la máxima utilidad, pero de forma segura. Evite contenido perjudicial, no ético, prejuicioso o negativo. Garantice que las respuestas promuevan la equidad y la positividad.

La API de inferencia de modelos de Azure AI permite pasar este parámetro adicional de la siguiente manera:

POST /chat/completions HTTP/1.1
Host: <ENDPOINT_URI>
Authorization: Bearer <TOKEN>
Content-Type: application/json
extra-parameters: pass-through

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "How many languages are in the world?"
        }
    ],
    "safemode": true
}

Uso de herramientas

El modelo de chat premium de Mistral admite el uso de herramientas, que puede ser un recurso extraordinario cuando necesita descargar tareas específicas del modelo de lenguaje y, en su lugar, confiar en un sistema más determinista o incluso en un modelo de lenguaje diferente. La API de inferencia de modelos de Azure AI permite definir herramientas de la siguiente manera.

En el ejemplo de código siguiente se crea una definición de herramienta que puede buscar a partir de información de vuelo de dos ciudades diferentes.

{
    "type": "function",
    "function": {
        "name": "get_flight_info",
        "description": "Returns information about the next flight between two cities. This includes the name of the airline, flight number and the date and time of the next flight",
        "parameters": {
            "type": "object",
            "properties": {
                "origin_city": {
                    "type": "string",
                    "description": "The name of the city where the flight originates"
                },
                "destination_city": {
                    "type": "string",
                    "description": "The flight destination city"
                }
            },
            "required": [
                "origin_city",
                "destination_city"
            ]
        }
    }
}

En este ejemplo, la salida de la función es que no hay vuelos disponibles para la ruta seleccionada, pero el usuario debe considerar la posibilidad de tomar un tren.

Pida al modelo que reserve vuelos con la ayuda de esta función:

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant that help users to find information about traveling, how to get to places and the different transportations options. You care about the environment and you always have that in mind when answering inqueries"
        },
        {
            "role": "user",
            "content": "When is the next flight from Miami to Seattle?"
        }
    ],
    "tool_choice": "auto",
    "tools": [
        {
            "type": "function",
            "function": {
                "name": "get_flight_info",
                "description": "Returns information about the next flight between two cities. This includes the name of the airline, flight number and the date and time of the next flight",
                "parameters": {
                    "type": "object",
                    "properties": {
                        "origin_city": {
                            "type": "string",
                            "description": "The name of the city where the flight originates"
                        },
                        "destination_city": {
                            "type": "string",
                            "description": "The flight destination city"
                        }
                    },
                    "required": [
                        "origin_city",
                        "destination_city"
                    ]
                }
            }
        }
    ]
}

Puede inspeccionar la respuesta para averiguar si es necesario llamar a una herramienta. Inspeccione el motivo de finalización para determinar si se debe llamar a la herramienta. Recuerde que se pueden indicar varios tipos de herramientas. En este ejemplo se muestra una herramienta de tipo function.

{
    "id": "0a1234b5de6789f01gh2i345j6789klm",
    "object": "chat.completion",
    "created": 1718726007,
    "model": "Mistral-Large",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "",
                "tool_calls": [
                    {
                        "id": "abc0dF1gh",
                        "type": "function",
                        "function": {
                            "name": "get_flight_info",
                            "arguments": "{\"origin_city\": \"Miami\", \"destination_city\": \"Seattle\"}",
                            "call_id": null
                        }
                    }
                ]
            },
            "finish_reason": "tool_calls",
            "logprobs": null
        }
    ],
    "usage": {
        "prompt_tokens": 190,
        "total_tokens": 226,
        "completion_tokens": 36
    }
}

Para continuar, anexe este mensaje al historial de chats:

Ahora es el momento de llamar a la función adecuada para controlar la llamada a la herramienta. El siguiente fragmento de código itera todas las llamadas a herramienta indicadas en la respuesta y llama a la función correspondiente con los parámetros adecuados. La respuesta también se anexa al historial de chat.

Vea la respuesta del modelo:

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant that help users to find information about traveling, how to get to places and the different transportations options. You care about the environment and you always have that in mind when answering inqueries"
        },
        {
            "role": "user",
            "content": "When is the next flight from Miami to Seattle?"
        },
        {
            "role": "assistant",
            "content": "",
            "tool_calls": [
                {
                    "id": "abc0DeFgH",
                    "type": "function",
                    "function": {
                        "name": "get_flight_info",
                        "arguments": "{\"origin_city\": \"Miami\", \"destination_city\": \"Seattle\"}",
                        "call_id": null
                    }
                }
            ]
        },
        {
            "role": "tool",
            "content": "{ \"info\": \"There are no flights available from Miami to Seattle. You should take a train, specially if it helps to reduce CO2 emissions.\" }",
            "tool_call_id": "abc0DeFgH" 
        }
    ],
    "tool_choice": "auto",
    "tools": [
        {
            "type": "function",
            "function": {
            "name": "get_flight_info",
            "description": "Returns information about the next flight between two cities. This includes the name of the airline, flight number and the date and time of the next flight",
            "parameters":{
                "type": "object",
                "properties": {
                    "origin_city": {
                        "type": "string",
                        "description": "The name of the city where the flight originates"
                    },
                    "destination_city": {
                        "type": "string",
                        "description": "The flight destination city"
                    }
                },
                "required": ["origin_city", "destination_city"]
            }
            }
        }
    ]
}

Aplicación de la seguridad del contenido

La API de inferencia de modelos de Azure AI admite Seguridad de contenido de Azure AI. Cuando se usan implementaciones con la seguridad de contenido de Azure AI activada, las entradas y las salidas pasan a través de un conjunto de modelos de clasificación destinados a detectar y evitar la salida de contenido perjudicial. El sistema de filtrado de contenido detecta y toma medidas en categorías específicas de contenido potencialmente perjudicial tanto en solicitudes de entrada como en finalizaciones de salida.

En el ejemplo siguiente se muestra cómo controlar eventos cuando el modelo detecta contenido perjudicial en el mensaje de entrada y la seguridad del contenido está habilitado.

{
    "messages": [
        {
            "role": "system",
            "content": "You are an AI assistant that helps people find information."
        },
                {
            "role": "user",
            "content": "Chopping tomatoes and cutting them into cubes or wedges are great ways to practice your knife skills."
        }
    ]
}

{
    "error": {
        "message": "The response was filtered due to the prompt triggering Microsoft's content management policy. Please modify your prompt and retry.",
        "type": null,
        "param": "prompt",
        "code": "content_filter",
        "status": 400
    }
}

Sugerencia

Para más información sobre cómo configurar y controlar la configuración de seguridad del contenido de Azure AI, consulte la Documentación de seguridad de contenido de Azure AI.

Más ejemplos de inferencia

Para obtener más ejemplos de cómo usar Mistral, vea los ejemplos y tutoriales siguientes:

Descripción	Idioma	Muestra
Solicitud CURL	Bash	Vínculo
Paquete de inferencia de Azure AI para JavaScript	JavaScript	Vínculo
Paquete de inferencia de Azure AI para Python	Python	Vínculo
Solicitudes web de Python	Python	Vínculo
SDK de OpenAI (experimental)	Python	Vínculo
LangChain	Python	Vínculo
Mistral AI	Python	Vínculo
LiteLLM	Python	Vínculo

Consideraciones de costo y cuota para la familia de modelos Mistral implementados como puntos de conexión de API sin servidor

La cuota se administra por implementación. Cada implementación tiene un límite de velocidad de 200 000 tokens por minuto y 1000 solicitudes de API por minuto. Sin embargo, actualmente limitamos una implementación por modelo por proyecto. Póngase en contacto con el Soporte técnico de Microsoft Azure si los límites de velocidad actuales no son suficientes para sus escenarios.

Los modelos Mistral implementados como API sin servidor los ofrece MistralAI a través de Azure Marketplace e integrados con Azure AI Studio para su uso. Puedes encontrar los precios de Azure Marketplace al implementar modelos.

Cada vez que un proyecto se suscribe a una oferta determinada de Azure Marketplace, se crea un nuevo recurso para realizar un seguimiento de los costos asociados a su consumo. El mismo recurso se usa para hacer un seguimiento de los costos asociados con la inferencia; sin embargo, hay varios medidores disponibles para hacer un seguimiento de cada escenario de forma independiente.

Para más información sobre cómo realizar un seguimiento de los costos, consulte Supervisión de los costos de los modelos ofrecidos en Azure Marketplace.

Contenido relacionado

• API de inferencia de modelos de Azure AI
• Implementación de modelos como API sin servidor
• Consumo de puntos de conexión de API sin servidor desde otro proyecto o centro de Azure AI Studio
• Disponibilidad de regiones para modelos en puntos de conexión de API sin servidor
• Planeamiento y administración de costos (marketplace)