Compartilhar via

Associação de entrada de postagem do assistente do OpenAI do Azure para Azure Functions

Importante

Atualmente, a extensão do OpenAI do Azure para Azure Functions está em versão prévia.

A associação de entrada de postagem do assistente do OpenAI do Azure permite enviar prompts para chatbots assistentes.

Para obter informações sobre os detalhes de configuração da extensão do OpenAI do Azure, consulte Extensões do OpenAI do Azure para Azure Functions. Para saber mais sobre os assistentes do OpenAI do Azure, consulte API de Assistentes do OpenAI do Azure.

Observação

Referências e exemplos só são fornecidos para o modelo do Node.js v4.

Observação

Referências e exemplos só são fornecidos para o modelo do Python v2.

Observação

Embora haja suporte para ambos os modelos de processo C#, apenas exemplos de modelo de trabalho isolados são fornecidos.

Exemplo

Este exemplo demonstra o processo de criação, em que a função HTTP POST que envia prompts de usuário para o chatbot assistente. A resposta ao prompt é retornada na resposta HTTP.

/// <summary>
/// HTTP POST function that sends user prompts to the assistant chat bot.
/// </summary>
[Function(nameof(PostUserQuery))]
public static IActionResult PostUserQuery(
    [HttpTrigger(AuthorizationLevel.Anonymous, "post", Route = "assistants/{assistantId}")] HttpRequestData req,
    string assistantId,
    [AssistantPostInput("{assistantId}", "{Query.message}", ChatModel = "%CHAT_MODEL_DEPLOYMENT_NAME%", ChatStorageConnectionSetting = DefaultChatStorageConnectionSetting, CollectionName = DefaultCollectionName)] AssistantState state)
{
    return new OkObjectResult(state.RecentMessages.Any() ? state.RecentMessages[state.RecentMessages.Count - 1].Content : "No response returned.");
}

Este exemplo demonstra o processo de criação, em que a função HTTP POST que envia prompts de usuário para o chatbot assistente. A resposta ao prompt é retornada na resposta HTTP.

/*
 * HTTP POST function that sends user prompts to the assistant chat bot.
 */ 
@FunctionName("PostUserResponse")
public HttpResponseMessage postUserResponse(
    @HttpTrigger(
        name = "req",
        methods = {HttpMethod.POST}, 
        authLevel = AuthorizationLevel.ANONYMOUS,
        route = "assistants/{assistantId}") 
        HttpRequestMessage<Optional<String>> request,
    @BindingName("assistantId") String assistantId,        
    @AssistantPost(name="newMessages", id = "{assistantId}", chatModel = "%CHAT_MODEL_DEPLOYMENT_NAME%", userMessage = "{Query.message}", chatStorageConnectionSetting = DEFAULT_CHATSTORAGE, collectionName = DEFAULT_COLLECTION) AssistantState state,
    final ExecutionContext context) {
        
        List<AssistantMessage> recentMessages = state.getRecentMessages();
        String response = recentMessages.isEmpty() ? "No response returned." : recentMessages.get(recentMessages.size() - 1).getContent();
        
        return request.createResponseBuilder(HttpStatus.OK)
            .header("Content-Type", "application/json")
            .body(response)
            .build();
}

Este exemplo demonstra o processo de criação, em que a função HTTP POST que envia prompts de usuário para o chatbot assistente. A resposta ao prompt é retornada na resposta HTTP.

const { app, input, output } = require("@azure/functions");

const assistantPostInput = input.generic({
    type: 'assistantPost',
    id: '{assistantId}',
    chatModel: '%CHAT_MODEL_DEPLOYMENT_NAME%',
    userMessage: '{Query.message}',
    chatStorageConnectionSetting: CHAT_STORAGE_CONNECTION_SETTING,
    collectionName: COLLECTION_NAME
})
app.http('PostUserResponse', {
    methods: ['POST'],
    route: 'assistants/{assistantId}',
    authLevel: 'anonymous',
    extraInputs: [assistantPostInput],
    handler: async (_, context) => {
        const chatState = context.extraInputs.get(assistantPostInput)
        const content = chatState.recentMessages[0].content
        return {
            status: 200,
            body: content,
            headers: {
                'Content-Type': 'text/plain'
            }
        };
    }
})

import { HttpRequest, InvocationContext, app, input, output } from "@azure/functions"

const assistantPostInput = input.generic({
    type: 'assistantPost',
    id: '{assistantId}',
    chatModel: '%CHAT_MODEL_DEPLOYMENT_NAME%',
    userMessage: '{Query.message}',
    chatStorageConnectionSetting: CHAT_STORAGE_CONNECTION_SETTING,
    collectionName: COLLECTION_NAME
})
app.http('PostUserResponse', {
    methods: ['POST'],
    route: 'assistants/{assistantId}',
    authLevel: 'anonymous',
    extraInputs: [assistantPostInput],
    handler: async (_, context) => {
        const chatState: any = context.extraInputs.get(assistantPostInput)
        const content = chatState.recentMessages[0].content
        return {
            status: 200,
            body: content,
            headers: {
                'Content-Type': 'text/plain'
            }
        };
    }
})

Este exemplo demonstra o processo de criação, em que a função HTTP POST que envia prompts de usuário para o chatbot assistente. A resposta ao prompt é retornada na resposta HTTP.

Aqui está o arquivo function.json para consulta pós-usuário:

{
  "bindings": [
    {
      "authLevel": "function",
      "type": "httpTrigger",
      "direction": "in",
      "name": "Request",
      "route": "assistants/{assistantId}",
      "methods": [
        "post"
      ]
    },
    {
      "type": "http",
      "direction": "out",
      "name": "Response"
    },
    {
      "name": "State",
      "type": "assistantPost",
      "direction": "in",
      "dataType": "string",
      "id": "{assistantId}",
      "userMessage": "{Query.message}",
      "chatModel": "%CHAT_MODEL_DEPLOYMENT_NAME%",
      "chatStorageConnectionSetting": "AzureWebJobsStorage",
      "collectionName": "ChatState"
    }
  ]
}

Para obter mais informações sobre as propriedades do arquivo function.json, consulte a seção Configuração.

using namespace System.Net

param($Request, $TriggerMetadata, $State)

$recent_message_content = "No recent messages!"

if ($State.recentMessages.Count -gt 0) {
    $recent_message_content = $State.recentMessages[0].content
}

Push-OutputBinding -Name Response -Value ([HttpResponseContext]@{
    StatusCode = [HttpStatusCode]::OK
    Body       = $recent_message_content
    Headers    = @{
        "Content-Type" = "text/plain"
    }
})

Este exemplo demonstra o processo de criação, em que a função HTTP POST que envia prompts de usuário para o chatbot assistente. A resposta ao prompt é retornada na resposta HTTP.

@apis.function_name("PostUserQuery")
@apis.route(route="assistants/{assistantId}", methods=["POST"])
@apis.assistant_post_input(
    arg_name="state",
    id="{assistantId}",
    user_message="{Query.message}",
    chat_model="%CHAT_MODEL_DEPLOYMENT_NAME%",
    chat_storage_connection_setting=DEFAULT_CHAT_STORAGE_SETTING,
    collection_name=DEFAULT_CHAT_COLLECTION_NAME,
)
def post_user_response(req: func.HttpRequest, state: str) -> func.HttpResponse:
    # Parse the JSON string into a dictionary
    data = json.loads(state)

    # Extract the content of the recentMessage
    recent_message_content = data["recentMessages"][0]["content"]
    return func.HttpResponse(
        recent_message_content, status_code=200, mimetype="text/plain"
    )

Atributos

Aplique o atributo PostUserQuery para definir uma associação de entrada de postagem do assistente, que dá suporte a esses parâmetros:

Parâmetro Descrição
Id A ID do assistente a ser atualizada.
UserMessage Obtém ou define a mensagem do usuário para o modelo de conclusão de chat, codificado como uma cadeia de caracteres.
AIConnectionName Opcional. Obtém ou define o nome da seção de configuração para as configurações de conectividade do serviço de IA. Para o Azure OpenAI: se especificado, procura valores de "Ponto de Extremidade" e "Chave" nesta seção de configuração. Se não for especificado ou a seção não existir, retornará às variáveis de ambiente: AZURE_OPENAI_ENDPOINT e AZURE_OPENAI_KEY. Para autenticação de identidade gerenciada atribuída pelo usuário, essa propriedade é necessária. Para o serviço OpenAI (não Azure), defina a variável de ambiente OPENAI_API_KEY.
ChatModel Opcional. Obtém ou define a ID do modelo a ser usada como uma cadeia de caracteres, com um valor padrão de gpt-3.5-turbo.
Temperatura Opcional. Obtém ou define a temperatura de amostragem a ser usada, como uma cadeia de caracteres entre 0 e 2. Valores mais altos (0.8) tornam a saída mais aleatória, enquanto valores mais baixos como (0.2) tornam a saída mais focada e determinística. Você deve usar um Temperature ou TopP, mas não ambos.
TopP Opcional. Obtém ou define uma alternativa à amostragem com temperatura, chamada amostragem de núcleo, como uma cadeia de caracteres. Neste método de amostragem, o modelo considera os resultados dos tokens com top_p massa de probabilidade. Portanto, 0.1 significa que somente os tokens que compõem os 10 principais% massa de probabilidade são considerados. Você deve usar um Temperature ou TopP, mas não ambos.
MaxTokens Opcional. Obtém ou define o número máximo de tokens a serem gerados na conclusão, como uma cadeia de caracteres com um padrão de 100. A contagem de tokens do prompt mais max_tokens não pode exceder o tamanho do contexto do modelo. A maioria dos modelos tem um comprimento de contexto de 2.048 tokens (exceto os modelos mais novos, que dão suporte a 4.096).
IsReasoningModel Opcional. Obtém ou define um valor que indica se o modelo de conclusão do chat é um modelo de raciocínio. Essa opção é experimental e associada ao modelo de raciocínio até que todos os modelos tenham paridade nas propriedades esperadas, com um valor padrão de false.

Anotações

A anotação PostUserQuery permite que você defina uma associação de entrada de postagem do assistente, que dá suporte a estes parâmetros:

Elemento Descrição
nome O nome da associação de saída.
id A ID do assistente a ser atualizada.
userMessage Obtém ou define a mensagem do usuário para o modelo de conclusão de chat, codificado como uma cadeia de caracteres.
aiConnectionName Opcional. Obtém ou define o nome da seção de configuração para as configurações de conectividade do serviço de IA. Para o Azure OpenAI: se especificado, procura valores de "Ponto de Extremidade" e "Chave" nesta seção de configuração. Se não for especificado ou a seção não existir, retornará às variáveis de ambiente: AZURE_OPENAI_ENDPOINT e AZURE_OPENAI_KEY. Para autenticação de identidade gerenciada atribuída pelo usuário, essa propriedade é necessária. Para o serviço OpenAI (não Azure), defina a variável de ambiente OPENAI_API_KEY.
chatModel Obtém ou define a ID do modelo a ser usada como uma cadeia de caracteres, com um valor padrão de gpt-3.5-turbo.
temperatura Opcional. Obtém ou define a temperatura de amostragem a ser usada, como uma cadeia de caracteres entre 0 e 2. Valores mais altos (0.8) tornam a saída mais aleatória, enquanto valores mais baixos como (0.2) tornam a saída mais focada e determinística. Você deve usar um Temperature ou TopP, mas não ambos.
topP Opcional. Obtém ou define uma alternativa à amostragem com temperatura, chamada amostragem de núcleo, como uma cadeia de caracteres. Neste método de amostragem, o modelo considera os resultados dos tokens com top_p massa de probabilidade. Portanto, 0.1 significa que somente os tokens que compõem os 10 principais% massa de probabilidade são considerados. Você deve usar um Temperature ou TopP, mas não ambos.
maxTokens Opcional. Obtém ou define o número máximo de tokens a serem gerados na conclusão, como uma cadeia de caracteres com um padrão de 100. A contagem de tokens do prompt mais max_tokens não pode exceder o tamanho do contexto do modelo. A maioria dos modelos tem um comprimento de contexto de 2.048 tokens (exceto os modelos mais novos, que dão suporte a 4.096).
isReasoningModel Opcional. Obtém ou define um valor que indica se o modelo de conclusão do chat é um modelo de raciocínio. Essa opção é experimental e associada ao modelo de raciocínio até que todos os modelos tenham paridade nas propriedades esperadas, com um valor padrão de false.

Decoradores

Durante a versão prévia, defina a associação de saída como uma associação generic_output_binding do tipo postUserQuery, que dá suporte a esses parâmetros:

Parâmetro Descrição
arg_name O nome da variável que representa o parâmetro de associação.
id A ID do assistente a ser atualizada.
user_message Obtém ou define a mensagem do usuário para o modelo de conclusão de chat, codificado como uma cadeia de caracteres.
ai_connection_name Opcional. Obtém ou define o nome da seção de configuração para as configurações de conectividade do serviço de IA. Para o Azure OpenAI: se especificado, procura valores de "Ponto de Extremidade" e "Chave" nesta seção de configuração. Se não for especificado ou a seção não existir, retornará às variáveis de ambiente: AZURE_OPENAI_ENDPOINT e AZURE_OPENAI_KEY. Para autenticação de identidade gerenciada atribuída pelo usuário, essa propriedade é necessária. Para o serviço OpenAI (não Azure), defina a variável de ambiente OPENAI_API_KEY.
chat_model Obtém ou define a ID do modelo a ser usada como uma cadeia de caracteres, com um valor padrão de gpt-3.5-turbo.
temperatura Opcional. Obtém ou define a temperatura de amostragem a ser usada, como uma cadeia de caracteres entre 0 e 2. Valores mais altos (0.8) tornam a saída mais aleatória, enquanto valores mais baixos como (0.2) tornam a saída mais focada e determinística. Você deve usar um Temperature ou TopP, mas não ambos.
top_p Opcional. Obtém ou define uma alternativa à amostragem com temperatura, chamada amostragem de núcleo, como uma cadeia de caracteres. Neste método de amostragem, o modelo considera os resultados dos tokens com top_p massa de probabilidade. Portanto, 0.1 significa que somente os tokens que compõem os 10 principais% massa de probabilidade são considerados. Você deve usar um Temperature ou TopP, mas não ambos.
max_tokens Opcional. Obtém ou define o número máximo de tokens a serem gerados na conclusão, como uma cadeia de caracteres com um padrão de 100. A contagem de tokens do prompt mais max_tokens não pode exceder o tamanho do contexto do modelo. A maioria dos modelos tem um comprimento de contexto de 2.048 tokens (exceto os modelos mais novos, que dão suporte a 4.096).
is_reasoning _model Opcional. Obtém ou define um valor que indica se o modelo de conclusão do chat é um modelo de raciocínio. Essa opção é experimental e associada ao modelo de raciocínio até que todos os modelos tenham paridade nas propriedades esperadas, com um valor padrão de false.

Configuração

A associação dá suporte a essas propriedades de configuração definidas no arquivo function.json.

Propriedade Descrição
tipo Deve ser PostUserQuery.
direção Deve ser out.
nome O nome da associação de saída.
id A ID do assistente a ser atualizada.
userMessage Obtém ou define a mensagem do usuário para o modelo de conclusão de chat, codificado como uma cadeia de caracteres.
aiConnectionName Opcional. Obtém ou define o nome da seção de configuração para as configurações de conectividade do serviço de IA. Para o Azure OpenAI: se especificado, procura valores de "Ponto de Extremidade" e "Chave" nesta seção de configuração. Se não for especificado ou a seção não existir, retornará às variáveis de ambiente: AZURE_OPENAI_ENDPOINT e AZURE_OPENAI_KEY. Para autenticação de identidade gerenciada atribuída pelo usuário, essa propriedade é necessária. Para o serviço OpenAI (não Azure), defina a variável de ambiente OPENAI_API_KEY.
chatModel Obtém ou define a ID do modelo a ser usada como uma cadeia de caracteres, com um valor padrão de gpt-3.5-turbo.
temperatura Opcional. Obtém ou define a temperatura de amostragem a ser usada, como uma cadeia de caracteres entre 0 e 2. Valores mais altos (0.8) tornam a saída mais aleatória, enquanto valores mais baixos como (0.2) tornam a saída mais focada e determinística. Você deve usar um Temperature ou TopP, mas não ambos.
topP Opcional. Obtém ou define uma alternativa à amostragem com temperatura, chamada amostragem de núcleo, como uma cadeia de caracteres. Neste método de amostragem, o modelo considera os resultados dos tokens com top_p massa de probabilidade. Portanto, 0.1 significa que somente os tokens que compõem os 10 principais% massa de probabilidade são considerados. Você deve usar um Temperature ou TopP, mas não ambos.
maxTokens Opcional. Obtém ou define o número máximo de tokens a serem gerados na conclusão, como uma cadeia de caracteres com um padrão de 100. A contagem de tokens do prompt mais max_tokens não pode exceder o tamanho do contexto do modelo. A maioria dos modelos tem um comprimento de contexto de 2.048 tokens (exceto os modelos mais novos, que dão suporte a 4.096).
isReasoningModel Opcional. Obtém ou define um valor que indica se o modelo de conclusão do chat é um modelo de raciocínio. Essa opção é experimental e associada ao modelo de raciocínio até que todos os modelos tenham paridade nas propriedades esperadas, com um valor padrão de false.

Configuração

A associação dá suporte a estas propriedades, que são definidas no código:

Propriedade Descrição
id A ID do assistente a ser atualizada.
userMessage Obtém ou define a mensagem do usuário para o modelo de conclusão de chat, codificado como uma cadeia de caracteres.
aiConnectionName Opcional. Obtém ou define o nome da seção de configuração para as configurações de conectividade do serviço de IA. Para o Azure OpenAI: se especificado, procura valores de "Ponto de Extremidade" e "Chave" nesta seção de configuração. Se não for especificado ou a seção não existir, retornará às variáveis de ambiente: AZURE_OPENAI_ENDPOINT e AZURE_OPENAI_KEY. Para autenticação de identidade gerenciada atribuída pelo usuário, essa propriedade é necessária. Para o serviço OpenAI (não Azure), defina a variável de ambiente OPENAI_API_KEY.
chatModel Obtém ou define a ID do modelo a ser usada como uma cadeia de caracteres, com um valor padrão de gpt-3.5-turbo.
temperatura Opcional. Obtém ou define a temperatura de amostragem a ser usada, como uma cadeia de caracteres entre 0 e 2. Valores mais altos (0.8) tornam a saída mais aleatória, enquanto valores mais baixos como (0.2) tornam a saída mais focada e determinística. Você deve usar um Temperature ou TopP, mas não ambos.
topP Opcional. Obtém ou define uma alternativa à amostragem com temperatura, chamada amostragem de núcleo, como uma cadeia de caracteres. Neste método de amostragem, o modelo considera os resultados dos tokens com top_p massa de probabilidade. Portanto, 0.1 significa que somente os tokens que compõem os 10 principais% massa de probabilidade são considerados. Você deve usar um Temperature ou TopP, mas não ambos.
maxTokens Opcional. Obtém ou define o número máximo de tokens a serem gerados na conclusão, como uma cadeia de caracteres com um padrão de 100. A contagem de tokens do prompt mais max_tokens não pode exceder o tamanho do contexto do modelo. A maioria dos modelos tem um comprimento de contexto de 2.048 tokens (exceto os modelos mais novos, que dão suporte a 4.096).
isReasoningModel Opcional. Obtém ou define um valor que indica se o modelo de conclusão do chat é um modelo de raciocínio. Essa opção é experimental e associada ao modelo de raciocínio até que todos os modelos tenham paridade nas propriedades esperadas, com um valor padrão de false.

Uso

Consulte a Seção de exemplo para obter exemplos completos.

Conteúdo relacionado

  • Last updated on