Delen via

Chatvoltooiing

  • Artikel

Wanneer de chat is voltooid, kunt u een back-and-forth-gesprek simuleren met een AI-agent. Dit is natuurlijk handig voor het maken van chatbots, maar kan ook worden gebruikt voor het maken van autonome agents die bedrijfsprocessen kunnen voltooien, code kunnen genereren en meer. Als het primaire modeltype dat wordt geleverd door OpenAI, Google, Mistral, Facebook en anderen, is het voltooien van chats de meest voorkomende AI-service die u toevoegt aan uw Semantic Kernel-project.

Wanneer u een voltooiingsmodel voor chats kiest, moet u rekening houden met het volgende:

  • Welke modaliteiten ondersteunt het model (bijvoorbeeld tekst, afbeelding, audio, enzovoort)?
  • Biedt het ondersteuning voor het aanroepen van functies?
  • Hoe snel ontvangt en genereert het tokens?
  • Hoeveel kost elk token?

Belangrijk

Van alle bovenstaande vragen is het belangrijkst of het model functie-aanroepen ondersteunt. Als dit niet het geval is, kunt u het model niet gebruiken om uw bestaande code aan te roepen. De meeste van de nieuwste modellen van OpenAI, Google, Mistral en Amazon bieden allemaal ondersteuningsfuncties. Ondersteuning van kleine taalmodellen is echter nog steeds beperkt.

Uw lokale omgeving instellen

Sommige AI-services kunnen lokaal worden gehost en vereisen mogelijk enige instellingen. Hieronder ziet u instructies voor degenen die dit ondersteunen.

Geen lokale installatie.

De benodigde pakketten installeren

Voordat u chatvoltooiing aan uw kernel toevoegt, moet u de benodigde pakketten installeren. Hieronder vindt u de pakketten die u moet installeren voor elke AI-serviceprovider.

dotnet add package Microsoft.SemanticKernel.Connectors.AzureOpenAI

Services voor het voltooien van chats maken

Nu u de benodigde pakketten hebt geïnstalleerd, kunt u services voor chatvoltooiing maken. Hieronder vindt u de verschillende manieren waarop u services voor chatvoltooiing kunt maken met behulp van Semantische kernel.

Rechtstreeks toevoegen aan de kernel

Als u een chatvoltooiingsservice wilt toevoegen, kunt u de volgende code gebruiken om deze toe te voegen aan de interne serviceprovider van de kernel.

using Microsoft.SemanticKernel;

IKernelBuilder kernelBuilder = Kernel.CreateBuilder();
kernelBuilder.AddAzureOpenAIChatCompletion(
    deploymentName: "NAME_OF_YOUR_DEPLOYMENT",
    apiKey: "YOUR_API_KEY",
    endpoint: "YOUR_AZURE_ENDPOINT",
    modelId: "gpt-4", // Optional name of the underlying model if the deployment name doesn't match the model name
    serviceId: "YOUR_SERVICE_ID", // Optional; for targeting specific services within Semantic Kernel
    httpClient: new HttpClient() // Optional; if not provided, the HttpClient from the kernel will be used
);
Kernel kernel = kernelBuilder.Build();

Afhankelijkheidsinjectie gebruiken

Als u afhankelijkheidsinjectie gebruikt, wilt u waarschijnlijk uw AI-services rechtstreeks toevoegen aan de serviceprovider. Dit is handig als u singletons van uw AI-services wilt maken en deze opnieuw wilt gebruiken in tijdelijke kernels.

using Microsoft.SemanticKernel;

var builder = Host.CreateApplicationBuilder(args);

builder.Services.AddAzureOpenAIChatCompletion(
    deploymentName: "NAME_OF_YOUR_DEPLOYMENT",
    apiKey: "YOUR_API_KEY",
    endpoint: "YOUR_AZURE_ENDPOINT",
    modelId: "gpt-4", // Optional name of the underlying model if the deployment name doesn't match the model name
    serviceId: "YOUR_SERVICE_ID" // Optional; for targeting specific services within Semantic Kernel
);

builder.Services.AddTransient((serviceProvider)=> {
    return new Kernel(serviceProvider);
});

Zelfstandige exemplaren maken

Ten slotte kunt u exemplaren van de service rechtstreeks maken, zodat u ze later aan een kernel kunt toevoegen of ze rechtstreeks in uw code kunt gebruiken zonder ze ooit in de kernel of in een serviceprovider te injecteren.

using Microsoft.SemanticKernel.Connectors.AzureOpenAI;

AzureOpenAIChatCompletionService chatCompletionService = new (
    deploymentName: "NAME_OF_YOUR_DEPLOYMENT",
    apiKey: "YOUR_API_KEY",
    endpoint: "YOUR_AZURE_ENDPOINT",
    modelId: "gpt-4", // Optional name of the underlying model if the deployment name doesn't match the model name
    httpClient: new HttpClient() // Optional; if not provided, the HttpClient from the kernel will be used
);

Als u een chatvoltooiingsservice wilt maken, moet u de benodigde modules importeren en een exemplaar van de service maken. Hieronder ziet u de stappen voor het maken van een chatvoltooiingsservice voor elke AI-serviceprovider.

Tip

Er zijn drie methoden voor het leveren van de vereiste informatie aan AI-services. U kunt de informatie rechtstreeks via de constructor opgeven, de benodigde omgevingsvariabelen instellen of een .env-bestand maken in uw projectmap met de omgevingsvariabelen. U kunt deze pagina bezoeken om alle vereiste omgevingsvariabelen voor elke AI-serviceprovider te vinden: https://github.com/microsoft/semantic-kernel/blob/main/python/samples/concepts/setup/ALL_SETTINGS.md

from semantic_kernel.connectors.ai.open_ai import AzureChatCompletion

chat_completion_service = AzureChatCompletion(
    deployment_name="my-deployment",  
    api_key="my-api-key",
    endpoint="my-api-endpoint", # Used to point to your service
    service_id="my-service-id", # Optional; for targeting specific services within Semantic Kernel
)

# You can do the following if you have set the necessary environment variables or created a .env file
chat_completion_service = AzureChatCompletion(service_id="my-service-id")

Notitie

De AzureChatCompletion-service ondersteunt ook Microsoft Entra-verificatie. Als u geen API-sleutel opgeeft, probeert de service te verifiëren met behulp van het Entra-token.

U kunt de voltooiingsservice meteen gaan gebruiken of de chatvoltooiingsservice toevoegen aan een kernel. U kunt de volgende code gebruiken om een service toe te voegen aan de kernel.

from semantic_kernel import Kernel

# Initialize the kernel
kernel = Kernel()

# Add the chat completion service created above to the kernel
kernel.add_service(chat_completion_service)

U kunt exemplaren van de chatvoltooiingsservice rechtstreeks maken en deze toevoegen aan een kernel of ze rechtstreeks in uw code gebruiken zonder ze in de kernel te injecteren. De volgende code laat zien hoe u een chat-voltooiingsservice maakt en deze toevoegt aan de kernel.

import com.azure.ai.openai.OpenAIAsyncClient;
import com.azure.ai.openai.OpenAIClientBuilder;
import com.microsoft.semantickernel.Kernel;
import com.microsoft.semantickernel.services.chatcompletion.ChatCompletionService;

// Create the client
OpenAIAsyncClient client = new OpenAIClientBuilder()
    .credential(azureOpenAIClientCredentials)
    .endpoint(azureOpenAIClientEndpoint)
    .buildAsyncClient();

// Create the chat completion service
ChatCompletionService openAIChatCompletion = OpenAIChatCompletion.builder()
    .withOpenAIAsyncClient(client)
    .withModelId(modelId)
    .build();

// Initialize the kernel
Kernel kernel = Kernel.builder()
    .withAIService(ChatCompletionService.class, openAIChatCompletion)
    .build();

Services voor chatvoltooiing ophalen

Nadat u chatvoltooiingsservices aan uw kernel hebt toegevoegd, kunt u deze ophalen met behulp van de get-servicemethode. Hieronder ziet u een voorbeeld van hoe u een chatvoltooiingsservice van de kernel kunt ophalen.

var chatCompletionService = kernel.GetRequiredService<IChatCompletionService>();

from semantic_kernel.connectors.ai.chat_completion_client_base import ChatCompletionClientBase

# Retrieve the chat completion service by type
chat_completion_service = kernel.get_service(type=ChatCompletionClientBase)

# Retrieve the chat completion service by id
chat_completion_service = kernel.get_service(service_id="my-service-id")

# Retrieve the default inference settings
execution_settings = kernel.get_prompt_execution_settings_from_service_id("my-service-id")

ChatCompletionService chatCompletionService = kernel.getService(ChatCompletionService.class);

Fooi

Het toevoegen van de chatvoltooiingsservice aan de kernel is niet vereist als u geen andere services in de kernel hoeft te gebruiken. U kunt de chatvoltooiingsservice rechtstreeks in uw code gebruiken.

Services voor chatvoltooiing gebruiken

Nu u een chatvoltooiingsservice hebt, kunt u deze gebruiken om antwoorden te genereren van een AI-agent. Er zijn twee belangrijkste manieren om een chat-voltooiingsservice te gebruiken:

  • niet-streaming: u wacht totdat de service een volledig antwoord genereert, voordat u deze teruggeeft aan de gebruiker.
  • streaming: De afzonderlijke segmenten van het antwoord worden gegenereerd en aan de gebruiker geretourneerd zodra ze zijn gemaakt.

Voordat u aan de slag gaat, moet u handmatig een exemplaar van de uitvoeringsinstellingen maken om de voltooiingsservice voor chats te gebruiken als u de service niet bij de kernel hebt geregistreerd.

from semantic_kernel.connectors.ai.open_ai import OpenAIChatPromptExecutionSettings

execution_settings = OpenAIChatPromptExecutionSettings()

Tip

Als u wilt zien wat u kunt configureren in de uitvoeringsinstellingen, kunt u de klassedefinitie controleren in de broncode of de API-documentatie bekijken.

Hieronder vindt u de twee manieren waarop u een chat-voltooiingsservice kunt gebruiken om antwoorden te genereren.

Niet-streaming chatvoltooiing

Als u niet-streaming chatvoltooiing wilt gebruiken, kunt u de volgende code gebruiken om een antwoord van de AI-agent te genereren.

ChatHistory history = [];
history.AddUserMessage("Hello, how are you?");

var response = await chatCompletionService.GetChatMessageContentAsync(
    history,
    kernel: kernel
);

chat_history = ChatHistory()
chat_history.add_user_message("Hello, how are you?")

response = await chat_completion.get_chat_message_content(
    chat_history=history,
    settings=execution_settings,
)

ChatHistory history = new ChatHistory();
history.addUserMessage("Hello, how are you?");

InvocationContext optionalInvocationContext = null;

List<ChatMessageContent<?>> response = chatCompletionService.getChatMessageContentsAsync(
    history,
    kernel,
    optionalInvocationContext
);

Voltooiing van streamingchat

Als u streamingchatvoltooiing wilt gebruiken, kunt u de volgende code gebruiken om een antwoord te genereren van de AI-agent.

ChatHistory history = [];
history.AddUserMessage("Hello, how are you?");

var response = chatCompletionService.GetStreamingChatMessageContentsAsync(
    chatHistory: history,
    kernel: kernel
);

await foreach (var chunk in response)
{
    Console.Write(chunk);
}

chat_history = ChatHistory()
chat_history.add_user_message("Hello, how are you?")

response = chat_completion.get_streaming_chat_message_content(
    chat_history=history,
    settings=execution_settings,
)

async for chunk in response:
    print(chunk, end="")

Notitie

Semantische kernel voor Java biedt geen ondersteuning voor het streaming-antwoordmodel.

Volgende stappen

Nu u chatvoltooiingsservices hebt toegevoegd aan uw Semantic Kernel-project, kunt u beginnen met het maken van gesprekken met uw AI-agent. Raadpleeg de volgende artikelen voor meer informatie over het gebruik van een chatvoltooiingsservice:

Het chatgeschiedenisobject gebruiken

Functie aanroepen optimaliseren met chatvoltooiing