Insluitingen zijn de manier waarop LLM's semantische betekenis vastleggen. Ze zijn numerieke representaties van niet-numerieke gegevens die een LLM kan gebruiken om relaties tussen concepten te bepalen. U kunt insluitingen gebruiken om een AI-model te helpen de betekenis van invoer te begrijpen, zodat deze vergelijkingen en transformaties kan uitvoeren, zoals het samenvatten van tekst of het maken van afbeeldingen op basis van tekstbeschrijvingen. LLM's kunnen insluitingen onmiddellijk gebruiken en u kunt insluiten in vectordatabases opslaan om zo nodig semantisch geheugen te bieden voor LLM's.
Gebruiksvoorbeelden voor insluitingen
In deze sectie vindt u de belangrijkste use cases voor insluitingen.
Uw eigen gegevens gebruiken om de relevantie van voltooiing te verbeteren
Gebruik uw eigen databases om insluitingen voor uw gegevens te genereren en te integreren met een LLM om deze beschikbaar te maken voor voltooiingen. Dit gebruik van insluitingen is een belangrijk onderdeel van het ophalen van uitgebreide generatie.
De hoeveelheid tekst vergroten die u in een prompt kunt plaatsen
Gebruik insluitingen om de hoeveelheid context te vergroten die u in een prompt kunt plaatsen zonder het aantal vereiste tokens te verhogen.
Stel dat u 500 pagina's met tekst wilt opnemen in een prompt. Het aantal tokens voor zoveel onbewerkte tekst overschrijdt de limiet voor het invoertoken, waardoor het onmogelijk is om rechtstreeks in een prompt op te nemen. U kunt insluitingen gebruiken om grote hoeveelheden tekst samen te vatten en op te splitsen in stukken die klein genoeg zijn om in één invoer te passen en vervolgens de gelijkenis van elk stuk te beoordelen op de volledige onbewerkte tekst. Vervolgens kunt u een stuk kiezen dat de semantische betekenis van de onbewerkte tekst het beste behoudt en deze in uw prompt gebruiken zonder de tokenlimiet te bereiken.
Tekstclassificatie, samenvatting of vertaling uitvoeren
Gebruik insluitingen om een model te helpen de betekenis en context van tekst te begrijpen en die tekst vervolgens te classificeren, samen te vatten of te vertalen. U kunt bijvoorbeeld insluitingen gebruiken om modellen te helpen bij het classificeren van teksten als positief of negatief, spam of geen spam of nieuws of mening.
Audio genereren en transcriberen
Gebruik audio-insluitingen om audiobestanden of invoer in uw app te verwerken.
Tekst omzetten in afbeeldingen of afbeeldingen in tekst
Voor Semantische afbeeldingsverwerking zijn insluitingen van installatiekopieën vereist, die de meeste LLM's niet kunnen genereren. Gebruik een model voor het insluiten van afbeeldingen, zoals ViT , om vector-insluitingen voor afbeeldingen te maken. Vervolgens kunt u deze insluitingen gebruiken met een model voor het genereren van afbeeldingen om afbeeldingen te maken of te wijzigen met behulp van tekst of omgekeerd. U kunt bijvoorbeeld de DALL· E-model voor het genereren van afbeeldingen zoals logo's, gezichten, dieren en landschappen.
Code genereren of documenten
Gebruik insluitingen om een model te helpen code te maken op basis van tekst of omgekeerd door verschillende code- of tekstexpressies te converteren naar een gemeenschappelijke weergave. U kunt bijvoorbeeld insluitingen gebruiken om een model te genereren of documentcode te genereren in C# of Python.
Een insluitmodel kiezen
U genereert insluitingen voor uw onbewerkte gegevens met behulp van een AI-insluitmodel, waarmee niet-numerieke gegevens in een vector (een lange matrix met getallen) kunnen worden gecodeerd. Het model kan een insluiting ook decoderen in niet-numerieke gegevens die dezelfde of vergelijkbare betekenis hebben als de oorspronkelijke, onbewerkte gegevens. Er zijn veel insluitingsmodellen beschikbaar die u kunt gebruiken, omdat het model van text-embedding-ada-002 OpenAI een van de veelgebruikte modellen is die worden gebruikt. Zie de lijst met insluitmodellen die beschikbaar zijn in Azure OpenAI voor meer voorbeelden.
Insluitingen opslaan en verwerken in een vectordatabase
Nadat u insluitingen hebt gegenereerd, hebt u een manier nodig om ze op te slaan, zodat u ze later kunt ophalen met aanroepen naar een LLM. Vectordatabases zijn ontworpen voor het opslaan en verwerken van vectorvectoren, zodat ze een natuurlijke thuisbasis zijn voor insluitingen. Verschillende vectordatabases bieden verschillende verwerkingsmogelijkheden, dus u moet er een kiezen op basis van uw onbewerkte gegevens en uw doelstellingen. Zie de beschikbare vectordatabaseoplossingen voor meer informatie over uw opties.
Insluitingen gebruiken in uw LLM-oplossing
Wanneer u OP LLM gebaseerde toepassingen bouwt, kunt u Semantic Kernel gebruiken om insluitingsmodellen en vectorarchieven te integreren, zodat u snel tekstgegevens kunt ophalen en insluiten kunt genereren en opslaan. Hiermee kunt u een vectordatabaseoplossing gebruiken om semantische geheugens op te slaan en op te halen.
De bron voor deze inhoud vindt u op GitHub, waar u ook problemen en pull-aanvragen kunt maken en controleren. Bekijk onze gids voor inzenders voor meer informatie.
.NET-feedback
.NET is een open source project. Selecteer een koppeling om feedback te geven: