Delen via

Aanbevelingssysteem met Azure Database for PostgreSQL - Flexibele server en Azure OpenAI

  • Artikel

VAN TOEPASSING OP: Azure Database for PostgreSQL - Flexibele server

In deze praktische zelfstudie leert u hoe u een aanbevolen toepassing bouwt met behulp van een flexibele Azure Database for PostgreSQL-server en Azure OpenAI-service. Aanbevelingen hebben toepassingen in verschillende domeinen: serviceproviders bieden vaak aanbevelingen voor producten en services die ze aanbieden op basis van de vorige geschiedenis en contextuele informatie die wordt verzameld van de klant en omgeving.

Er zijn verschillende manieren om aanbevelingssystemen te modelleren. In dit artikel wordt het eenvoudigste formulier verkend: aanbeveling gebaseerd op één product dat overeenkomt met bijvoorbeeld een eerdere aankoop. In deze zelfstudie wordt de gegevensset voor recepten gebruikt die wordt gebruikt in het Semantic Search-artikel . De aanbeveling is voor recepten op basis van een recept dat een klant leuk vindt of eerder heeft gezocht.

Vereisten

  1. Maak een Open AI-account en vraag toegang tot de Azure OpenAI-service aan.
  2. Ververleent toegang tot Azure OpenAI in het gewenste abonnement.
  3. Verken machtigingen om Azure OpenAI-resources te maken en modellen te implementeren.

Maak en implementeer een Azure OpenAI-serviceresource en een model, implementeer het insluitmodel text-embedding-ada-002. Kopieer de naam van de implementatie omdat deze nodig is om insluitingen te maken.

azure_ai De en pgvector extensies inschakelen

Voordat u uw flexibele serverexemplaren van Azure Database for PostgreSQL kunt inschakelen azure_ai en pgvector gebruiken, moet u deze toevoegen aan uw acceptatielijst, zoals beschreven in het gebruik van PostgreSQL-extensies en controleren of deze correct zijn toegevoegd door uit te voeren SHOW azure.extensions;.

Vervolgens kunt u de extensie installeren door verbinding te maken met uw doeldatabase en de opdracht CREATE EXTENSION uit te voeren. U moet de opdracht afzonderlijk herhalen voor elke database waarin u wilt dat de extensie beschikbaar is.

CREATE EXTENSION azure_ai;
CREATE EXTENSION pgvector;

OpenAI-eindpunt en -sleutel configureren

In de Azure AI-services onder Resourcebeheersleutels>en -eindpunten vindt u het eindpunt en de sleutels voor uw Azure AI-resource. Gebruik het eindpunt en een van de sleutels om de extensie in te schakelen azure_ai om de modelimplementatie aan te roepen.

select azure_ai.set_setting('azure_openai.endpoint','https://<endpoint>.openai.azure.com'); 
select azure_ai.set_setting('azure_openai.subscription_key', '<API Key>');

De gegevens downloaden en importeren

  1. Download de gegevens van Kaggle.
  2. Maak verbinding met uw server en maak een test database en maak hierin een tabel waarin u de gegevens gaat importeren.
  3. Importeer de gegevens.
  4. Voeg een insluitkolom toe aan de tabel.
  5. Genereer de insluitingen.
  6. Zoeken.

De tabel maken

CREATE TABLE public.recipes( 
    rid integer NOT NULL, 
    recipe_name text, 
    prep_time text, 
    cook_time text, 
    total_time text, 
    servings integer, 
    yield text, 
    ingredients text, 
    directions text, 
    rating real, 
    url text, 
    cuisine_path text, 
    nutrition text, 
    timing text, 
    img_src text,
    PRIMARY KEY (rid) 
);

De gegevens importeren

Stel de volgende omgevingsvariabele in het clientvenster in om codering in te stellen op utf-8. Deze stap is nodig omdat deze specifieke gegevensset gebruikmaakt van de WIN1252 codering.

Rem on Windows
Set PGCLIENTENCODING=utf-8;

# on Unix based operating systems
export PGCLIENTENCODING=utf-8

Importeer de gegevens in de gemaakte tabel; Houd er rekening mee dat deze gegevensset een veldnamenrij bevat:

psql -d <database> -h <host> -U <user> -c "\copy recipes FROM <local recipe data file> DELIMITER ',' CSV HEADER"

Een kolom toevoegen om de insluitingen op te slaan

ALTER TABLE recipes ADD COLUMN embedding vector(1536);

Insluitingen genereren

Genereer insluitingen voor uw gegevens met behulp van de azure_ai-extensie. In het volgende vectoriseren we enkele verschillende velden, samengevoegd:

WITH ro AS (
    SELECT ro.rid
    FROM
        recipes ro
    WHERE
        ro.embedding is null
        LIMIT 500
)
UPDATE
    recipes r
SET
    embedding = azure_openai.create_embeddings('text-embedding-ada-002', r.recipe_name||' '||r.cuisine_path||' '||r.ingredients||' '||r.nutrition||' '||r.directions)
FROM
    ro
WHERE
    r.rid = ro.rid;

Herhaal de opdracht totdat er geen rijen meer moeten worden verwerkt.

Tip

Speel rond met de LIMIT. Met een hoge waarde kan de instructie halverwege mislukken vanwege beperking die door Azure OpenAI wordt opgelegd. Als dit mislukt, wacht u minstens één minuut en voert u de opdracht opnieuw uit.

Maak voor het gemak een zoekfunctie in uw database:

create function
    recommend_recipe(sampleRecipeId int, numResults int) 
returns table(
            out_recipeName text,
            out_nutrition text,
            out_similarityScore real)
as $$  
declare
    queryEmbedding vector(1536); 
    sampleRecipeText text; 
begin 
    sampleRecipeText := (select 
                            recipe_name||' '||cuisine_path||' '||ingredients||' '||nutrition||' '||directions
                        from
                            recipes where rid = sampleRecipeId); 

    queryEmbedding := (azure_openai.create_embeddings('text-embedding-ada-002',sampleRecipeText));

    return query  
    select
        distinct r.recipe_name,
        r.nutrition,
        (r.embedding <=> queryEmbedding)::real as score  
    from
        recipes r  
    order by score asc limit numResults; -- cosine distance  
end $$
language plpgsql;

Roep nu de functie aan om te zoeken naar de aanbeveling:

select out_recipename, out_similarityscore from recommend_recipe(1, 20); -- search for 20 recipe recommendations that closest to recipeId 1

En verken de resultaten:

            out_recipename             | out_similarityscore
---------------------------------------+---------------------
 Apple Pie by Grandma Ople             |                   0
 Easy Apple Pie                        |          0.05137232
 Grandma's Iron Skillet Apple Pie      |         0.054287136
 Old Fashioned Apple Pie               |         0.058492836
 Apple Hand Pies                       |          0.06449003
 Apple Crumb Pie                       |          0.07290977
 Old-Fashioned Apple Dumplings         |         0.078374185
 Fried Apple Pies                      |          0.07918481
 Apple Pie Filling                     |         0.084320426
 Apple Turnovers                       |          0.08576391
 Dutch Apple Pie with Oatmeal Streusel |          0.08779895
 Apple Crisp - Perfect and Easy        |          0.09170883
 Delicious Cinnamon Baked Apples       |          0.09384012
 Easy Apple Crisp with Pie Filling     |          0.09477234
 Jump Rope Pie                         |          0.09503954
 Easy Apple Strudel                    |         0.095167875
 Apricot Pie                           |          0.09634114
 Easy Apple Crisp with Oat Topping     |          0.09708358
 Baked Apples                          |          0.09826993
 Pear Pie                              |         0.099974394
(20 rows)

Volgende stappen

U hebt geleerd hoe u semantische zoekopdrachten kunt uitvoeren met azure Database for PostgreSQL Flexibele server en Azure OpenAI.

Vector-insluitingen genereren met Azure OpenAI

Azure Database for PostgreSQL - Flexible Server integreren met Azure Cognitive Services

Meer informatie over vector-overeenkomsten zoeken met behulp van pgvector