PySpark ile ai.embed kullanma

İşlev, ai.embed metni vektör eklemelerine dönüştürmek için üretken yapay zeka kullanır. Bu vektörler, yapay zekanın metinler arasındaki ilişkileri anlamasını sağlar; böylece içeriği tam ifade yerine anlam temelinde arayabilir, gruplandırabilir ve karşılaştırabilirsiniz. Tek bir kod satırıyla, DataFrame'deki bir sütundan vektör eklemeleri oluşturabilirsiniz.

Uyarı

• Bu makalede PySpark ile ai.embed kullanımı yer almaktadır. pandas ile ai.embed kullanmak için bu makaleye bakın.
• Bu genel bakış makalesinde diğer yapay zeka işlevlerine bakın.
• Yapay zeka işlevlerinin yapılandırmasını özelleştirmeyi öğrenin.

Genel Bakış

ai.embed İşlev, Spark DataFrames için kullanılabilir. Var olan bir giriş sütununun adını parametre olarak belirtmeniz gerekir.

İşlev, çıkış sütunundaki her giriş metni satırı için eklemeler içeren yeni bir DataFrame döndürür.

Sözdizimi

df.ai.embed(input_col="col1", output_col="embed")

Parametreler

İsim	Description
input_col Gerekli	Mevcut bir sütunun adını içeren, yerleştirme hesaplamaları için kullanılacak giriş metni değerlerini taşıyan bir dize.
output_col Opsiyonel	Her giriş metin satırı için hesaplanan eklemeleri depolamak için yeni bir sütunun adını içeren dize. Bu parametreyi ayarlamazsanız, çıkış sütunu için varsayılan bir ad oluşturur.
error_col Opsiyonel	Her giriş metin satırının işlenmesinden kaynaklanan OpenAI hatalarını depolayan yeni bir sütunun adını içeren bir dizesi. Bu parametreyi ayarlamazsanız hata sütunu için varsayılan bir ad oluşturur. Giriş satırında hata yoksa, bu sütunda null değeri vardır.

İade

İşlev, her giriş metin satırı için oluşturulan eklemeleri içeren yeni bir sütun içeren bir Spark DataFrame döndürür. Eklemeler [pyspark.ml.linalg.DenseVector]) türündedirhttps://spark.apache.org/docs/latest/api/python/reference/api/pyspark.ml.linalg.DenseVector.html#densevector). DenseVector'daki öğelerin sayısı, ekleme modelinin yapay zeka işlevlerinde yapılandırılabilen boyutlarına bağlıdır

Example

# This code uses AI. Always review output for mistakes. 
# Read terms: https://azure.microsoft.com/support/legal/preview-supplemental-terms/.

df = spark.createDataFrame([
        ("This duvet, lovingly hand-crafted from all-natural fabric, is perfect for a good night's sleep.",), 
        ("Tired of friends judging your baking? With these handy-dandy measuring cups, you'll create culinary delights.",), 
        ("Enjoy this *BRAND NEW CAR!* A compact SUV perfect for the professional commuter!",) 
    ], ["descriptions"])

embed = df.ai.embed(input_col="descriptions", output_col="embed")
display(embed)

Bu örnek kod hücresi aşağıdaki çıkışı sağlar:

İlgili içerik

• pandas ile ai.embed kullanın.

• ai.analyze_sentiment ile duygu tespiti yapın.

• Metni ai.classify ile kategorilere ayırın.

• ai_extract ile varlıkları ayıklayın.

• dil bilgisini ai.fix_grammar ile düzeltin.

• ai.generate_response ile özel kullanıcı istemlerini yanıtlayın.

• ai.similarity ile benzerliği hesaplayın.

• Metni ai.summarize ile özetleme.

• Metni ai.translate ile çevirin.

• Yapay zeka işlevlerinin tamamı hakkında daha fazla bilgi edinin.

• Yapay zeka işlevlerinin yapılandırmasını özelleştirin.

• İhtiyacınız olan bir özelliği kaçırdık mı? Fabric Fikirleri forumu'nda önerin.