将 ai.embed 与 pandas 配合使用

ai.embed 函数使用生成式 AI 将文本转换为矢量嵌入。 借助这些向量,AI 可以理解文本之间的关系,因此可以根据含义而不是确切的措辞来搜索、分组和比较内容。 使用单行代码,可以从数据帧中的列生成矢量嵌入。

注释

  • 本文介绍如何将 ai.embed 与 pandas 配合使用。 若要将 ai.embed 与 PySpark 配合使用,请参阅 本文
  • 请参阅 本概述文章中的其他 AI 函数。
  • 了解如何自定义 AI 函数的配置

概述

ai.embed 函数扩展了 pandas Series 类。

若要生成每个输入行的矢量嵌入,请对 pandas Seriespandas DataFrame 的文本列调用函数。

该函数返回包含嵌入的 pandas 系列,该嵌入可以存储在新的 DataFrame 列中。

Syntax

df["embed"] = df["col1"].ai.embed()

参数

没有。

退货

该函数返回一个pandas Series,其中包含每个输入文本行的嵌入向量,作为float-32的numpy数组。 数组中的元素数取决于嵌入模型的维度,这些维度 在 AI 函数中可配置

Example

# This code uses AI. Always review output for mistakes.

df = pd.DataFrame([
        "This duvet, lovingly hand-crafted from all-natural fabric, is perfect for a good night's sleep.",
        "Tired of friends judging your baking? With these handy-dandy measuring cups, you'll create culinary delights.",
        "Enjoy this *BRAND NEW CAR!* A compact SUV perfect for the professional commuter!"
    ], columns=["descriptions"])
    
df["embed"] = df["descriptions"].ai.embed()
display(df)

此示例代码单元提供以下输出:

数据帧的屏幕截图,列为“描述”和“embed”。“embed”列包含描述的嵌入。