ai_extract

Wyodrębnia dane ustrukturyzowane z kolumny dokumentu przy użyciu sztucznej inteligencji/LLM.

Aby uzyskać odpowiednią funkcję SQL usługi Databricks, zobacz ai_extract funkcja.

Składnia

from pyspark.sql import functions as dbf

dbf.ai_extract(col=<col>, schema=<schema>, options=<options>)

Parameters

Parametr Typ Opis
col pyspark.sql.Column lub str Kolumna zawierająca zawartość dokumentu do wyodrębnienia.
schema dict lub list Dykt Python (nazwa pola na {"type": ..., "description": ...}) lub lista ciągów nazw pól. Serializowane do literału JSON automatycznie.
options dict, fakultatywny Słownik opcji kontrolowania zachowania wyodrębniania.

Returns

pyspark.sql.Column: nowa kolumna VariantType zawierająca wyodrębnione pola.

Examples

df.select(ai_extract("text", {"name": {"type": "string", "description": "Name"}}))
df.select(ai_extract("text", ["name", "age"]))
  • Last updated on