Используйте ai.similarity с pandas

Функция ai.similarity использует генерированный ИИ для сравнения двух строковых выражений, а затем вычисления семантической оценки сходства. Он использует только одну строку кода. Текстовые значения из одного столбца кадра данных можно сравнить с одним общим текстовым значением или с парными текстовыми значениями в другом столбце.

Замечание

• В этой статье описывается использование ai.similarity с pandas. Сведения об использовании ai.similarity с PySpark см. в этой статье.
• См. другие функции ИИ в этой статье.
• Узнайте, как настроить конфигурацию функций ИИ.

Обзор

Функция ai.similarity расширяет класс серии pandas.

Чтобы вычислить семантику сходства каждой входной строки для одного общего текстового значения, вызовите функцию в текстовом столбце dataFrame pandas . Функция также может вычислить семантику подобия каждой строки для соответствующих парных значений в другом столбце с теми же измерениями, что и входной столбец.

Функция возвращает Series pandas, содержащую оценки сходства, которые могут храниться в новом столбце DataFrame.

Синтаксис

Сравнение с одним значением

df["similarity"] = df["col1"].ai.similarity("value")

Сравнение с парными значениями

df["similarity"] = df["col1"].ai.similarity(df["col2"])

Параметры

Имя	Description
other Обязательно	Строка, содержащая либо: — одно общее текстовое значение, которое используется для вычисления показателей сходства для каждой входной строки. - Другая Серия Pandas с такими же размерами, что и входные данные. Он содержит текстовые значения, используемые для вычисления парных показателей сходства для каждой входной строки.

Возвраты

Функция возвращает ряд pandas, содержащий оценки сходства для каждой входной текстовой строки. Оценки сходства выходных данных являются относительными, и они лучше всего используются для ранжирования. Значения оценки могут варьироваться от -1 (противоположных) до 1* (идентичных). Значение 0 показывает, что эти величины не имеют взаимного смысла.

Example

Сравнение с одним значением

# This code uses AI. Always review output for mistakes.

df = pd.DataFrame([ 
        ("Bill Gates"), 
        ("Satya Nadella"), 
        ("Joan of Arc")
    ], columns=["name"])
    
df["similarity"] = df["name"].ai.similarity("Microsoft")
display(df)

В этом примере ячейка кода предоставляет следующие выходные данные:

Сравнение с парными значениями

# This code uses AI. Always review output for mistakes.

df = pd.DataFrame([ 
        ("Bill Gates", "Technology"), 
        ("Satya Nadella", "Healthcare"), 
        ("Joan of Arc", "Agriculture") 
    ], columns=["names", "industries"])
    
df["similarity"] = df["names"].ai.similarity(df["industries"])
display(df)

В этом примере ячейка кода предоставляет следующие выходные данные:

Связанный контент

• Используйте ai.similarity с PySpark.

• Определение тональности используя ai.analyze_sentiment.

• Классифицируйте текст с помощью ai.classify.

• Создайте векторные представления с помощью ai.embed.

• Извлечение сущностей с ai_extract.

• Исправляйте грамматику с помощью ai.fix_grammar.

• Отвечайте на настраиваемые запросы пользователей с помощью ai.generate_response.

• Используйте ai.summarize для суммирования текста.

• Перевод текста с помощью ai.translate.

• Дополнительные сведения о полном наборе функций ИИ.

• Настройка конфигурации функций ИИ.

• Мы упустили какую-то функцию, которая вам нужна? Предложите это на форуме "Фабрика идей".