microsoftml.n_gram: Преобразует текст в признаки с помощью n-грамм

Usage

microsoftml.n_gram(ngram_length: numbers.Real = 1,
    skip_length: numbers.Real = 0, all_lengths: bool = True,
    max_num_terms: list = [10000000], weighting: str = 'Tf')

Description

Извлекает NGram из текста и конвертирует их в вектор с помощью словаря.

Arguments

ngram_length

Длина Ngram (настройки).

skip_length

Максимальное количество токенов, которые нужно пропустить при построении ngram (настройки).

all_lengths

Включать ли все длины ngram до NgramLength или только NgramLength (настройки).

max_num_terms

Максимальное количество нграмм для хранения в словаре (настройки).

Взвешивания

Критерии веса (настройки).

Связанные материалы

  • Last updated on