microsoftml.n_gram_hash: Преобразует текст в признаки с помощью хешированных n-грамм

Usage

microsoftml.n_gram_hash(hash_bits: numbers.Real = 16,
    ngram_length: numbers.Real = 1, skip_length: numbers.Real = 0,
    all_lengths: bool = True, seed: numbers.Real = 314489979,
    ordered: bool = True, invert_hash: numbers.Real = 0)

Description

Извлекает NGram из текста и конвертирует их в вектор с помощью хеширования.

Arguments

hash_bits

Количество битов для хэша. Должно быть от 1 до 30 включительно. (настройки).

ngram_length

Длина Ngram (настройки).

skip_length

Максимальное количество токенов, которые нужно пропустить при построении ngram (настройки).

all_lengths

Включать ли все длины ngram до ngramLength или только ngramLength (настройки).

seed

Хеширование seed (настройки).

упорядоченного

Следует ли включать позицию каждого исходного столбца в хэш (при наличии нескольких исходных столбцов). (настройки).

invert_hash

Ограничьте количество клавиш, используемых для генерации имени слота, до такого количества. 0 означает отсутствие инвертного хеша, -1 значит отсутствие лимита. (настройки).

Связанные материалы

  • Last updated on