microsoftml.n_gram: A szöveget n-gramos funkciókká alakítja

Usage

microsoftml.n_gram(ngram_length: numbers.Real = 1,
    skip_length: numbers.Real = 0, all_lengths: bool = True,
    max_num_terms: list = [10000000], weighting: str = 'Tf')

Description

Kihúzza az NGramokat a szövegből, és átalakítja őket vektorrá szótár segítségével.

Arguments

ngram_length

Ngram hossz (beállítás).

skip_length

Maximális számú kihagyandó token ngram (beállítások) felépítésekor.

all_lengths

Hogy az összes ngram hosszat NgramLengthig bevonjuk-e, vagy csak NgramLengthet (beállításokat).

max_num_terms

A szótárban tárolandó maximális ngramok száma (beállítások).

Súlyozás

A súlyozási kritériumok (beállítások).

Kapcsolódó tartalom

• microsoftml.n_gram_hash: A szöveget kivonatolt n-gramm
• microsoftml.featurize_text: A szöveges oszlopokat numerikus funkciókká alakítja