microsoftml.n_gram: Převádí text na rysy pomocí n-gramů

Usage

microsoftml.n_gram(ngram_length: numbers.Real = 1,
    skip_length: numbers.Real = 0, all_lengths: bool = True,
    max_num_terms: list = [10000000], weighting: str = 'Tf')

Description

Extrahuje NGramy z textu a převádí je do vektorové podoby pomocí slovníku.

Arguments

ngram_length

Délka Ngramů (nastavení).

skip_length

Maximální počet tokenů, které je třeba přeskočit při konstrukci ngramu (nastavení).

all_lengths

Zda zahrnout všechny ngramové délky až do NgramLength, nebo pouze NgramLength (nastavení).

max_num_terms

Maximální počet ngramů, které je třeba uložit do slovníku (nastavení).

vážení

Kritéria váhy (nastavení).

Související obsah

• microsoftml.n_gram_hash: Převede text na funkce pomocí hodnot hashovaných n-gramů
• microsoftml.featurize_text: Převede textové sloupce na číselné funkce