microsoftml.n_gram: Przekształca tekst w cechy za pomocą n-gramów

Usage

microsoftml.n_gram(ngram_length: numbers.Real = 1,
    skip_length: numbers.Real = 0, all_lengths: bool = True,
    max_num_terms: list = [10000000], weighting: str = 'Tf')

Description

Pobiera NGramy z tekstu i konwertuje je na wektor za pomocą słownika.

Arguments

ngram_length

Długość Ngram (ustawienia).

skip_length

Maksymalna liczba tokenów do pominięcia podczas konstruowania ngrama (ustawienia).

all_lengths

Czy uwzględnić wszystkie długości ngramów do NgramLength, czy tylko NgramLength (ustawienia).

max_num_terms

Maksymalna liczba ngramów do przechowywania w słowniku (ustawienia).

Ważenia

Kryteria ważenia (ustawienia).

Treści powiązane

• microsoftml.n_gram_hash: konwertuje tekst na funkcje przy użyciu skrótów n-gramów
• microsoftml.featurize_text: konwertuje kolumny tekstowe na funkcje liczbowe