microsoftml.categorical: Převádí textový sloupec do kategorií

Usage

microsoftml.categorical(cols: [str, dict, list], output_kind: ['Bag', 'Ind',
    'Key', 'Bin'] = 'Ind', max_num_terms: int = 1000000,
    terms: int = None, sort: ['Occurrence', 'Value'] = 'Occurrence',
    text_key_values: bool = False, **kargs)

Description

Kategoriální transformace, kterou lze provést na datech před trénováním modelu.

Podrobnosti

Transformace categorical prochází datovou sadou, která pracuje s textovými sloupci, aby vytvořila slovník kategorií. Pro každý řádek je celý textový řetězec v vstupním sloupci definován jako kategorie. Výstupem kategorické transformace je indikační vektor. Každý slot v tomto vektoru odpovídá kategorii ve slovníku, takže jeho délka je velikost vytvořeného slovníku. Kategorická transformace může být aplikována na jeden nebo více sloupců, v takovém případě se pro každý sloupec, na který je aplikována, vytvoří samostatný slovník.

categorical v současnosti není podporován pro zpracování faktorových dat.

Arguments

Cols

Řetězec znaků nebo seznam názvů proměnných k transformaci. Pokud dict, klíče představují názvy nových proměnných, které mají být vytvořeny.

output_kind

Znakový řetězec, který určuje druh výstupního druhu.

  • "Bag": Výstup je vícemnožinový vektor. Pokud je vstupní sloupec vektorem kategorií, výstup obsahuje jeden vektor, kde hodnota v každém slotu je počet výskytů kategorie ve vstupním vektoru. Pokud vstupní sloupec obsahuje jedinou kategorii, indikátorový vektor a vektor pytle jsou ekvivalentní

  • "Ind": Výstup ukazuje indikátorový vektor. Vstupní sloupec je vektor kategorií a výstup obsahuje jeden indikátorový vektor na každý slot ve vstupním sloupci.

  • "Key": Výstup indexu. Výstupem je celočíselné ID (mezi 1 a počtem kategorií ve slovníku) kategorie.

  • "Bin": Výstup je vektor, který je binární reprezentací kategorie.

Výchozí hodnota je "Ind".

max_num_terms

Celé číslo, které určuje maximální počet kategorií, které mají být zahrnuty do slovníku. Výchozí hodnota je 1000000.

podmínky

Volitelný vektor znaků termínů nebo kategorií.

řadit

Znakový řetězec, který určuje kritéria třídění.

  • "Occurrence": Seřadit kategorie podle výskytů. Nejčastější je to první.

  • "Value": Seřadit kategorie podle hodnot.

text_key_values

Zda by metadata klíčová hodnota měla být textová, bez ohledu na skutečný typ vstupu.

kargs

Další argumenty odeslané do výpočetního modulu

Returns

Objekt definující transformaci.

Example

'''
Example on rx_logistic_regression and categorical.
'''
import numpy
import pandas
from microsoftml import rx_logistic_regression, categorical, rx_predict

train_reviews = pandas.DataFrame(data=dict(
    review=[
        "This is great", "I hate it", "Love it", "Do not like it", "Really like it",
        "I hate it", "I like it a lot", "I kind of hate it", "I do like it",
        "I really hate it", "It is very good", "I hate it a bunch", "I love it a bunch",
        "I hate it", "I like it very much", "I hate it very much.",
        "I really do love it", "I really do hate it", "Love it!", "Hate it!",
        "I love it", "I hate it", "I love it", "I hate it", "I love it"],
    like=[True, False, True, False, True, False, True, False, True, False,
        True, False, True, False, True, False, True, False, True, False, True,
        False, True, False, True]))
        
test_reviews = pandas.DataFrame(data=dict(
    review=[
        "This is great", "I hate it", "Love it", "Really like it", "I hate it",
        "I like it a lot", "I love it", "I do like it", "I really hate it", "I love it"]))

# Use a categorical transform: the entire string is treated as a category
out_model = rx_logistic_regression("like ~ reviewCat",
                data=train_reviews,
                ml_transforms=[categorical(cols=dict(reviewCat="review"))])
                
# Note that 'I hate it' and 'I love it' (the only strings appearing more than once)
# have non-zero weights.
print(out_model.coef_)

# Use the model to score.
source_out_df = rx_predict(out_model, data=test_reviews, extra_vars_to_write=["review"])
print(source_out_df.head())

Output:

Beginning processing data.
Rows Read: 25, Read Time: 0, Transform Time: 0
Beginning processing data.
Not adding a normalizer.
Beginning processing data.
Rows Read: 25, Read Time: 0, Transform Time: 0
Beginning processing data.
Beginning processing data.
Rows Read: 25, Read Time: 0, Transform Time: 0
Beginning processing data.
LBFGS multi-threading will attempt to load dataset into memory. In case of out-of-memory issues, turn off multi-threading by setting trainThreads to 1.
Warning: Too few instances to use 4 threads, decreasing to 1 thread(s)
Beginning optimization
num vars: 20
improvement criterion: Mean Improvement
L1 regularization selected 3 of 20 weights.
Not training a calibrator because it is not needed.
Elapsed time: 00:00:01.6550695
Elapsed time: 00:00:00.2259981
OrderedDict([('(Bias)', 0.21317288279533386), ('I hate it', -0.7937591671943665), ('I love it', 0.19668534398078918)])
Beginning processing data.
Rows Read: 10, Read Time: 0, Transform Time: 0
Beginning processing data.
Elapsed time: 00:00:00.1385248
Finished writing 10 rows.
Writing completed.
           review PredictedLabel     Score  Probability
0   This is great           True  0.213173     0.553092
1       I hate it          False -0.580586     0.358798
2         Love it           True  0.213173     0.553092
3  Really like it           True  0.213173     0.553092
4       I hate it          False -0.580586     0.358798

Související obsah

  • Last updated on