TextFeaturizingEstimator Sınıf

Tanım

Ad Alanı:

Microsoft.ML.Transforms.Text

Bütünleştirilmiş Kod:

Microsoft.ML.Transforms.dll

Paket:

Microsoft.ML v3.0.1

Metin belgeleri koleksiyonunu sayısal özellik vektörlerine dönüştüren bir tahmin aracı. Özellik vektörleri normalleştirilmiş sözcük ve/veya karakter n-gram sayısıdır (sağlanan seçeneklere göre).

public sealed class TextFeaturizingEstimator : Microsoft.ML.IEstimator<Microsoft.ML.ITransformer>

type TextFeaturizingEstimator = class
    interface IEstimator<ITransformer>

Public NotInheritable Class TextFeaturizingEstimator
Implements IEstimator(Of ITransformer)

Devralma

Object

TextFeaturizingEstimator

Uygulamalar

IEstimator<ITransformer>

Açıklamalar

Tahmin Aracı Özellikleri

Bu tahmin aracının parametrelerini eğitmek için verilere bakması gerekiyor mu?	Evet.
Giriş sütunu veri türü	metin
Çıkış sütunu veri türü	Vektör Single
ONNX'e aktarılabilir	No

Bu tahmin aracı, kullanıcıya aşağıdakileri yapmak için tek noktadan çözüm sağlar:

• Dil Algılama
• Tokenization
• Metin normalleştirme
• Önceden tanımlanmış ve özel stopwords kaldırma
• [Word tabanlı veya karakter tabanlı Ngram ayıklama ve SkipGram ayıklama (gelişmiş seçenekler aracılığıyla)](https://en.wikipedia.org/wiki/N-gram)
• TF, IDF veya TF-IDF
• [L-p vektör normalleştirme] (xref: Microsoft.ML.Transforms.LpNormNormalizingTransformer)

Varsayılan olarak özellikler (sözcük/karakter) n-gram/skip-gram'lardan oluşur ve özellik sayısı, verileri analiz ederek bulunan sözlük boyutuna eşittir. Oluşturulan belirteçlerle ek bir sütun çıktısı almak için OutputTokensColumnName kullanın. Özellik sayısı, tahmin aracının daha fazla ayarlandığı içinde TextFeaturizingEstimator.Optionstutulacak n-gram üst sınırı seçilerek de belirtilebilir.

Kullanım örneklerinin bağlantıları için Ayrıca Bkz. bölümüne bakın.

Yöntemler

Fit(IDataView)	bir ITransformereğitip döndürür.
GetOutputSchema(SchemaShape)	SchemaShape Transformatör tarafından üretilecek şemanın değerini döndürür. İşlem hattında şema yayma ve doğrulama için kullanılır.

Uzantı Metotları

AppendCacheCheckpoint<TTrans>(IEstimator<TTrans>, IHostEnvironment)

Tahmin zincirine 'önbelleğe alma denetim noktası' ekleme. Bu, aşağı akış tahmincilerinin önbelleğe alınan verilere karşı eğitilmesini sağlar. Birden çok veri geçiren eğitmenlerden önce bir önbelleğe alma kontrol noktası olması yararlıdır.

WithOnFitDelegate<TTransformer>(IEstimator<TTransformer>, Action<TTransformer>)

Tahmin aracı verildiğinde, bir temsilci çağrıldıktan sonra Fit(IDataView) çağıracak bir sarmalama nesnesi döndürün. Tahmin aracının neyin uygun olduğu hakkında bilgi döndürmesi genellikle önemlidir; bu nedenle Fit(IDataView) yöntem yalnızca genel ITransformerbir nesne yerine özel olarak yazılan bir nesne döndürür. Bununla birlikte, aynı zamanda, IEstimator<TTransformer> genellikle birçok nesne içeren işlem hatları halinde oluşturulur, bu nedenle transformatörü almak istediğimiz tahmin aracının EstimatorChain<TLastTransformer> bu zincirde bir yere gömülü olduğu bir tahmin aracı zinciri oluşturmamız gerekebilir. Bu senaryo için, bu yöntem aracılığıyla sığdır çağrıldıktan sonra çağrılacak bir temsilci ekleyebiliriz.

Ayrıca bkz.

• FeaturizeText(TransformsCatalog+TextTransforms, String, String)
• FeaturizeText(TransformsCatalog+TextTransforms, String, TextFeaturizingEstimator+Options, String[])