WordTokenizingEstimator Sınıf

Tanım

Ad Alanı:

Microsoft.ML.Transforms.Text

Bütünleştirilmiş Kod:

Microsoft.ML.Transforms.dll

Paket:

Microsoft.ML v3.0.1

Belirtilen sınırlayıcıları kullanarak giriş metnini belirteç haline döndürür.

public sealed class WordTokenizingEstimator : Microsoft.ML.Data.TrivialEstimator<Microsoft.ML.Transforms.Text.WordTokenizingTransformer>

type WordTokenizingEstimator = class
    inherit TrivialEstimator<WordTokenizingTransformer>

Public NotInheritable Class WordTokenizingEstimator
Inherits TrivialEstimator(Of WordTokenizingTransformer)

Devralma

Object

TrivialEstimator<WordTokenizingTransformer>

WordTokenizingEstimator

Açıklamalar

Tahmin Aracı Özellikleri

Bu tahmin aracının parametrelerini eğitmek için verilere bakması gerekiyor mu?	No
Giriş sütunu veri türü	Metin Skaler veya Vektör
Çıkış sütunu veri türü	Metin'in değişken boyutlu vektör
ONNX'e aktarılabilir	Yes

Sonuçta WordTokenizingTransformer , çıkış sütunu adı parametrelerinde belirtilen şekilde adlandırılan yeni bir sütun oluşturulur ve burada her giriş dizesi, giriş dizesi kullanıcı tanımlı sınırlayıcılara göre bölünerek elde edilen alt dizelerin bir vektörine eşlenir. Boşluk karakteri varsayılan sınırlayıcıdır.

Boş dizeler ve yalnızca boşluk içeren dizeler bırakılır.

Kullanım örneklerinin bağlantıları için Ayrıca Bkz. bölümüne bakın.

Yöntemler

Fit(IDataView)	Belirtilen sınırlayıcıları kullanarak giriş metnini belirteç haline döndürür. (Devralındığı yer: TrivialEstimator<TTransformer>)
GetOutputSchema(SchemaShape)	SchemaShape Transformatör tarafından üretilecek şemanın değerini döndürür. İşlem hattında şema yayma ve doğrulama için kullanılır.

Uzantı Metotları

AppendCacheCheckpoint<TTrans>(IEstimator<TTrans>, IHostEnvironment)

Tahmin zincirine 'önbelleğe alma denetim noktası' ekleme. Bu, aşağı akış tahmincilerinin önbelleğe alınan verilere karşı eğitilmesini sağlar. Birden çok veri geçiren eğitmenlerden önce bir önbelleğe alma kontrol noktası olması yararlıdır.

WithOnFitDelegate<TTransformer>(IEstimator<TTransformer>, Action<TTransformer>)

Tahmin aracı verildiğinde, bir temsilci çağrıldıktan sonra Fit(IDataView) çağıracak bir sarmalama nesnesi döndürün. Tahmin aracının neyin uygun olduğu hakkında bilgi döndürmesi genellikle önemlidir; bu nedenle Fit(IDataView) yöntem yalnızca genel ITransformerbir nesne yerine özel olarak yazılan bir nesne döndürür. Bununla birlikte, aynı zamanda, IEstimator<TTransformer> genellikle birçok nesne içeren işlem hatları halinde oluşturulur, bu nedenle transformatörü almak istediğimiz tahmin aracının EstimatorChain<TLastTransformer> bu zincirde bir yere gömülü olduğu bir tahmin aracı zinciri oluşturmamız gerekebilir. Bu senaryo için, bu yöntem aracılığıyla sığdır çağrıldıktan sonra çağrılacak bir temsilci ekleyebiliriz.

Ayrıca bkz.

• TokenizeIntoWords(TransformsCatalog+TextTransforms, String, String, Char[])