Köztes adatok vizsgálata a feldolgozás során
Megtudhatja, hogyan vizsgálhatja meg a köztes adatokat a ML.NET betöltési, feldolgozási és modellbetanítási lépései során. A köztes adatok a gépi tanulási folyamat egyes szakaszainak kimenetei.
Az alábbihoz hasonló köztes adatok, amelyeket betöltenek egy IDataView
rendszerbe, különböző módokon vizsgálhatók ML.NET.
HousingData[] housingData = new HousingData[]
{
new HousingData
{
Size = 600f,
HistoricalPrices = new float[] { 100000f ,125000f ,122000f },
CurrentPrice = 170000f
},
new HousingData
{
Size = 1000f,
HistoricalPrices = new float[] { 200000f, 250000f, 230000f },
CurrentPrice = 225000f
},
new HousingData
{
Size = 1000f,
HistoricalPrices = new float[] { 126000f, 130000f, 200000f },
CurrentPrice = 195000f
},
new HousingData
{
Size = 850f,
HistoricalPrices = new float[] { 150000f,175000f,210000f },
CurrentPrice = 205000f
},
new HousingData
{
Size = 900f,
HistoricalPrices = new float[] { 155000f, 190000f, 220000f },
CurrentPrice = 210000f
},
new HousingData
{
Size = 550f,
HistoricalPrices = new float[] { 99000f, 98000f, 130000f },
CurrentPrice = 180000f
}
};
IDataView átalakítása IEnumerable-vé
Az egyik leggyorsabb módja annak, hogy vizsgálja meg az egyik IDataView
, hogy átalakítsa azt egy IEnumerable
. A metódus használatára CreateEnumerable
való IEnumerable
konvertáláshozIDataView
.
A teljesítmény optimalizálásához állítsa be a következőt reuseRowObject
true
: . Ezzel lustán feltölti ugyanazt az objektumot a kiértékelendő aktuális sor adataival, nem pedig új objektumot hoz létre az adathalmaz minden egyes sorához.
// Create an IEnumerable of HousingData objects from IDataView
IEnumerable<HousingData> housingDataEnumerable =
mlContext.Data.CreateEnumerable<HousingData>(data, reuseRowObject: true);
// Iterate over each row
foreach (HousingData row in housingDataEnumerable)
{
// Do something (print out Size property) with current Housing Data object being evaluated
Console.WriteLine(row.Size);
}
Adott indexek elérése az IEnumerable használatával
Ha csak az adatok vagy adott indexek egy részére van szüksége, használja CreateEnumerable
és állítsa be a reuseRowObject
paraméter értékét úgy, hogy false
az adathalmaz minden egyes kért sorához létrejön egy új objektum. Ezután konvertálja a IEnumerable
tömböt vagy listát.
Figyelmeztetés
Ha tömbre vagy listára konvertálja az eredményt CreateEnumerable
, az összes kért IDataView
sort betölti a memóriába, ami hatással lehet a teljesítményre.
A gyűjtemény létrehozása után műveleteket hajthat végre az adatokon. Az alábbi kódrészlet az adathalmaz első három sorát veszi figyelembe, és kiszámítja az átlagos aktuális árat.
// Create an Array of HousingData objects from IDataView
HousingData[] housingDataArray =
mlContext.Data.CreateEnumerable<HousingData>(data, reuseRowObject: false)
.Take(3)
.ToArray();
// Calculate Average CurrentPrice of First Three Elements
HousingData firstRow = housingDataArray[0];
HousingData secondRow = housingDataArray[1];
HousingData thirdRow = housingDataArray[2];
float averageCurrentPrice = (firstRow.CurrentPrice + secondRow.CurrentPrice + thirdRow.CurrentPrice) / 3;
Értékek vizsgálata egyetlen oszlopban
A modellkészítési folyamat bármely pontján egy oszlop értékei IDataView
elérhetők a GetColumn
módszerrel. A GetColumn
metódus egy oszlopban lévő összes értéket visszaadja .IEnumerable
IEnumerable<float> sizeColumn = data.GetColumn<float>("Size").ToList();
Az IDataView értékeinek vizsgálata egyszerre egy sorban
IDataView
lazily kiértékelésre kerül. Ha a dokumentum előző szakaszaiban bemutatottak szerint nem szeretne áttérni IEnumerable
egy sorraIDataView
, hozzon létre egy DataViewRowCursor
metódustGetRowCursor
, és adja át paraméterként a DataViewSchemaIDataView
paraméterét. Ezután a sorok közötti iteráláshoz használja a MoveNext
kurzormetódust ValueGetter
és a meghatalmazottakat a megfelelő értékek kinyeréséhez az egyes oszlopokból.
Fontos
Teljesítmény szempontjából a ML.NET vektorok natív gyűjteménytípusok (azaz Vector
,float[]
) helyett használhatókVBuffer
.
// Get DataViewSchema of IDataView
DataViewSchema columns = data.Schema;
// Create DataViewCursor
using (DataViewRowCursor cursor = data.GetRowCursor(columns))
{
// Define variables where extracted values will be stored to
float size = default;
VBuffer<float> historicalPrices = default;
float currentPrice = default;
// Define delegates for extracting values from columns
ValueGetter<float> sizeDelegate = cursor.GetGetter<float>(columns[0]);
ValueGetter<VBuffer<float>> historicalPriceDelegate = cursor.GetGetter<VBuffer<float>>(columns[1]);
ValueGetter<float> currentPriceDelegate = cursor.GetGetter<float>(columns[2]);
// Iterate over each row
while (cursor.MoveNext())
{
//Get values from respective columns
sizeDelegate.Invoke(ref size);
historicalPriceDelegate.Invoke(ref historicalPrices);
currentPriceDelegate.Invoke(ref currentPrice);
}
}
Előzetes feldolgozás vagy betanítás előzetes eredménye az adatok egy részhalmazán
Figyelmeztetés
Ne használja Preview
az éles kódban, mert hibakeresésre szolgál, és csökkentheti a teljesítményt.
A modellkészítési folyamat kísérleti és iteratív. Az adatok előzetes feldolgozása vagy gépi tanulási modell betanítása után az adatok egy részhalmazára vonatkozó előnézet megtekintéséhez használja a Preview
visszaadott metódust DataDebuggerPreview
. Az eredmény egy olyan objektum ColumnView
és RowView
tulajdonság, amely egy adott oszlop vagy sor értékeit IEnumerable
tartalmazza. Adja meg, hogy hány sorra alkalmazza az átalakítást a maxRows
paraméterrel.
A vizsgálat IDataView
eredménye a következőhöz hasonló: