Avsnitt
Stordata, Multivariate, Fönsterbaserad funktionsteknik med Microsoft R Server
IoT-data kännetecknas av långa tidssignaler som registreras från flera sensorer samtidigt. Sådana sensorer används för att övervaka invecklade system och maskininlärning kan användas för att förstå komplexa mönster av sensordata (kallas funktioner) och deras koppling till händelser av intresse som fel eller onormala systembeteenden (förutsägelseetiketter).
På grund av inspelningar lång tidsperiod och den omfattande och komplexa karaktären hos IoT-information är den viktiga aspekt som måste samlas in för förutsägelse den multivarierade relationen mellan olika sensorer snarare än statistik för isolerade sensorer. Multivariate time windows based feature engineering är ett grundläggande steg för att skapa avancerade lösningar för förutsägande modellering för IoT-system, men är svårt att implementera i stordatafall med hjälp av standardradfokuserade Map/Reduce-verktyg som Hive.
Vi diskuterar här hur Microsoft R-servern (MRS) kan användas för att utföra flera sådana komplexa metoder för multivariatfunktioner för stordata genom att använda ett återanvändbart programvaruteknikmönster som exponerar innehållet i det aktuella fönstret för anpassad bearbetning och även tillåter kommunikation mellan olika datasegment efter behov.
Som ett exempel används detta flexibla ramverk för att förbearbeta signaler genom att använda fönsterbaserade operatorer för att extrahera en signalstatistik som lokal minima, maxima och quantiles, villkorad av amplituden för en andra binär signal. Sådana Windows-baserade funktioner med flera variattider ger en mer komplex vy av data än global univariate-statistik som beräknas med vanliga Hive-frågor. Det här allmänna bearbetningsmönstret för IoT-data kan utökas enkelt till flera kontinuerliga amplitudsignaler som är relevanta för enskilda specifika problem.
Den kod som används för att skapa det här experimentet kommer snart att vara tillgänglig på Github-lagringsplatsen.
IoT-data kännetecknas av långa tidssignaler som registreras från flera sensorer samtidigt. Sådana sensorer används för att övervaka invecklade system och maskininlärning kan användas för att förstå komplexa mönster av sensordata (kallas funktioner) och deras koppling till händelser av intresse som fel eller onormala systembeteenden (förutsägelseetiketter).
På grund av inspelningar lång tidsperiod och den omfattande och komplexa karaktären hos IoT-information är den viktiga aspekt som måste samlas in för förutsägelse den multivarierade relationen mellan olika sensorer snarare än statistik för isolerade sensorer. Multivariate time windows based feature engineering är ett grundläggande steg för att skapa avancerade lösningar för förutsägande modellering för IoT-system, men är svårt att implementera i stordatafall med hjälp av standardradfokuserade Map/Reduce-verktyg som Hive.
Vi diskuterar här hur Microsoft R-servern (MRS) kan användas för att utföra flera sådana komplexa metoder för multivariatfunktioner för stordata genom att använda ett återanvändbart programvaruteknikmönster som exponerar innehållet i det aktuella fönstret för anpassad bearbetning och även tillåter kommunikation mellan olika datasegment efter behov.
Som ett exempel används detta flexibla ramverk för att förbearbeta signaler genom att använda fönsterbaserade operatorer för att extrahera en signalstatistik som lokal minima, maxima och quantiles, villkorad av amplituden för en andra binär signal. Sådana Windows-baserade funktioner med flera variattider ger en mer komplex vy av data än global univariate-statistik som beräknas med vanliga Hive-frågor. Det här allmänna bearbetningsmönstret för IoT-data kan utökas enkelt till flera kontinuerliga amplitudsignaler som är relevanta för enskilda specifika problem.
Den kod som används för att skapa det här experimentet kommer snart att vara tillgänglig på Github-lagringsplatsen.
Har du feedback till oss? Skicka in ett problem här.