Mediare file CSV

Question

Buongiorno,

potreste aiutarmi a creare un codice che mi estrapoli, da un file CSV, in automatico la media di un certo dato minuto per minuto?

Ho un file CSV scaricato da un generatore di corrente che mi dice la potenza usata ogni tot millisecondi. pertanto tra un minuto e l'altro ho un certo numero di valori dei quali a me servirebbe solo la media nell'arco del minuto. E' facile capire che parlando di millisecondi la sola estrapolazione di questi dati nell'arco di 12 ore mi ha già riempito tutte le righe disponibili nel foglio excel.

Vorrei diminuire questo range in modo da poter inserire sullo stesso foglio per poi creare un grafico con le medie ricavate.

Spero di essere stato chiaro nella spiegazione e che si possa fare.

Allego una parte del file CSV per farmi capire meglio il mio problema.

Ovviamente a me interessa dividere la data dall'ora nella prima colonna e mediare solo il valore nella colonna 3.

La colonna 2,4 e 5 non mi interessano.

Saluti

Giuseppe

Project: CG00884_D90 Target:AU1 Version:A_0_43
Time	Milliseconds	AUT.au1.OSPMS.AANAL.P0744.Scaled_Value	Quality	BitMap
16/04/2019 00:00	269	3260	1	ff
16/04/2019 00:00	969	3250	1	ff
16/04/2019 00:00	669	3270	1	ff
16/04/2019 00:00	369	3270	1	ff
16/04/2019 00:00	68	3250	1	ff
16/04/2019 00:00	768	3260	1	ff
16/04/2019 00:00	468	3270	1	ff
16/04/2019 00:00	168	3260	1	ff
16/04/2019 00:00	868	3260	1	ff
16/04/2019 00:00	569	3270	1	ff
16/04/2019 00:00	268	3260	1	ff
16/04/2019 00:00	967	3290	1	ff
16/04/2019 00:00	667	3300	1	ff
16/04/2019 00:00	367	3310	1	ff
16/04/2019 00:00	68	3310	1	ff
16/04/2019 00:00	767	3320	1	ff
16/04/2019 00:00	467	3320	1	ff
16/04/2019 00:00	167	3320	1	ff
16/04/2019 00:00	867	3330	1	ff
16/04/2019 00:00	567	3320	1	ff
16/04/2019 00:00	266	3320	1	ff
16/04/2019 00:00	967	3310	1	ff
16/04/2019 00:00	666	3310	1	ff
16/04/2019 00:00	367	3320	1	ff
16/04/2019 00:00	67	3310	1	ff
16/04/2019 00:00	767	3300	1	ff
16/04/2019 00:00	467	3290	1	ff
16/04/2019 00:00	167	3280	1	ff
16/04/2019 00:00	867	3270	1	ff
16/04/2019 00:00	566	3280	1	ff
16/04/2019 00:00	266	3290	1	ff
16/04/2019 00:00	967	3310	1	ff
16/04/2019 00:00	666	3320	1	ff
16/04/2019 00:00	366	3330	1	ff
16/04/2019 00:00	66	3310	1	ff
16/04/2019 00:00	766	3300	1	ff
16/04/2019 00:00	465	3290	1	ff
16/04/2019 00:00	166	3300	1	ff
16/04/2019 00:00	865	3310	1	ff
16/04/2019 00:00	565	3300	1	ff
16/04/2019 00:00	265	3320	1	ff
16/04/2019 00:00	965	3320	1	ff
16/04/2019 00:00	665	3330	1	ff
16/04/2019 00:00	365	3320	1	ff
16/04/2019 00:00	64	3310	1	ff
16/04/2019 00:00	765	3310	1	ff
16/04/2019 00:00	465	3310	1	ff
16/04/2019 00:00	165	3310	1	ff
16/04/2019 00:00	865	3300	1	ff
16/04/2019 00:00	565	3300	1	ff
16/04/2019 00:00	264	3310	1	ff
16/04/2019 00:00	964	3320	1	ff
16/04/2019 00:00	665	3320	1	ff
16/04/2019 00:00	365	3320	1	ff
16/04/2019 00:00	64	3330	1	ff
16/04/2019 00:00	765	3330	1	ff
16/04/2019 00:00	465	3320	1	ff
16/04/2019 00:00	165	3320	1	ff
16/04/2019 00:00	864	3310	1	ff
16/04/2019 00:00	564	3300	1	ff
16/04/2019 00:00	265	3300	1	ff
16/04/2019 00:00	964	3290	1	ff
16/04/2019 00:00	663	3290	1	ff
16/04/2019 00:00	363	3300	1	ff
16/04/2019 00:00	63	3320	1	ff
16/04/2019 00:00	763	3340	1	ff
16/04/2019 00:00	464	3370	1	ff
16/04/2019 00:00	163	3390	1	ff
16/04/2019 00:00	863	3390	1	ff
16/04/2019 00:00	563	3400	1	ff
16/04/2019 00:00	262	3400	1	ff
16/04/2019 00:00	963	3400	1	ff
16/04/2019 00:00	662	3390	1	ff
16/04/2019 00:00	363	3380	1	ff
16/04/2019 00:00	63	3380	1	ff
16/04/2019 00:00	762	3380	1	ff
16/04/2019 00:00	462	3370	1	ff
16/04/2019 00:00	162	3370	1	ff
16/04/2019 00:00	862	3370	1	ff
16/04/2019 00:00	562	3370	1	ff
16/04/2019 00:00	261	3370	1	ff
16/04/2019 00:00	962	3380	1	ff
16/04/2019 00:00	661	3360	1	ff
16/04/2019 00:00	361	3350	1	ff
16/04/2019 00:00	61	3340	1	ff
16/04/2019 00:00	761	3320	1	ff
16/04/2019 00:01	461	3300	1	ff
16/04/2019 00:01	161	3300	1	ff
16/04/2019 00:01	860	3290	1	ff
16/04/2019 00:01	561	3290	1	ff
16/04/2019 00:01	260	3280	1	ff
16/04/2019 00:01	961	3280	1	ff
16/04/2019 00:01	661	3270	1	ff
16/04/2019 00:01	361	3280	1	ff
16/04/2019 00:01	60	3280	1	ff
16/04/2019 00:01	761	3270	1	ff
16/04/2019 00:01	461	3280	1	ff
16/04/2019 00:01	161	3280	1	ff
16/04/2019 00:01	860	3270	1	ff
16/04/2019 00:01	560	3260	1	ff
16/04/2019 00:01	260	3270	1	ff
16/04/2019 00:01	960	3270	1	ff
16/04/2019 00:01	661	3270	1	ff
16/04/2019 00:01	361	3270	1	ff
16/04/2019 00:01	60	3250	1	ff
16/04/2019 00:01	761	3240	1	ff
16/04/2019 00:01	460	3240	1	ff
16/04/2019 00:01	160	3250	1	ff
16/04/2019 00:01	860	3250	1	ff
16/04/2019 00:01	560	3260	1	ff
16/04/2019 00:01	260	3250	1	ff
16/04/2019 00:01	962	3250	1	ff
16/04/2019 00:01	664	3260	1	ff
16/04/2019 00:01	364	3260	1	ff
16/04/2019 00:01	64	3280	1	ff
16/04/2019 00:01	763	3290	1	ff
16/04/2019 00:01	463	3310	1	ff
16/04/2019 00:01	164	3310	1	ff
16/04/2019 00:01	865	3310	1	ff
16/04/2019 00:01	563	3310	1	ff
16/04/2019 00:01	263	3310	1	ff
16/04/2019 00:01	963	3320	1	ff
16/04/2019 00:01	663	3330	1	ff
16/04/2019 00:01	363	3350	1	ff
16/04/2019 00:01	62	3380	1	ff
16/04/2019 00:01	762	3400	1	ff
16/04/2019 00:01	464	3410	1	ff
16/04/2019 00:01	162	3410	1	ff
16/04/2019 00:01	862	3410	1	ff
16/04/2019 00:01	563	3410	1	ff
16/04/2019 00:01	262	3400	1	ff
16/04/2019 00:01	963	3400	1	ff
16/04/2019 00:01	662	3400	1	ff
16/04/2019 00:01	361	3400	1	ff
16/04/2019 00:01	61	3420	1	ff
16/04/2019 00:01	762	3430	1	ff
16/04/2019 00:01	461	3460	1	ff
16/04/2019 00:01	161	3460	1	ff
16/04/2019 00:01	863	3450	1	ff
16/04/2019 00:01	561	3460	1	ff
16/04/2019 00:01	261	3460	1	ff
16/04/2019 00:01	962	3460	1	ff
16/04/2019 00:01	660	3450	1	ff
16/04/2019 00:01	360	3440	1	ff
16/04/2019 00:01	62	3430	1	ff
16/04/2019 00:01	760	3420	1	ff
16/04/2019 00:01	460	3410	1	ff
16/04/2019 00:01	160	3400	1	ff
16/04/2019 00:01	860	3400	1	ff
16/04/2019 00:01	560	3390	1	ff
16/04/2019 00:01	260	3400	1	ff
16/04/2019 00:01	959	3430	1	ff
16/04/2019 00:01	659	3430	1	ff
16/04/2019 00:01	361	3440	1	ff
16/04/2019 00:01	59	3440	1	ff
16/04/2019 00:01	759	3440	1	ff
16/04/2019 00:01	460	3430	1	ff
16/04/2019 00:01	160	3430	1	ff
16/04/2019 00:01	861	3420	1	ff
16/04/2019 00:01	560	3410	1	ff
16/04/2019 00:01	260	3410	1	ff
16/04/2019 00:01	960	3400	1	ff
16/04/2019 00:01	662	3390	1	ff
16/04/2019 00:01	360	3370	1	ff
16/04/2019 00:01	60	3360	1	ff
16/04/2019 00:01	760	3360	1	ff
16/04/2019 00:01	459	3360	1	ff
16/04/2019 00:01	159	3360	1	ff
16/04/2019 00:01	859	3360	1	ff
16/04/2019 00:01	559	3360	1	ff
16/04/2019 00:01	261	3350	1	ff
16/04/2019 00:01	959	3360	1	ff
16/04/2019 00:02	659	3370	1	ff
16/04/2019 00:02	359	3380	1	ff
16/04/2019 00:02	59	3400	1	ff
16/04/2019 00:02	759	3390	1	ff
16/04/2019 00:02	459	3400	1	ff
16/04/2019 00:02	158	3410	1	ff
16/04/2019 00:02	858	3430	1	ff
16/04/2019 00:02	558	3440	1	ff
16/04/2019 00:02	258	3450	1	ff
16/04/2019 00:02	958	3450	1	ff
16/04/2019 00:02	658	3450	1	ff
16/04/2019 00:02	358	3450	1	ff
16/04/2019 00:02	57	3440	1	ff
16/04/2019 00:02	758	3420	1	ff
16/04/2019 00:02	459	3400	1	ff
16/04/2019 00:02	158	3400	1	ff
16/04/2019 00:02	859	3390	1	ff
16/04/2019 00:02	558	3390	1	ff
16/04/2019 00:02	258	3370	1	ff
16/04/2019 00:02	958	3350	1	ff
16/04/2019 00:02	658	3340	1	ff
16/04/2019 00:02	358	3340	1	ff
16/04/2019 00:02	58	3340	1	ff
16/04/2019 00:02	758	3340	1	ff
16/04/2019 00:02	459	3340	1	ff
16/04/2019 00:02	159	3330	1	ff
16/04/2019 00:02	859	3320	1	ff
16/04/2019 00:02	559	3290	1	ff
16/04/2019 00:02	259	3280	1	ff
16/04/2019 00:02	960	3270	1	ff
16/04/2019 00:02	659	3260	1	ff
16/04/2019 00:02	359	3250	1	ff
16/04/2019 00:02	60	3260	1	ff
16/04/2019 00:02	759	3280	1	ff
16/04/2019 00:02	459	3290	1	ff
16/04/2019 00:02	159	3270	1	ff
16/04/2019 00:02	859	3260	1	ff
16/04/2019 00:02	559	3270	1	ff
16/04/2019 00:02	259	3290	1	ff
16/04/2019 00:02	958	3310	1	ff
16/04/2019 00:02	658	3310	1	ff
16/04/2019 00:02	359	3290	1	ff
16/04/2019 00:02	58	3300	1	ff
16/04/2019 00:02	758	3310	1	ff
16/04/2019 00:02	458	3290	1	ff
16/04/2019 00:02	158	3280	1	ff
16/04/2019 00:02	858	3280	1	ff
16/04/2019 00:02	558	3270	1	ff
16/04/2019 00:02	257	3270	1	ff
16/04/2019 00:02	958	3270	1	ff
16/04/2019 00:02	658	3260	1	ff
16/04/2019 00:02	357	3260	1	ff
16/04/2019 00:02	57	3280	1	ff
16/04/2019 00:02	757	3290	1	ff
16/04/2019 00:02	457	3310	1	ff
16/04/2019 00:02	157	3320	1	ff
16/04/2019 00:02	857	3320	1	ff
16/04/2019 00:02	557	3350	1	ff
16/04/2019 00:02	257	3350	1	ff
16/04/2019 00:02	956	3360	1	ff
16/04/2019 00:02	656	3360	1	ff
16/04/2019 00:02	356	3380	1	ff
16/04/2019 00:02	56	3370	1	ff
16/04/2019 00:02	756	3360	1	ff
16/04/2019 00:02	456	3350	1	ff
16/04/2019 00:02	156	3340	1	ff
16/04/2019 00:02	855	3330	1	ff
16/04/2019 00:02	556	3330	1	ff
16/04/2019 00:02	256	3320	1	ff
16/04/2019 00:02	955	3300	1	ff
16/04/2019 00:02	656	3300	1	ff
16/04/2019 00:02	355	3300	1	ff
16/04/2019 00:02	55	3300	1	ff
16/04/2019 00:02	755	3300	1	ff
16/04/2019 00:02	455	3300	1	ff
16/04/2019 00:02	155	3300	1	ff
16/04/2019 00:02	856	3300	1	ff
16/04/2019 00:02	555	3300	1	ff
16/04/2019 00:02	254	3290	1	ff
16/04/2019 00:02	954	3280	1	ff
16/04/2019 00:02	654	3280	1	ff
16/04/2019 00:02	354	3310	1	ff
16/04/2019 00:02	54	3320	1	ff
16/04/2019 00:02	754	3330	1	ff
16/04/2019 00:02	454	3320	1	ff
16/04/2019 00:03	154	3300	1	ff
16/04/2019 00:03	854	3310	1	ff
16/04/2019 00:03	553	3310	1	ff
16/04/2019 00:03	253	3300	1	ff
16/04/2019 00:03	954	3280	1	ff
16/04/2019 00:03	653	3270	1	ff
16/04/2019 00:03	353	3270	1	ff
16/04/2019 00:03	54	3300	1	ff
16/04/2019 00:03	752	3310	1	ff
16/04/2019 00:03	453	3300	1	ff
16/04/2019 00:03	152	3290	1	ff
16/04/2019 00:03	852	3290	1	ff
16/04/2019 00:03	552	3280	1	ff
16/04/2019 00:03	252	3270	1	ff
16/04/2019 00:03	951	3270	1	ff
16/04/2019 00:03	653	3270	1	ff
16/04/2019 00:03	352	3270	1	ff
16/04/2019 00:03	52	3270	1	ff
16/04/2019 00:03	751	3270	1	ff
16/04/2019 00:03	452	3270	1	ff
16/04/2019 00:03	152	3270	1	ff
16/04/2019 00:03	852	3270	1	ff
16/04/2019 00:03	552	3280	1	ff
16/04/2019 00:03	251	3280	1	ff
16/04/2019 00:03	951	3290	1	ff
16/04/2019 00:03	651	3300	1	ff
16/04/2019 00:03	350	3320	1	ff
16/04/2019 00:03	51	3340	1	ff
16/04/2019 00:03	751	3350	1	ff
16/04/2019 00:03	451	3340	1	ff
16/04/2019 00:03	152	3340	1	ff
16/04/2019 00:03	851	3350	1	ff
16/04/2019 00:03	550	3350	1	ff
16/04/2019 00:03	251	3340	1	ff
16/04/2019 00:03	950	3330	1	ff
16/04/2019 00:03	651	3320	1	ff
16/04/2019 00:03	350	3310	1	ff
16/04/2019 00:03	51	3290	1	ff
16/04/2019 00:03	751	3280	1	ff
16/04/2019 00:03	451	3270	1	ff
16/04/2019 00:03	150	3280	1	ff
16/04/2019 00:03	850	3280	1	ff
16/04/2019 00:03	550	3270	1	ff
16/04/2019 00:03	250	3280	1	ff
16/04/2019 00:03	949	3310	1	ff
16/04/2019 00:03	651	3300	1	ff
16/04/2019 00:03	351	3290	1	ff
16/04/2019 00:03	50	3300	1	ff
16/04/2019 00:03	751	3320	1	ff
16/04/2019 00:03	450	3330	1	ff
16/04/2019 00:03	150	3330	1	ff
16/04/2019 00:03	850	3330	1	ff
16/04/2019 00:03	549	3330	1	ff
16/04/2019 00:03	249	3330	1	ff
16/04/2019 00:03	949	3340	1	ff
16/04/2019 00:03	649	3340	1	ff
16/04/2019 00:03	349	3360	1	ff
16/04/2019 00:03	50	3360	1	ff
16/04/2019 00:03	750	3350	1	ff
16/04/2019 00:03	448	3350	1	ff
16/04/2019 00:03	149	3350	1	ff
16/04/2019 00:03	849	3330	1	ff
16/04/2019 00:03	548	3330	1	ff
16/04/2019 00:03	249	3320	1	ff
16/04/2019 00:03	949	3320	1	ff
16/04/2019 00:03	650	3310	1	ff
16/04/2019 00:03	352	3320	1	ff
16/04/2019 00:03	51	3340	1	ff
16/04/2019 00:03	750	3350	1	ff
16/04/2019 00:03	451	3340	1	ff
16/04/2019 00:03	150	3340	1	ff
16/04/2019 00:03	850	3340	1	ff
16/04/2019 00:03	550	3350	1	ff
16/04/2019 00:03	250	3350	1	ff
16/04/2019 00:03	950	3340	1	ff
16/04/2019 00:03	650	3330	1	ff
16/04/2019 00:03	350	3330	1	ff
16/04/2019 00:03	49	3310	1	ff
16/04/2019 00:03	749	3320	1	ff
16/04/2019 00:03	449	3340	1	ff
16/04/2019 00:03	149	3340	1	ff
16/04/2019 00:03	850	3350	1	ff
16/04/2019 00:03	549	3360	1	ff
16/04/2019 00:03	248	3360	1	ff
16/04/2019 00:03	949	3370	1	ff
16/04/2019 00:03	648	3390	1	ff

Answer 1

Ciao Giuseppe,

prova a vedere se con questa nuova versione si ottiene la media giornaliera (mi pare di capire che ti interessi la media di tutte le rilevazioni in un giorno): File 2

Ho inserito una seconda Tabella dove, nel mio caso, vengono riportate le date del 12 e 13 aprile e il valore medio per data (somma di tutti i valori rilevati per quella data / numero rilevazioni in quella data).

Per quanto riguarda nascondere la colonna della tabella questo può essere fatto manualmente come per qualsiasi colonna di un foglio di lavoro.

Per fare in modo che nel grafico vengano visualizzati i dati (nell'asse delle x) basta che nella maschera dei dati di orgine del grafico si imposti che vengano utilizzati anche i dati di righe e colonne nascoste.

Answer 2

Ciao Casanmaner,

ti ho inviato solo 4 files cioè 2 giorni. Il 12/4 dalle 00:00 alle 12:00 e dalle 12:00 alle 23:59 e poi il giorno successivo completo.

I file inviati sono esattamente come vengono scaricati dal VMS (Vessel Management System).

Spero si possa creare un codice che mi faccia la media per un range di 5 minuti.

Alla fine dovrei avere una tabella tipo:

12-04-2019 00:05:00 Valore medio (tra 00:00:01 e 00:05:00)

12-04-2019 00:10:00 valore medio (tra 00:05:01 e 00:10:00)

Così facendo dovrei avere 144 valori per file avendo su un solo file 12 ore di dati esportati.

Magari se si riuscisse ad importare su un solo file la media di ogni 5 minuti di più files sarebbe il massimo, così non dovrei sviluppare foglio per foglio e poi importarli in un foglio generale ove risiederà un grafico.

Ma non ho proprio idea ne come fare ne tanto meno se si può fare una cosa del genere.

Attualmente ho scaricato una intera settimana di dati e quindi ho 14 files CSV da analizzare.

Grazie ed incrocio le dita

Ciao

Giuseppe

Answer 3

Ciao Giuseppe,

per caso i file sono frutto di una estrazione particolare?

Perché vedo che le date per ciascun secondo sono solo una o  due.

Ed i file arrivano a circa 60.000 righe.

Questo un estratto di un file:

13-04-2019 00:00:00,400,3810,1,ff

13-04-2019 00:00:01,099,3800,1,ff

13-04-2019 00:00:01,799,3780,1,ff

13-04-2019 00:00:02,499,3780,1,ff

13-04-2019 00:00:03,199,3780,1,ff

13-04-2019 00:00:03,899,3860,1,ff

13-04-2019 00:00:04,599,3870,1,ff

13-04-2019 00:00:05,299,3950,1,ff

13-04-2019 00:00:05,998,3970,1,ff

13-04-2019 00:00:06,698,3980,1,ff

13-04-2019 00:00:07,398,4040,1,ff

13-04-2019 00:00:08,098,4050,1,ff

13-04-2019 00:00:08,798,4060,1,ff

13-04-2019 00:00:09,498,4060,1,ff

13-04-2019 00:00:10,198,4050,1,ff

13-04-2019 00:00:10,898,4050,1,ff

13-04-2019 00:00:11,598,4040,1,ff

13-04-2019 00:00:12,298,4040,1,ff

13-04-2019 00:00:12,997,4060,1,ff

Answer 4

Ciao Casanmaner,

in effetti i dati da trattare sono tantissimi e sono sicuro che tu saprai come risolvermi il quesito dato che mi hai già varie volte tolto le castagne dal fuoco.

Ti allego il file CSV e ti dico in anticipo che per poterlo scaricare dal VMS, dato la mole di righe da trattare, siamo costretti ad esportare un range di 12 ore per volta. In definitiva ogni giorno è composto da due file CSV.

come detto all'inizio a me interesserebbe dividere l'ora dalla data ed il solo dato di potenza che si trova nella 3a colonna.

Gli altri dati non mi interessano.

a questo punto potrebbe anche bastare un valore medio in un intervallo temporale di 5 minuti così avrei ogni giorno 288 valori medi e riuscirei a gestire il grafico successivo con un range temporale maggiore.

Ecco il link ove ho caricato solo 2 giorni (4 files CSV).

Files CSV

Grazie e buona giornata

Giuseppe

Answer 5

Ciao Giuseppe,

consinderata la mole di righe forse sarebbe opportuno "lavorare" i dati prima di importarli nel foglio (considerato che mi pare di capire che stiamo parlando anche di 1.048.576 righe.

E anche così probabilmente l'elaborazione sarebbe lunga (non ho mai provato a trattare così tante righe a dire il vero).

Detto questo non è che potresti rendere disponibile un csv per vedere come sono riportati i dati per tentare una elaborazione a livello di "memoria" e solo poi inserimento dei dati "mediati" nel foglio?

Putroppo il buon Norman non si vede più molto e sono sicuro che lui troverebbe una soluzione efficace ed efficiente.

Io non sono altrettanto bravo ma se hai pazienza posso provarci :)