Tutorial: Uso de funciones de agregación
Las funciones de agregación permiten agrupar y combinar datos de varias filas en un valor de resumen. El valor de resumen depende de la función elegida, por ejemplo, un valor count, maximum o average.
En este tutorial, aprenderá a:
- Uso del operador summarize
- Visualización de los resultados de la consulta
- Recuento condicional de filas
- Agrupación de datos en contenedores
- Calcular el mínimo, máximo, promedio y suma
- Cálculo de porcentajes
- Extracción de valores únicos
- Datos de cubo por condición
- Realizar la agregación en una ventana deslizante
En los ejemplos de este tutorial se usa la StormEvents tabla , que está disponible públicamente en el clúster de ayuda. Para explorar con sus propios datos, cree su propio clúster gratuito.
Este tutorial se basa en la base del primer tutorial, Aprender operadores comunes.
Requisitos previos
- Una cuenta de Microsoft o Microsoft Entra identidad de usuario para iniciar sesión en el clúster de ayuda
Uso del operador summarize
El operador summarize es esencial para realizar agregaciones sobre los datos. El summarize operador agrupa filas basadas en la by cláusula y, a continuación, usa la función de agregación proporcionada para combinar cada grupo en una sola fila.
Busque el número de eventos por estado mediante summarize con la función de agregación count .
StormEvents
| summarize TotalStorms = count() by State
Salida
| State | TotalStorms |
|---|---|
| TEXAS | 4701 |
| KANSAS | 3166 |
| IOWA | 2337 |
| ILLINOIS | 2022 |
| MISURI | 2016 |
| ... | ... |
Visualización de los resultados de la consulta
La visualización de los resultados de la consulta en un gráfico o gráfico puede ayudarle a identificar patrones, tendencias y valores atípicos en los datos. Puede hacerlo con el operador render .
A lo largo del tutorial, verá ejemplos de cómo usar render para mostrar los resultados. Por ahora, vamos a usar render para ver los resultados de la consulta anterior en un gráfico de barras.
StormEvents
| summarize TotalStorms = count() by State
| render barchart
Recuento condicional de filas
Al analizar los datos, use countif() para contar filas en función de una condición específica para comprender cuántas filas cumplen los criterios especificados.
La consulta siguiente usa countif() para contar las tormentas que causaron daños. A continuación, la consulta usa el top operador para filtrar los resultados y mostrar los estados con la mayor cantidad de daños causados por tormentas.
StormEvents
| summarize StormsWithCropDamage = countif(DamageCrops > 0) by State
| top 5 by StormsWithCropDamage
Salida
| State | StormsWithCropDamage |
|---|---|
| IOWA | 359 |
| NEBRASKA | 201 |
| MISISIPÍ | 105 |
| CAROLINA DEL NORTE | 82 |
| MISURI | 78 |
Agrupación de datos en contenedores
Para agregar por valores numéricos o de hora, primero querrá agrupar los datos en intervalos mediante la función bin(). El uso bin() de puede ayudarle a comprender cómo se distribuyen los valores dentro de un intervalo determinado y realizar comparaciones entre distintos períodos.
En la consulta siguiente se cuenta el número de tormentas que causaron daños en el cultivo por cada semana en 2007. El 7d argumento representa una semana, ya que la función requiere un valor de intervalo de tiempo válido.
StormEvents
| where StartTime between (datetime(2007-01-01) .. datetime(2007-12-31))
and DamageCrops > 0
| summarize EventCount = count() by bin(StartTime, 7d)
Salida
| StartTime | EventCount |
|---|---|
| 2007-01-01T00:00:00Z | 16 |
| 2007-01-08T00:00:00Z | 20 |
| 2007-01-29T00:00:00Z | 8 |
| 2007-02-05T00:00:00Z | 1 |
| 2007-02-12T00:00:00Z | 3 |
| ... | ... |
Agregue | render timechart al final de la consulta para visualizar los resultados.
Nota
bin() es similar a la floor() función en otros lenguajes de programación. Reduce cada valor al múltiplo más cercano del módulo que se suministra y permite summarize asignar las filas a grupos.
Calcular el mínimo, máximo, promedio y suma
Para obtener más información sobre los tipos de tormentas que causan daños en el cultivo, calcule los daños de recorte min(),max() y avg() para cada tipo de evento y, a continuación, ordene el resultado por el daño medio.
Tenga en cuenta que puede usar varias funciones de agregación en un único summarize operador para generar varias columnas calculadas.
StormEvents
| where DamageCrops > 0
| summarize
MaxCropDamage=max(DamageCrops),
MinCropDamage=min(DamageCrops),
AvgCropDamage=avg(DamageCrops)
by EventType
| sort by AvgCropDamage
Salida
| EventType | MaxCropDamage | MinCropDamage | AvgCropDamage |
|---|---|---|---|
| Escarcha/congelación | 568600000 | 3000 | 9106087.5954198465 |
| Wildfire | 21000000 | 10000 | 7268333.333333333 |
| Sequía | 700000000 | 2000 | 6763977.8761061952 |
| Inundación | 500000000 | 1000 | 4844925.23364486 |
| Viento de tormenta | 22000000 | 100 | 920328.36538461538 |
| ... | ... | ... | ... |
Los resultados de la consulta anterior indican que los eventos Frost/Freeze provocaron el mayor daño de recorte en promedio. Sin embargo, la consulta bin() mostró que los eventos con daños en el cultivo tuvieron lugar principalmente en los meses de verano.
Utilice sum() para comprobar el número total de cultivos dañados en lugar de la cantidad de eventos que causaron algún daño, como se hizo con count() en la consulta bin() anterior.
StormEvents
| where StartTime between (datetime(2007-01-01) .. datetime(2007-12-31))
and DamageCrops > 0
| summarize CropDamage = sum(DamageCrops) by bin(StartTime, 7d)
| render timechart
Ahora puede ver un pico en los daños en el cultivo en enero, que probablemente se debió a Frost/Freeze.
Sugerencia
Use minif(), maxif(), avgif()y sumif() para realizar agregaciones condicionales, como hicimos cuando se encuentra en la sección recuento condicional de filas .
Cálculo de porcentajes
El cálculo de porcentajes puede ayudarle a comprender la distribución y la proporción de valores diferentes dentro de los datos. En esta sección se tratan dos métodos comunes para calcular porcentajes con el Lenguaje de consulta Kusto (KQL).
Cálculo del porcentaje basado en dos columnas
Use count() y countif para encontrar el porcentaje de eventos de tormenta que causaron daños en el cultivo en cada estado. En primer lugar, cuente el número total de tormentas en cada estado. A continuación, cuente el número de tormentas que causaron daños en el cultivo en cada estado.
A continuación, use extend para calcular el porcentaje entre las dos columnas dividiendo el número de tormentas con daño de cultivos por el número total de tormentas y multiplicando por 100.
Para asegurarse de obtener un resultado decimal, use la función todouble() para convertir al menos uno de los valores de recuento de enteros en un doble antes de realizar la división.
StormEvents
| summarize
TotalStormsInState = count(),
StormsWithCropDamage = countif(DamageCrops > 0)
by State
| extend PercentWithCropDamage =
round((todouble(StormsWithCropDamage) / TotalStormsInState * 100), 2)
| sort by StormsWithCropDamage
Salida
| State | TotalStormsInState | StormsWithCropDamage | PercentWithCropDamage |
|---|---|---|---|
| IOWA | 2337 | 359 | 15.36 |
| NEBRASKA | 1766 | 201 | 11.38 |
| MISISIPÍ | 1218 | 105 | 8,62 |
| CAROLINA DEL NORTE | 1721 | 82 | 4.76 |
| MISURI | 2016 | 78 | 3,87 |
| ... | ... | ... | ... |
Nota
Al calcular porcentajes, convierta al menos uno de los valores enteros de la división con todouble() o toreal(). Esto garantizará que no obtenga resultados truncados debido a la división de enteros. Para obtener más información, consulte Reglas de tipo para operaciones aritméticas.
Cálculo del porcentaje en función del tamaño de la tabla
Para comparar el número de tormentas por tipo de evento con el número total de tormentas de la base de datos, guarde primero el número total de tormentas en la base de datos como una variable. Las instrucciones Let se usan para definir variables dentro de una consulta.
Dado que las instrucciones de expresión tabular devuelven resultados tabulares, use la función toscalar() para convertir el resultado tabular de la count() función en un valor escalar. A continuación, el valor numérico se puede usar en el cálculo de porcentaje.
let TotalStorms = toscalar(StormEvents | summarize count());
StormEvents
| summarize EventCount = count() by EventType
| project EventType, EventCount, Percentage = todouble(EventCount) / TotalStorms * 100.0
Salida
| EventType | EventCount | Porcentaje |
|---|---|---|
| Viento de tormenta | 13015 | 22.034673077574237 |
| Granizo | 12711 | 21.519994582331627 |
| Riada | 3688 | 6.2438627975485055 |
| Sequía | 3616 | 6.1219652592015716 |
| Clima de invierno | 3349 | 5.669928554498358 |
| ... | ... | ... |
Extracción de valores únicos
Use make_set() para convertir una selección de filas de una tabla en una matriz de valores únicos.
La consulta siguiente usa make_set() para crear una matriz de los tipos de eventos que provocan muertes en cada estado. A continuación, la tabla resultante se ordena por el número de tipos de storm en cada matriz.
StormEvents
| where DeathsDirect > 0 or DeathsIndirect > 0
| summarize StormTypesWithDeaths = make_set(EventType) by State
| project State, StormTypesWithDeaths
| sort by array_length(StormTypesWithDeaths)
Salida
| State | StormTypesWithDeaths |
|---|---|
| CALIFORNIA | ["Viento de tormenta","Alta surf","Frío/Frío","Viento fuerte","Corriente de ripo","Calor","Calor excesivo","Fuego excesivo","Tormenta de polvo","Marea baja astronómica","Niebla densa","Clima de invierno"] |
| TEXAS | ["Flash Flood","Thunderstorm Wind","Tornado","Lightning","Flood","Ice Storm","Winter Weather","Rip Current","Excessive Heat","Dense Fog","Hurricane (Storm)","Cold/Wind Chill"] |
| OKLAHOMA | ["Flash Flood","Tornado","Cold/Wind Chill","Winter Storm","Heavy Snow","Excessive Heat","Heat","Ice Storm","Winter Weather","Dense Fog"] |
| NUEVA YORK | ["Flood","Lightning","Thunderstorm Wind","Flash Flood","Winter Weather","Ice Storm","Extreme Cold/Wind Chill","Winter Storm","Heavy Snow"] |
| KANSAS | ["Thunderstorm Wind","Heavy Rain","Tornado","Flood","Flash Flood","Lightning","Heavy Snow","Winter Weather","Blizzard"] |
| ... | ... |
Datos del cubo por condición
La función case() agrupa los datos en cubos en función de las condiciones especificadas. La función devuelve la expresión de resultado correspondiente para el primer predicado satisfecho o la expresión de else final si no se cumple ninguno de los predicados.
En este ejemplo se agrupan estados basados en el número de lesiones relacionadas con tormentas que sus ciudadanos han sufrido.
StormEvents
| summarize InjuriesCount = sum(InjuriesDirect) by State
| extend InjuriesBucket = case (
InjuriesCount > 50,
"Large",
InjuriesCount > 10,
"Medium",
InjuriesCount > 0,
"Small",
"No injuries"
)
| sort by State asc
Salida
| State | InjuriesCount | LesionesBucket |
|---|---|---|
| ALABAMA | 494 | grande |
| ALASKA | 0 | Sin lesiones |
| SAMOA AMERICANA | 0 | Sin lesiones |
| ARIZONA | 6 | Pequeña |
| ARKANSAS | 54 | grande |
| ATLÁNTICO NORTE | 15 | Media |
| ... | ... | ... |
Cree un gráfico circular para visualizar la proporción de estados que experimentaron tormentas, lo que da lugar a un número grande, mediano o pequeño de lesiones.
StormEvents
| summarize InjuriesCount = sum(InjuriesDirect) by State
| extend InjuriesBucket = case (
InjuriesCount > 50,
"Large",
InjuriesCount > 10,
"Medium",
InjuriesCount > 0,
"Small",
"No injuries"
)
| summarize InjuryBucketByState=count() by InjuriesBucket
| render piechart
Agregaciones en una ventana deslizante
En el ejemplo siguiente se muestra cómo resumir columnas mediante una ventana deslizante.
La consulta calcula el daño mínimo, máximo y promedio de propiedad de tornados, inundaciones e incendios forestales mediante una ventana deslizante de siete días. Cada registro del conjunto de resultados agrega los siete días anteriores, y los resultados contienen un registro por día en el período de análisis.
Esta es una explicación paso a paso de la consulta:
- Bin cada registro en un solo día en relación con
windowStart. - Agregue siete días al valor bin para establecer el final del intervalo para cada registro. Si el valor está fuera del intervalo de
windowStartywindowEnd, ajuste el valor en consecuencia. - Cree una matriz de siete días para cada registro, empezando desde el día actual del registro.
- Expanda la matriz del paso 3 con mv-expand para duplicar cada registro en siete registros con intervalos de un día entre ellos.
- Realice las agregaciones de cada día. Debido al paso 4, este paso resume realmente los siete días anteriores.
- Excluya los primeros siete días del resultado final porque no hay ningún período de devolución de siete días para ellos.
let windowStart = datetime(2007-07-01);
let windowEnd = windowStart + 13d;
StormEvents
| where EventType in ("Tornado", "Flood", "Wildfire")
| extend bin = bin_at(startofday(StartTime), 1d, windowStart) // 1
| extend endRange = iff(bin + 7d > windowEnd, windowEnd,
iff(bin + 7d - 1d < windowStart, windowStart,
iff(bin + 7d - 1d < bin, bin, bin + 7d - 1d))) // 2
| extend range = range(bin, endRange, 1d) // 3
| mv-expand range to typeof(datetime) // 4
| summarize min(DamageProperty), max(DamageProperty), round(avg(DamageProperty)) by Timestamp=bin_at(range, 1d, windowStart), EventType // 5
| where Timestamp >= windowStart + 7d; // 6
Salida
La tabla de resultados siguiente se trunca. Para ver la salida completa, ejecute la consulta.
| Timestamp | EventType | min_DamageProperty | max_DamageProperty | avg_DamageProperty |
|---|---|---|---|---|
| 2007-07-08T00:00:00Z | Tornado | 0 | 30000 | 6905 |
| 2007-07-08T00:00:00Z | Inundación | 0 | 200000 | 9261 |
| 2007-07-08T00:00:00Z | Wildfire | 0 | 200000 | 14033 |
| 2007-07-09T00:00:00Z | Tornado | 0 | 100000 | 14783 |
| 2007-07-09T00:00:00Z | Inundación | 0 | 200000 | 12529 |
| 2007-07-09T00:00:00Z | Wildfire | 0 | 200000 | 14033 |
| 2007-07-10T00:00:00Z | Tornado | 0 | 100000 | 31400 |
| 2007-07-10T00:00:00Z | Inundación | 0 | 200000 | 12263 |
| 2007-07-10T00:00:00Z | Wildfire | 0 | 200000 | 11694 |
| ... | ... | ... |
Paso siguiente
Ahora que está familiarizado con los operadores de consulta comunes y las funciones de agregación, vaya al siguiente tutorial para aprender a combinar datos de varias tablas.
Comentarios
Próximamente: A lo largo de 2024 iremos eliminando gradualmente GitHub Issues como mecanismo de comentarios sobre el contenido y lo sustituiremos por un nuevo sistema de comentarios. Para más información, vea: https://aka.ms/ContentUserFeedback.
Enviar y ver comentarios de