Gestión de costos de Feature Store

En esta página se describe cómo se cobran los recursos de proceso en Azure Databricks Feature Store y cómo supervisar y optimizar estos costes. Las funciones de Feature Store se facturan al coste real: usted paga por la capacidad de computación sin servidor subyacente, el almacén en línea y la infraestructura de servicio, sin ningún recargo adicional.

  • La materialización de características se ejecuta como computación sin servidor y aparece en la facturación dentro del producto FEATURE_STORE, facturada a la misma tarifa que los trabajos sin servidor y las canalizaciones de Lakeflow.
  • Los puntos de conexión de servicio de características se facturan con la SKU del modelo de servicio.
  • Las tiendas en línea se facturan en función de la capacidad de proceso de Lakebase, según el número de unidades de capacidad (CU) y de réplicas.

Note

Inicialmente durante la versión preliminar pública, no se facturan las canalizaciones de materialización de características. Una vez habilitada la facturación, se generarán costes continuos de computación sin servidor. Se cobran otros cargos, como los puntos de conexión de publicación de funcionalidades y las tiendas online, durante la versión preliminar. Tenga en cuenta los costes del proceso de materialización al trasladar las cargas de trabajo a producción.

Cómo se factura Feature Store

Materialización de características

Importante

La materialización de características forma parte de Feature Views, actualmente en versión preliminar pública.

Cuando materializa las vistas de características, Azure Databricks ejecuta una canalización sin servidor para calcular y escribir los valores de las características en destinos offline y online. Esto incluye trabajos de materialización por lotes, canales de procesamiento en tiempo real e ingestión de datos con Kafka. Estas canalizaciones se ejecutan sobre capacidad de proceso sin servidor y se cobran al coste, con un multiplicador de 1x y sin recargo sobre la plataforma sin servidor subyacente.

En la tabla del sistema de uso facturable, el uso de materialización aparece con billing_origin_product establecido en FEATURE_STORE y una SKU de proceso sin servidor (JOBS_SERVERLESS_COMPUTE, con el prefijo de su nivel del área de trabajo y su región). El uso es is_serverless y is_photon, e usage_metadata incluye data_source (DELTA_TABLE_SOURCE o KAFKA_SOURCE) y operation (FEATURE_MATERIALIZATION o KAFKA_INGESTION) para que pueda segmentar el costo por lotes frente a las cargas de trabajo de streaming.

Para reducir el coste de proceso, agrupa las características que comparten un destino sin conexión, un destino en línea y un desencadenador en una sola llamada a materialize_features para que se ejecuten en una sola canalización. Consulte Materializar vistas de atributos. Para obtener más información sobre cómo se factura el cómputo sin servidor, consulte Ejecute sus trabajos de Lakeflow con cómputo sin servidor para flujos de trabajo.

Puntos de conexión de servicio de características

Los puntos de servicio de servicio de variables proporcionan variables precalculadas y bajo demanda a aplicaciones en tiempo real. Se ejecutan en modelos de servicio y se facturan según la SKU del modelo de servicio (SERVERLESS_REAL_TIME_INFERENCE), al igual que los modelos de puntos de servicio personalizados. Los cargos varían en función de la capacidad de cómputo que se aprovisiona para el endpoint con el fin de gestionar el tráfico de solicitudes. Consulte los endpoints de Feature Serving y la página de precios de Model Serving.

Tiendas en línea

Las tiendas en línea sirven características con baja latencia para la inferencia en línea. Una tienda en línea de Azure Databricks funciona con Lakebase y se factura con cargo al proceso de Lakebase, en función de las unidades de capacidad (CU) y las réplicas de lectura que aprovisiona. Cada unidad de capacidad asigna el proceso, la memoria y el almacenamiento a la instancia, y puede agregar réplicas de lectura para una mayor disponibilidad y rendimiento de lectura. Consulte Databricks Online Feature Stores para obtener instrucciones de ajuste de tamaño, Administración de procesos para saber cómo se asignan las unidades de capacidad al proceso y la página de precios de Lakebase.

Atribuir costes mediante etiquetas y políticas de uso sin servidor

Importante

Esta característica se encuentra en versión preliminar privada. Para probarlo, póngase en contacto con su contacto de Azure Databricks.

Al crear una materialización o un Stream, especifica etiquetas personalizadas, una política de uso sin servidor o ambas. Azure Databricks las aplica a la tarea o canalización de Lakeflow que crea, de modo que el gasto queda asociado a tu atribución en la tabla del sistema de uso facturable. Para crear una política y obtener su ID, consulta Crear una política de uso sin servidor.

Ambos valores se aplican cuando se crea la tarea o el pipeline. Para atribuir el cálculo existente de forma diferente, crea una nueva materialización o Stream.

Cálculo de materialización de atributos

Pasa tags, budget_policy_id, o ambos a materialize_features:

materialized = fe.materialize_features(
    features=features,
    offline_config=offline_config,
    trigger=trigger,
    tags={"team": "ml-platform", "project": "churn"},
    budget_policy_id="555e8888-e999-4444-a777-446655440000",
)

Para la firma completa, véase Materializar Vistas de Características.

Cálculo de ingestión gestionada por atributos

Para un stream, establece tags y IngestionConfig en el create_stream que pasas a budget_policy_id:

from databricks.feature_engineering.entities import IngestionConfig, IngestionDestination

ingestion_config = IngestionConfig(
    ingestion_destination=IngestionDestination(
        delta_table_name="my_catalog.my_schema.events_ingestion"
    ),
    tags={"team": "ml-platform", "project": "churn"},
    budget_policy_id="555e8888-e999-4444-a777-446655440000",
)

Para las opciones restantes de ingestión, véase Configurar un Stream.

Calcular a qué se aplica la atribución

Las etiquetas y la política de uso sin servidor se aplican al cálculo que materializa características o ingiere datos del Stream: el trabajo de materialización por lotes, el pipeline de streaming de Lakeflow y el trabajo que lo orquesta, y el pipeline de Lakeflow de ingestión de un Stream con sus trabajos de relleno directo y retrocargado. Cuando te materializas en una nueva tabla online, también se aplican a la pipeline de Lakeflow que mantiene esa tabla sincronizada.

No se aplican a la tienda online en sí. Para atribuir a la tienda en línea su propia capacidad de cómputo, configura una política de uso sin servidor en la tienda. Consulte Databricks Online Feature Stores.

Limitaciones

  • La materialización en una tabla en línea que ya existe no aplica ni tags ni budget_policy_id y no devuelve ningún error. La canalización de Lakeflow que mantiene sincronizada esa tabla conserva las etiquetas con las que fue creada. Para cambiar la atribución, materialícelo en una nueva tabla en línea.
  • Puedes pasar como máximo 25 etiquetas.
  • Una clave de etiqueta puede tener hasta 127 caracteres y un valor de etiqueta hasta 65.535 caracteres. Ninguno puede estar vacío.
  • Una clave de etiqueta no puede comenzar con databricks:. Ese prefijo está reservado y la comprobación ignora el caso.

Supervisión de uso y costos

Puede supervisar los costes de Feature Store mediante la tabla del sistema de uso facturable, system.billing.usage. El uso de materialización se identifica mediante billing_origin_product = 'FEATURE_STORE':

SELECT
  usage_date,
  usage_metadata.data_source,
  usage_metadata.operation,
  usage_metadata.job_id,
  usage_metadata.dlt_pipeline_id,
  identity_metadata.run_as,
  sum(usage_quantity) AS dbus,
  usage_unit
FROM system.billing.usage
WHERE billing_origin_product = 'FEATURE_STORE'
GROUP BY ALL;

Use usage_metadata.data_source y operation para desglosar los costos por lotes frente al streaming. Los campos usage_metadata.job_id y usage_metadata.dlt_pipeline_id identifican el trabajo de materialización o canal específico que generó cada fila de coste, por lo que puede agrupar por ellos para la atribución por canal.

La columna custom_tags contiene las etiquetas que has proporcionado junto con las etiquetas que incluye la política de uso serverless, por lo que puedes agrupar o filtrar por custom_tags['<key>'] para atribuir el gasto. Para saber cómo las etiquetas de política llegan a los registros de facturación, consulte Analizar etiquetas de política de uso sin servidor en los registros de facturación.

Los costes del servicio de características y de la tienda online se rastrean por separado:

  • Los puntos de conexión de servicio de características aparecen en la SKU del modelo de servicio. Consulte Supervisar costos de modelo de servicio.
  • La capacidad de proceso del almacén en línea aparece en la SKU sin servidor de Lakebase (base de datos).

Para más información sobre la tabla de uso facturable y cómo consultarla, consulte Referencia de la tabla del sistema de uso facturable.

Procedimientos recomendados de optimización de costes

  • Agrupar variables en canalizaciones de materialización compartidas: las variables que comparten un destino offline, un destino online y un disparador pueden materializarse juntas en una sola canalización, lo que reduce el número de canalizaciones por las que paga.
  • Reutilización de tiendas en línea: puede publicar varias tablas de características en una sola tienda en línea. Para el desarrollo, las pruebas y el entrenamiento, comparta una tienda en línea entre proyectos en lugar de crear almacenes independientes.
  • Dimensione adecuadamente la capacidad de la tienda online: empiece con una unidad de capacidad pequeña para realizar pruebas y auméntela o redúzcala en función del rendimiento y del coste.
  • Eliminar recursos que no están en uso: las tiendas en línea incurren continuamente en costos. Elimine tiendas en línea y canalizaciones de materialización que ya no sean necesarias.
  • Elija un desencadenador de materialización adecuado: los desencadenadores programados menos frecuentes cuestan menos que la re materialización continua o frecuente. Ajusta el activador en función de lo actualizadas que deban estar tus funciones.

Recursos adicionales

  • Last updated on