Nota
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Databricks Feature Store es un registro central para las características usadas en los modelos de INTELIGENCIA ARTIFICIAL y APRENDIZAJE automático. Cuando registras características y modelos en el Unity Catalog, obtienes gobernanza integrada, linaje, uniones en el tiempo y el intercambio y descubrimiento de funciones entre espacios de trabajo.
Puedes crear reportajes usando dos estrategias.
Ambos producen funciones reguladas por el Catálogo de Unity que se publican en la Online Feature Store. Consulta Elige una estrategia de redacción.
- Vistas de características, que definen características de forma declarativa y permiten que Databricks calcule y gestione las canalizaciones de características por ti. Esta función está en la versión preliminar pública.
- Tablas de características, que tú mismo llenas escribiendo valores de características en una tabla Delta.
Con Databricks, todo el flujo de trabajo de entrenamiento del modelo tiene lugar en una sola plataforma, entre las que se incluyen:
- Canalizaciones de datos que ingieren datos sin procesar, crean tablas de características, entrenan modelos y realizan la inferencia por lotes.
- Los puntos de conexión de servicio de modelos y características que están disponibles con un solo clic y que proporcionan milisegundos de latencia.
- Supervisión de datos y modelos.
Cuando usas funcionalidades de Databricks Feature Store para entrenar modelos, el modelo rastrea automáticamente el linaje de las funcionalidades utilizadas en el entrenamiento. En el momento de la inferencia, el modelo busca automáticamente los valores de características más recientes. Databricks Feature Store también proporciona cálculo a petición de características para aplicaciones en tiempo real, controlando todas las tareas de cálculo de características. Esto elimina el sesgo en entrenamiento/servicio, lo que garantiza que los cálculos de características usados en la inferencia sean los mismos que los usados durante el entrenamiento del modelo. También simplifica significativamente el código del lado cliente, ya que todas las búsquedas de características y el cálculo se controlan mediante Databricks Feature Store.
Nota:
En esta página se describe la Tienda de características de Databricks para áreas de trabajo que están habilitadas para el Unity Catalog. Si el área de trabajo no está habilitada para Unity Catalog, consulte Almacén de características de espacio de trabajo (obsoleto).
Información general conceptual
Para obtener información general sobre cómo funciona Databricks Feature Store y un glosario de términos, consulte Información general y glosario de Databricks Feature Store.
Elige un plan de redacción
La Feature Store permite dos formas de crear funcionalidades. Ambos crean funciones gobernadas por el Catálogo de Unity y ambos pueden publicar en la Tienda de Funcionalidades en Línea. En general, se recomiendan las vistas de características para la mayoría de los casos nuevos, aunque las tablas de características son las más adecuadas para cargas de trabajo flexibles y multi-etapas.
| Strategy | Más adecuado para | Cómo funciona |
|---|---|---|
| Vistas de características (recomendadas) | La mayoría de los proyectos nuevos, agregaciones con ventanas temporales y funciones de streaming. | Define las características de forma declarativa como objetos del Catálogo Feature de Unity. Databricks crea y gestiona las canalizaciones de funcionalidades. Puedes experimentar con características definidas localmente en un cuaderno antes de registrarlas, y materializar pipelines de características. Las Vistas de Características en Stream permiten datos frescos de características en menos de un segundo con escrituras directas desde el modo en tiempo real a la Tienda de Funcionalidades en Línea. |
| Tablas de características | Características que calculas usando Lakeflow o Spark Declarative Pipelines, y cargas de trabajo que requieren Delta Sharing, una tienda online de terceros o una ruta de autoría disponible solo para GA. | Escribe los valores de las características en una tabla Delta en el Catálogo de Unity que tenga una clave primaria. Eres dueño de la pipeline que llena y refresca la tabla. |
Desarrollo de características
| Característica | Description |
|---|---|
| Vistas de Reportajes | Definir y calcular características de forma declarativa usando Vistas de Características, incluyendo agregaciones con ventanas temporales y funciones de streaming. |
| Vistas de características de Materialize | Visualizaciones de Materializa para formación presencial o servicio online. |
| Tablas de características en el catálogo de Unity | Cree y trabaje con tablas de características. |
Detección y uso compartido de características
| Característica | Description |
|---|---|
| Exploración de tablas de características en el catálogo de Unity | Explore y administre tablas de características mediante el Explorador de catálogos y la interfaz de usuario de características. |
| Uso de etiquetas con tablas de características y características en Unity Catalog | Use pares clave-valor simples para clasificar y administrar tus tablas de funciones y funciones. |
| Explora las vistas de características en Unity Catalog | Consulte las definiciones de Feature View y el estado de materialización en la interfaz de usuario de Databricks. |
Uso de funcionalidades en flujos de trabajo de entrenamiento
| Característica | Description |
|---|---|
| Entrenar modelos con tablas de características | Use características para entrenar modelos. |
| Combinaciones de características en un momento dado | Utilice la corrección en un momento dado para crear un conjunto de datos de entrenamiento que refleje los valores de las características en el momento en que se registró una observación de etiquetas. |
| API de Python para ingeniería de variables | Referencia de la API de Python |
Funciones de servicio
| Característica | Description |
|---|---|
| Almacenes de características en línea de Databricks | Proporcionar datos de características a aplicaciones en línea y modelos de aprendizaje automático en tiempo real. Con tecnología de Databricks Lakebase. |
| Servicio de modelos con búsqueda automática de características | Busque automáticamente los valores de características de una tienda en línea. |
| Puntos de conexión de servicio de características | Proporcionar características a modelos y aplicaciones fuera de Databricks. |
| Cálculo de características a petición | Calcule los valores de características en el momento de la inferencia. |
Gobernanza y linaje de características
| Característica | Description |
|---|---|
| Gobernanza y linaje de funciones | Use El catálogo de Unity para controlar el acceso a las tablas de características y ver el linaje de una tabla de características, un modelo o una función. |
Tutorials
| Tutorial | Description |
|---|---|
| Cuadernos de ejemplo para empezar |
Cuaderno básico. Muestra cómo crear una tabla de características, usarla para entrenar un modelo y ejecutar la puntuación por lotes mediante la búsqueda automática de características. También muestra la interfaz de usuario de ingeniería de características para buscar características y ver el linaje. Cuaderno de ejemplo de taxi. Muestra el proceso de creación de características, su actualización y su uso para el entrenamiento del modelo y la inferencia por lotes. |
| Ejemplo: Implementación y consulta de una característica que atiende el punto de conexión | Tutorial y cuaderno de ejemplo en el que se muestra cómo implementar y consultar una característica que sirve un punto de conexión. |
| Ejemplo: uso de características con aplicaciones RAG estructuradas | Tutorial que muestra cómo usar tablas en línea de Databricks y características que sirven puntos de conexión para aplicaciones de generación aumentada (RAG) de recuperación. |
Requisitos
Para usar Databricks Feature Store, el área de trabajo debe estar habilitada para Unity Catalog. Si el área de trabajo no está habilitada para Unity Catalog, consulte Almacén de características de espacio de trabajo (obsoleto).
Supported data types (Tipos de datos admitidos)
Databricks Feature Store y el almacén de características del área de trabajo heredado admiten los siguientes tipos de datos de PySpark:
IntegerTypeFloatTypeBooleanTypeStringTypeDoubleTypeLongTypeTimestampTypeDateTypeShortTypeArrayType-
BinaryType[1] -
DecimalType[1] -
MapType[1] -
StructType[2]
[1] BinaryType, DecimalType y MapType son compatibles en todas las versiones de Ingeniería de características en Unity Catalog y en el Almacén de características del área de trabajo v0.3.5 o superior.
[2] StructType se admite en Ingeniería de características v0.6.0 o superior.
Los tipos de datos enumerados anteriormente admiten tipos de características comunes en las aplicaciones de aprendizaje automático. Por ejemplo:
- Puede almacenar vectores densos, tensores e inserciones como
ArrayType. - Puede almacenar vectores dispersos, tensores e inserciones como
MapType. - Puede almacenar texto como
StringType.
Al publicarse en almacenes en línea, las características ArrayType y MapType se almacenan en formato JSON.
La interfaz de usuario del almacén de características muestra metadatos en los tipos de datos de características:
Más información
Para obtener más información sobre los procedimientos recomendados, descargue La guía completa sobre almacenes de características.