Establecimiento y uso de variables de entorno con scripts de inicialización

  • Artículo

Los scripts de inicialización tienen acceso a todas las variables de entorno presentes en un clúster. Azure Databricks establece muchas variables predeterminadas que pueden ser útiles en la lógica del script de inicialización.

Las variables de entorno establecidas en la configuración de Spark están disponibles para los scripts de inicialización. Consulte Variables de entorno.

¿Qué variables de entorno se exponen al script de inicialización de forma predeterminada?

Los scripts de inicialización globales y de ámbito de clúster admiten las siguientes variables de entorno:

  • DB_CLUSTER_ID: id. del clúster en el que se ejecuta el script. Consulte la API de clústeres.
  • DB_CONTAINER_IP: dirección IP privada del contenedor en el que se ejecuta Spark. El script de inicialización se ejecuta dentro de este contenedor. Consulte la API de clústeres.
  • DB_IS_DRIVER: indica si el script se ejecuta en un nodo de controlador.
  • DB_DRIVER_IP: dirección IP del nodo de controlador.
  • DB_INSTANCE_TYPE: tipo de instancia de la máquina virtual del host.
  • DB_CLUSTER_NAME: nombre del clúster en el que se ejecuta el script.
  • DB_IS_JOB_CLUSTER: indica si el clúster se creó para ejecutar un trabajo. Consulte Creación de un trabajo.

Por ejemplo, si desea ejecutar parte de un script solo en un nodo de controlador, podría escribir un script como el siguiente:

echo $DB_IS_DRIVER
if [[ $DB_IS_DRIVER = "TRUE" ]]; then
  <run this part only on driver>
else
  <run this part only on workers>
fi
<run this part on both driver and workers>

Uso de secretos en scripts de inicialización

Puede usar cualquier nombre de variable válido al hacer referencia a un secreto. El acceso a los secretos a los que se hace referencia en las variables de entorno viene determinado por los permisos del usuario que configuró el clúster. Todos los usuarios del cluster pueden acceder a los secretos almacenados en las variables de entorno, pero se les censura la presentación de texto no cifrado, como los secretos referenciados desde otro lugar.

Referencia a un secreto en una variable de entorno.