Desarrollo, ejecución y administración de cuadernos de Microsoft Fabric
Microsoft Fabric Notebook es un elemento de código principal para desarrollar trabajos de Apache Spark y experimentos de aprendizaje automático. Se trata de una superficie interactiva basada en web que usan científicos de datos e ingenieros de datos para escribir código que se beneficie de visualizaciones enriquecidas y texto de Markdown. En este artículo se explica cómo desarrollar cuadernos con operaciones de celda de código y ejecutarlos.
Importante
Microsoft Fabric se encuentra actualmente en versión preliminar. Esta información está relacionada con un producto en versión preliminar que puede modificarse considerablemente antes de su lanzamiento. Microsoft no ofrece ninguna garantía, expresa o implícita, con respecto a la información que se ofrece aquí.
Desarrollo de cuadernos
Los cuadernos se componen de celdas, que son bloques individuales de código o texto que se pueden ejecutar de manera independiente o en grupo.
Proporcionamos operaciones enriquecidas para desarrollar cuadernos:
- Adición de una celda
- Definición del lenguaje principal
- Uso de varios lenguajes
- IntelliSense de estilo IDE
- Fragmentos de código
- Arrastrar y colocar para insertar fragmentos de código
- Arrastrar y colocar para insertar imágenes
- Formato de celdas de texto con botones de la barra de herramientas
- Operación deshacer o rehacer celda
- Movimiento de una celda
- Eliminación de una celda
- Contracción de una entrada de celda
- Contracción de una salida de celda
- Bloquear o inmovilizar una celda
- Contenido del cuaderno
- Plegado de Markdown
- Buscar y reemplazar
Adición de una celda
Hay varias maneras de agregar una nueva celda a un cuaderno.
Mantenga el puntero sobre el espacio entre dos celdas y seleccione Código o Markdown.
Utilice las teclas de método abreviado en el modo de comando. Presione A para insertar una celda sobre la celda actual. Presione B para insertar una celda debajo de la celda actual.
Definición del lenguaje principal
Actualmente, los cuadernos de Microsoft Fabric admiten cuatro lenguajes de Apache Spark:
- PySpark (Python)
- Spark (Scala)
- Spark SQL
- SparkR
Desde la lista desplegable de la barra de comandos superior, puede establecer el lenguaje principal para las nuevas celdas que se agreguen.
Uso de varios lenguajes
Puede usar varios idiomas en un cuaderno especificando el comando magic de idioma al principio de una celda, también puede cambiar el idioma de la celda desde el selector de idioma. En la tabla siguiente se enumeran los comandos magic para cambiar el lenguaje de las celdas.
Comando magic | Lenguaje | Descripción |
---|---|---|
%%pyspark | Python | Ejecute una consulta de Python en SparkContext. |
%%spark | Scala | Ejecute una consulta de Scala en SparkContext. |
%%sql | SparkSQL | Ejecute una consulta de SparkSQL en SparkContext. |
%%html | Html | Ejecute una consulta HTML en el contexto de Spark. |
%%sparkr | R | Ejecute una consulta de R en SparkContext. |
La siguiente imagen es un ejemplo de cómo puede escribir una consulta de PySpark mediante el comando mágico %%pyspark en un cuaderno de Spark(Scala). Observe que el idioma principal del cuaderno está establecido en PySpark.
IntelliSense de estilo IDE
Los cuadernos de Microsoft Fabric se integran con el editor Monaco para llevar IntelliSense de estilo IDE al editor de celdas. El resaltado de la sintaxis, el marcador de errores y la finalización automática de código le ayudan a escribir código y a identificar problemas más rápido.
Las características de IntelliSense tienen distintos niveles de madurez para distintos lenguajes. En la tabla siguiente se muestra lo que se admite:
Idiomas | Resaltado de sintaxis | Creador de errores de sintaxis | Finalización de código de sintaxis | Finalización de código de sintaxis | Finalización de código de funciones del sistema | Finalización de código de funciones del usuario | Sangría inteligente | Plegado de código |
---|---|---|---|---|---|---|---|---|
PySpark (Python) | Sí | Sí | Sí | Sí | Sí | Sí | Sí | Sí |
Spark (Scala) | Sí | Sí | Sí | Sí | Sí | Sí | Sí | Sí |
SparkSQL | Sí | Sí | Sí | Sí | Sí | No | Sí | Sí |
SparkR | Sí | Sí | Sí | Sí | Sí | Sí | Sí | Sí |
Nota
Se requiere una sesión de Spark activa para usar la finalización del código de IntelliSense.
Fragmentos de código
Los cuadernos de Microsoft Fabric proporcionan fragmentos de código que le ayudan a escribir fácilmente patrones de código usados habitualmente, como:
- Lectura de datos como dataframe de Spark o
- Dibujar gráficos con Matplotlib.
Los fragmentos de código aparecen en teclas de método abreviado de IntelliSense estilo IDE combinados con otras sugerencias. El contenido de los fragmentos de código se alinea con el lenguaje de las celdas de código. Para ver los fragmentos de código disponibles, escriba snippet o cualquier palabra clave que aparezca en el título del fragmento de código en el editor de celdas de código. Por ejemplo, si escribe read, puede ver la lista de fragmentos de código para leer datos de varios orígenes de datos.
Arrastrar y colocar para insertar fragmentos de código
Puede usar arrastrar y colocar para leer datos del explorador de Lakehouse de forma cómoda. Aquí se admiten varios tipos de archivo, puede operar en archivos de texto, tablas, imágenes, etc. Puede colocar en una celda existente o en una nueva celda. El cuaderno genera el fragmento de código según corresponda para obtener una vista previa de los datos.
Arrastrar y colocar para insertar imágenes
Puede usar arrastrar y colocar para insertar imágenes desde el explorador o el equipo local a una celda markdown cómodamente.
Formato de celdas de texto con botones de la barra de herramientas
Puede usar los botones de formato en la barra de herramientas de celdas de texto para completar acciones comunes de marcado.
Operación deshacer o rehacer celda
Seleccione el botón Deshacer o Rehacer, o presione Z o Mayús+Z para revocar las operaciones de celda más recientes. Puede deshacer o rehacer hasta las últimas 10 operaciones históricas de celdas.
Operaciones de deshacer celda admitidas:
- Insertar o eliminar celda: puede revocar las operaciones de eliminación seleccionando Deshacer, el contenido del texto se mantiene junto con la celda.
- Reordenar celda.
- Alternar parámetros.
- Convertir entre la celda de código y la celda Markdown.
Nota:
Las operaciones de texto en celda y las operaciones de comentarios de celda de código no se pueden deshacer. Puede deshacer o rehacer hasta las últimas 10 operaciones históricas de celdas.
Movimiento de una celda
Puede arrastrar desde la parte vacía de una celda y colocarla en la posición deseada.
También puede mover la celda seleccionada mediante Subir y Bajar en la cinta de opciones.
Eliminación de una celda
Para eliminar una celda, seleccione el botón Eliminar en la parte derecha de la celda.
También puede utilizar las teclas de método abreviado en el modo de comando. Presione Mayús+D para eliminar la celda actual.
Contracción de una entrada de celda
Seleccione los puntos suspensivos de Más comandos (...) en la barra de herramientas de la celda y en Hide input (Ocultar entrada) para contraer la entrada de la celda actual. Para expandirla, seleccione Show input (Mostrar entrada) mientras la celda está contraída.
Contracción de una salida de celda
Seleccione los puntos suspensivos de Más comandos (...) en la barra de herramientas de la celda y en Hide output (Ocultar salida) para contraer la salida de la celda actual. Para expandirla, seleccione Show output (Mostrar salida) mientras la salida de la celda está oculta.
Bloquear o inmovilizar una celda
Las operaciones de bloqueo e inmovilización de celdas permiten hacer que las celdas de solo lectura o detengan que las celdas de código se ejecuten en una celda individual.
Contenido del cuaderno
Los esquemas o la tabla de contenido presentan el primer encabezado markdown de cualquier celda markdown en una ventana de barra lateral para la navegación rápida. La barra lateral Esquemas es redimensionable y contraíble para ajustarse a la pantalla de la mejor manera posible. Puede seleccionar el botón Contenido de la barra de comandos del cuaderno para abrir u ocultar la barra lateral.
Plegado de Markdown
El plegado markdown permite ocultar celdas debajo de una celda markdown que contiene un encabezado. La celda Markdown y sus celdas ocultas se tratan igual que un conjunto de celdas contiguas seleccionadas con múltiples selecciones al realizar operaciones de celda.
Buscar y reemplazar
Buscar y reemplazar puede ayudarle a buscar y buscar fácilmente las palabras clave o expresión en el contenido del cuaderno, y puede reemplazar la cadena de destino por una nueva cadena.
Ejecución de cuadernos
Puede ejecutar las celdas de código en el cuaderno individualmente o todas a la vez. El estado y el progreso de cada celda se representan en el cuaderno.
Ejecución de una celda
Hay varias maneras de ejecutar el código de una celda.
Mantenga el puntero sobre la celda que desea ejecutar y seleccione el botón Ejecutar celda o presione CTRL+Entrar.
Utilice las teclas de método abreviado en el modo de comando. Presione Mayús+Entrar para ejecutar la celda actual y seleccione la celda siguiente. Presione Alt+Entrar para ejecutar la celda actual e insertar una nueva celda.
Ejecución de todas las celdas
Seleccione el botón Ejecutar todo para ejecutar todas las celdas del cuaderno actual en secuencia.
Ejecución de todas las celdas encima o debajo
Expanda la lista desplegable en el botón Ejecutar todo y, a continuación, seleccione Run cells above (Ejecutar las celdas encima) para ejecutar todas las celdas situadas encima de la actual en secuencia. Seleccione Ejecutar celdas debajo para ejecutar la celda actual y todas las celdas debajo de la actual en secuencia.
Cancelación de todas las celdas en ejecución
Seleccione el botón Cancelar todo para cancelar las celdas en ejecución o las celdas que esperan en la cola.
Detener sesión
Detener sesión cancela las celdas en ejecución y en espera y detiene la sesión actual, puede reiniciar una nueva sesión si hace clic de nuevo en el botón Ejecutar.
Ejecución de referencia del cuaderno
Además de usar la API de ejecución de referencia mssparkutils , también puede usar %run <notebook name>
el comando magic para hacer referencia a otro cuaderno dentro del contexto del cuaderno actual. Todas las variables definidas en el cuaderno de referencia están disponibles en el cuaderno actual. El comando magic %run
admite llamadas anidadas pero no admite llamadas recursivas. Recibirá una excepción si la profundidad de la instrucción es mayor que cinco.
Ejemplo: %run Notebook1 { "parameterInt": 1, "parameterFloat": 2.5, "parameterBool": true, "parameterString": "abc" }
.
La referencia del cuaderno funciona en modo interactivo y canalización.
Nota:
%run
el comando actualmente solo admite cuadernos de referencia que en la misma área de trabajo con el cuaderno actual.%run
Actualmente, command solo admite 4 tipos de valor de parámetro:int
,float
,bool
,string
, no se admite la operación de reemplazo de variables.%run
el comando no admite referencia anidada que la profundidad sea mayor que cinco.
Explorador de variables
El cuaderno de Microsoft Fabric proporciona un explorador de variables integrado para ver la lista de variables nombre, tipo, longitud y valor en las celdas actuales de Spark para PySpark (Python). Más variables se muestran automáticamente a medida que se definen en las celdas de código. Al hacer clic en cada encabezado de columna, se ordenan las variables de la tabla.
Puede seleccionar el botón Variables de la pestaña "Ver" de la cinta de cuadernos para abrir u ocultar el explorador de variables.
Nota
El explorador de variables solo admite Python.
Indicador de estado de la celda
Debajo de la celda se muestra un estado de ejecución detallado de la celda para ayudarle a ver su progreso actual. Una vez completada la ejecución de la celda, se muestra un resumen de ejecución con la duración total y la hora de finalización y se almacena allí para futuras referencias.
Indicador de trabajo de Spark en línea
El cuaderno de Microsoft Fabric se basa en Spark. Las celdas de código se ejecutan en el clúster de Spark de forma remota. Aparece un indicador de progreso del trabajo de Spark con una barra de progreso en tiempo real que le ayudará a entender el estado de ejecución del trabajo. El número de tareas por cada trabajo o etapa ayuda a identificar el nivel paralelo del trabajo de Spark. También puede profundizar en la interfaz de usuario de Spark de un trabajo o fase específicos a través de la selección del vínculo del nombre del trabajo o de la fase.
También puede encontrar el registro en tiempo real de nivel de celda junto al indicador de progreso y Diagnósticos puede proporcionarle sugerencias útiles para ayudar a refinar y depurar el código.
En Más acciones, puede navegar fácilmente a la página de detalles de la aplicación Spark y a la página de la interfaz de usuario web de Spark .
Redacción de secreto
Para evitar que las credenciales se filtren accidentalmente al ejecutar cuadernos, el cuaderno de Fabric admite la redacción secreta para reemplazar los valores de secreto que se muestran en la salida de la celda por [REDACTED]
, la reacción secreta es aplicable a Python, Scala y R.
Comandos mágicos en el cuaderno
Magias integradas
Puede usar comandos mágicos de Ipython conocidos en cuadernos de Fabric. Revise la lista siguiente para ver los comandos magic disponibles actualmente.
Nota:
Solo se admiten los siguientes comandos mágicos en la canalización de Fabric: %%pyspark, %%spark, %%csharp, %%sql.
Magics de línea disponibles: %lsmagic, %time, %timeit, %history, %run, %load, %alias, %alias_magic, %autoawait, %autocall, %automagic, %bookmark, %cd, %colors, %dhist, %dirs, %doctest_mode, %killbgscripts, %load_ext, %load_ext, %logoff, %logon, %logstart, %logstate, %logstop, %magic, %matplotlib, %page, %pastebin, %pdef, %pfile, %pinfo, %pinfo2, %popd, %pprint, %precision, %prun, %psearch, %psource, %pushd, %pwd, %pycat, %quickref, %rehashx, %reload_ext, %reset, %reset_selective, %sx, %system, %tb, %unalias, %unload_ext, %who, %who_ls, %who's, %xdel, %xmode.
El cuaderno de Fabric también admite comandos de administración de bibliotecas mejorados %pip, %conda, consulte Administración de bibliotecas de Apache Spark en Microsoft Fabric para el uso.
Magics de celda disponibles: %%time, %%timeit, %%capture, %%writefile, %%sql, %%pyspark, %%spark, %%csharp, %%html, %%bash, %%markdown, %%perl, %%script, %%sh.
Magias personalizadas
También puede crear más comandos mágicos personalizados para satisfacer sus necesidades específicas, como se muestra en el ejemplo siguiente.
- Cree un cuaderno con el nombre "MyLakehouseModule".
- En otro cuaderno, haga referencia a "MyLakehouseModule" y sus comandos mágicos, de esta manera puede organizar el proyecto con cuadernos que usan diferentes lenguajes cómodamente.
Widgets de IPython
Los widgets de IPython son objetos de Python con eventos que tienen una representación en el explorador. Puede usar widgets de IPython como controles de poco código (por ejemplo, control deslizante, cuadro de texto) en el cuaderno igual que el cuaderno de Jupyter, actualmente solo funciona en el contexto de Python.
Para usar el widget de IPython
Primero debe importar el módulo ipywidgets para usar el marco del widget de Jupyter.
import ipywidgets as widgets
Puede usar la función de visualización de nivel superior para representar un widget o dejar una expresión de tipo widget en la última línea de celda de código.
slider = widgets.IntSlider() display(slider)
Ejecute la celda y el widget se muestra en el área de salida.
slider = widgets.IntSlider() display(slider)
Puede usar varias llamadas display() para representar la misma instancia de widget varias veces, pero permanecen sincronizadas entre sí.
slider = widgets.IntSlider() display(slider) display(slider)
Para representar dos widgets independientes entre sí, cree dos instancias de widget:
slider1 = widgets.IntSlider() slider2 = widgets.IntSlider() display(slider1) display(slider2)
Widgets admitidos
Tipo de widgets | Widgets |
---|---|
Widgets numéricos | IntSlider, FloatSlider, FloatLogSlider, IntRangeSlider, FloatRangeSlider, IntProgress, FloatProgress, BoundedIntText, BoundedFloatText, IntText, FloatText |
Widgets booleanos | ToggleButton, Checkbox, Valid |
Widgets de selección | Dropdown, RadioButtons, Select, SelectionSlider, SelectionRangeSlider, ToggleButtons, SelectMultiple |
Widgets de cadena | Text, Text area, Combobox, Password, Label, HTML, HTML Math, Image, Button |
Widgets de reproducción (animación) | Date picker, Color picker, Controller |
Widgets de contenedor o diseño | Box, HBox, VBox, GridBox, Accordion, Tabs, Stacked |
Limitaciones conocidas
Todavía no se admiten los siguientes widgets, podría seguir la solución alternativa correspondiente de la siguiente manera:
Funcionalidad Solución alternativa Widget de salida Puede usar la función print() en su lugar para escribir texto en stdout. widgets.jslink() Puede usar widgets.link() función para vincular dos widgets similares. Widget FileUpload Aún no se admite. La función de visualización global proporcionada por Microsoft Fabric no admite la visualización de varios widgets en una llamada (es decir, display(a, b)), que es diferente de la función de visualización de IPython.
Si cierra un cuaderno que contiene el widget de IPython, no podrá verlo ni interactuar con él hasta que vuelva a ejecutar la celda correspondiente.
Registro de Python en Notebook
Puede encontrar registros de Python y establecer diferentes niveles de registro y formato como el código de ejemplo que se muestra aquí:
import logging
# Customize the logging format for all loggers
FORMAT = "%(asctime)s - %(name)s - %(levelname)s - %(message)s"
formatter = logging.Formatter(fmt=FORMAT)
for handler in logging.getLogger().handlers:
handler.setFormatter(formatter)
# Customize log level for all loggers
logging.getLogger().setLevel(logging.INFO)
# Customize the log level for a specific logger
customizedLogger = logging.getLogger('customized')
customizedLogger.setLevel(logging.WARNING)
# logger that use the default global log level
defaultLogger = logging.getLogger('default')
defaultLogger.debug("default debug message")
defaultLogger.info("default info message")
defaultLogger.warning("default warning message")
defaultLogger.error("default error message")
defaultLogger.critical("default critical message")
# logger that use the customized log level
customizedLogger.debug("customized debug message")
customizedLogger.info("customized info message")
customizedLogger.warning("customized warning message")
customizedLogger.error("customized error message")
customizedLogger.critical("customized critical message")
Integración de un cuaderno
Designación de una celda de parámetros
Para parametrizar el cuaderno, seleccione los puntos suspensivos (...) para obtener acceso a más comandos en la barra de herramientas de la celda. A continuación, seleccione Toggle parameter cell (Alternar celda de parámetros) para designar la celda como la celda de parámetros.
La celda de parámetros es útil para integrar cuadernos en la canalización, la actividad de canalización busca la celda de parámetros y trata esta celda como valores predeterminados para los parámetros pasados en tiempo de ejecución. El motor de ejecución agrega una nueva celda debajo de la celda parameters con parámetros de entrada para sobrescribir los valores predeterminados.
Teclas de método abreviado
De forma similar a jupyter Notebooks, los cuadernos de Microsoft Fabric tienen una interfaz de usuario modal. El teclado realiza diferentes acciones en función del modo en que se encuentre la celda del cuaderno. Los cuadernos de Microsoft Fabric admiten los dos modos siguientes para una celda de código determinada: modo de comando y modo de edición.
Una celda se encuentra en modo de comando cuando no hay ningún cursor de texto que le pida que escriba. Cuando una celda está en modo de comando, puede editar el cuaderno en su conjunto, pero no escribir en celdas individuales. Escriba el modo de comando presionando ESC o usando el mouse para seleccionar fuera del área del editor de una celda.
El modo de edición se puede indicar desde un cursor de texto que le pide que escriba en el área del editor. Cuando una celda se encuentra en modo de edición, puede escribir en la celda. Escriba el modo de edición presionando Entrar o usando el mouse para seleccionar en el área del editor de una celda.
Teclas de método abreviado en el modo de comando
Acción | Métodos abreviados de cuaderno |
---|---|
Ejecutar la celda actual y seleccionar la que está a continuación | Mayús+Entrar |
Ejecutar la celda actual e insertar una a continuación | Alt+Entrar |
Ejecutar celda actual | Ctrl+Entrar |
Seleccionar la celda anterior | Arriba |
Seleccionar la celda siguiente | Bajar |
Seleccionar celda anterior | K |
Seleccionar celda siguiente | J |
Insertar una celda encima | A |
Insertar una celda debajo | B |
Eliminar celdas seleccionadas | Mayús + D |
Cambiar al modo de edición | Escriba |
Teclas de método abreviado en el modo de edición
Con los siguientes métodos abreviados de pulsación de tecla, puede navegar y ejecutar código con mayor facilidad en cuadernos de Microsoft Fabric cuando se encuentra en modo de edición.
Acción | Métodos abreviados de cuaderno |
---|---|
Subir el cursor | Arriba |
Bajar el cursor | Bajar |
Deshacer | CTRL+Z |
Rehacer | CTRL+Y |
Comentario o comentario | CTRL+/ |
Eliminar palabra anterior | CTRL+Retroceso |
Eliminar palabra posterior | CTRL+Supr |
Ir al inicio de la celda | CTRL+Inicio |
Ir al final de la celda | CTRL+Fin |
Ir una palabra a la izquierda | CTRL+Izquierda |
Ir una palabra a la derecha | CTRL+Derecha |
Seleccionar todo | CTRL+A |
Aplicar sangría | CTRL+] |
Desaplicar sangría | CTRL+[ |
Cambiar al modo de comando | Esc |
Puede encontrar fácilmente todas las teclas de método abreviado desde la vista de cinta de cuadernos View ->Keybindings.