Obtención de datos de Azure Storage

En este artículo, aprenderá a obtener datos de Azure Storage (contenedor de ADLS Gen2, contenedor de blobs o blobs individuales) en una tabla nueva o existente.

Requisitos previos

Origen

  1. En la cinta inferior de la base de datos KQL, seleccione Obtener datos.

    En la ventana Obtener datos, se selecciona la pestaña Origen.

  2. Seleccione el origen de datos de la lista disponible. En este ejemplo, va a ingerir datos de Azure Storage.

    Screenshot of get data window with source tab selected.

Configurar

  1. Seleccione una tabla de destino. Si desea ingerir datos en una nueva tabla, seleccione + Nueva tabla y escriba un nombre de tabla.

    Nota:

    Los nombres de tabla pueden tener hasta 1024 caracteres, entre los que se incluyen espacios, alfanuméricos, guiones y caracteres de subrayado. No se admiten caracteres especiales.

  2. Para agregar el origen de datos, pegue la cadena de conexión de almacenamiento en el campo URI y seleccione +. En la tabla siguiente se enumeran los métodos de autenticación admitidos y los permisos necesarios para ingerir datos de Azure Storage.

    Método de autenticación Blob individual Contenedor de blobs Azure Data Lake Storage Gen2
    Token de acceso compartido (SAS) Lectura y escritura Lectura y enumeración Lectura y enumeración
    Clave de acceso de la cuenta de almacenamiento

    Nota:

    • Puede agregar hasta 10 blobs individuales o ingerir hasta 5000 blobs desde un único contenedor. No se pueden ingerir ambos al mismo tiempo.
    • Cada blob puede tener un tamaño máximo de 1 GB sin comprimir.
    1. Si pega una cadena de conexión para un contenedor de blobs o una instancia de Azure Data Lake Storage Gen2, puede agregar los siguientes filtros opcionales:

      Screenshot of configure tab with new table entered and one sample data file selected.

      Configuración Descripción del campo
      Filtros de archivo (opcional)
      Folder path (Ruta de acceso a la carpeta) Filtra los datos para ingerir archivos con una ruta de acceso de carpeta específica.
      Extensión de archivo Filtra los datos para ingerir archivos solo con una extensión de archivo específica.
  3. Seleccione Siguiente.

Inspeccionar

La pestaña Inspeccionar se abre con una vista previa de los datos.

Para completar el proceso de ingesta, seleccione Finalizar.

Screenshot of the inspect tab.

Opcionalmente:

Editar columnas

Nota:

  • En el caso de formatos tabulares (CSV, TSV, PSV), no se puede asignar una columna dos veces. Para asignar a una columna existente, elimine primero la nueva columna.
  • No se puede cambiar un tipo de columna existente. Si intenta asignar a una columna con un formato diferente, puede acabar con columnas vacías.

Los cambios que pueda realizar a una tabla dependerán de los siguientes parámetros:

  • El tipo de tabla es nuevo o existente
  • El tipo de asignación es nuevo o existente
Tipo de tabla. Tipo de asignación Ajustes disponibles
Tabla nueva Asignación nueva Cambio del nombre de columna, cambio del tipo de datos, cambio del origen de datos, la asignación de transformaciones, adición de columna, eliminación de columna
Tabla existente Asignación nueva Adición de columna (en la que puede cambiar el tipo de datos, cambiar el nombre y actualizar)
Tabla existente Asignación existente None

Screenshot of columns open for editing.

Asignación de transformaciones

Algunas de las asignaciones de formato de datos (Parquet, JSON y Avro) admiten transformaciones sencillas en el momento de la ingesta. Para aplicar la asignación de transformaciones, cree o actualice una columna en la ventana Editar columnas.

La asignación de transformaciones se puede realizar en una columna de tipo string o datetime y un origen con un tipo de datos int o long. Las asignaciones de transformaciones que se admiten son:

  • DateTimeFromUnixSeconds
  • DateTimeFromUnixMilliseconds
  • DateTimeFromUnixMicroseconds
  • DateTimeFromUnixNanoseconds

Opciones avanzadas basadas en el tipo de datos

Tabular (CSV, TSV, PSV):

  • Si va a ingerir formatos tabulares en una tabla existente, puede seleccionar Opciones avanzadas>Mantener esquema de tabla. Los datos tabulares no incluyen necesariamente los nombres de columna que se usan para asignar datos de origen a las columnas existentes. Cuando se activa esta opción, la asignación se realiza por orden y el esquema de tabla es el mismo. Si esta opción está desactivada, se crean nuevas columnas para los datos entrantes, independientemente de la estructura de datos.

  • Para usar la primera fila como nombres de columna, seleccione Opciones avanzadas>La primera fila es el encabezado de la columna.

    Screenshot of advanced CSV options.

JSON:

  • Para determinar la división de columnas de datos JSON, seleccione Opciones avanzadas>Niveles anidados, de 1 a 100.

  • Si selecciona Opciones avanzadas>Omitir líneas JSON con errores, los datos se ingieren en formato JSON. Si no selecciona esta casilla, los datos se ingieren en formato de JSON múltiple.

    Screenshot of advanced JSON options.

Resumen

En la ventana Preparación de datos, los tres pasos se marcan con marcas de verificación verdes cuando la ingesta de datos se haya completado correctamente. Puede seleccionar una tarjeta a la que consultar, quitar los datos ingeridos o ver un panel del resumen de ingesta.

Screenshot of summary page with successful ingestion completed.