Преобразование сложных типов данных

При работе с вложенными типами данных Azure Databricks по умолчанию оптимизирует определенные преобразования. В следующих примерах кода показаны шаблоны для работы с сложными и вложенными типами данных в Azure Databricks.

Нотация точек для доступа к вложенным данным

Для доступа к вложенного поля можно использовать нотацию точек (.).

Python

df.select("column_name.nested_field")

SQL

SELECT column_name.nested_field FROM table_name

Выберите все вложенные поля

Используйте оператор star (*) для выбора всех полей в заданном поле.

Примечание.

Это только распаковка вложенных полей на указанной глубине.

Python

df.select("column_name.*")

SQL

SELECT column_name.* FROM table_name

Создайте новое вложенное поле

Используйте функцию struct() для создания нового вложенного поля.

Python

from pyspark.sql.functions import struct, col

df.select(struct(col("field_to_nest").alias("nested_field")).alias("column_name"))

SQL

SELECT struct(field_to_nest AS nested_field) AS column_name FROM table_name

Вложите все поля в столбец

Используйте оператор звездочки (*) для вложения всех полей из источника данных в виде одного столбца.

Python

from pyspark.sql.functions import struct

df.select(struct("*").alias("column_name"))

SQL

SELECT struct(*) AS column_name FROM table_name

Выберите именованное поле из вложенного столбца

Используйте квадратные скобки [] для выбора вложенных полей из столбца.

Python

from pyspark.sql.functions import col

df.select(col("column_name")["field_name"])

SQL

SELECT column_name["field_name"] FROM table_name

Взрыв вложенных элементов из карты или массива

Используйте функцию explode() для распаковки значений из столбцов ARRAY и MAP типов.

ARRAY столбцы хранят значения в виде списка. При распаковке с использованием explode() каждое значение становится строкой в выходных данных.

Python

from pyspark.sql.functions import explode

df.select(explode("array_name").alias("column_name"))

SQL

SELECT explode(array_name) AS column_name FROM table_name

MAP столбцы хранят значения в виде упорядоченных пар "ключ-значение". При распаковке с помощью explode()каждый ключ становится столбцом, а значения становятся строками.

Python

from pyspark.sql.functions import explode

df.select(explode("map_name").alias("column1_name", "column2_name"))

SQL

SELECT explode(map_name) AS (column1_name, column2_name) FROM table_name

Создание массива из списка или набора

Используйте функции collect_list() или collect_set() для преобразования значений столбца в массив. collect_list() собирает все значения в столбце, а collect_set() собирает только уникальные значения.

Примечание.

Spark не гарантирует порядок элементов в массиве в результате любой операции.

Python

from pyspark.sql.functions import collect_list, collect_set

df.select(collect_list("column_name").alias("array_name"))
df.select(collect_set("column_name").alias("set_name"))

SQL

SELECT collect_list(column_name) AS array_name FROM table_name;
SELECT collect_set(column_name) AS set_name FROM table_name;

Выбор столбца из карты в массиве

Вы также можете использовать нотацию точек (.) для доступа к полям в картах, содержащихся в массиве. Возвращает массив всех значений для указанного поля.

Рассмотрим следующую структуру данных:

{
  "column_name": [
    { "field1": 1, "field2": "a" },
    { "field1": 2, "field2": "b" }
  ]
}

Значения из field1 можно возвращать в виде массива со следующим запросом:

Python

df.select("column_name.field1")

SQL

SELECT column_name.field1 FROM table_name

Преобразование вложенных данных в JSON

Используйте функцию to_json для преобразования сложного типа данных в JSON.

Python

from pyspark.sql.functions import to_json

df.select(to_json("column_name").alias("json_name"))

SQL

SELECT to_json(column_name) AS json_name FROM table_name

Чтобы закодировать все содержимое запроса или кадра данных, объедините его с struct(*).

Python

from pyspark.sql.functions import to_json, struct

df.select(to_json(struct("*")).alias("json_name"))

SQL

SELECT to_json(struct(*)) AS json_name FROM table_name

Примечание.

Azure Databricks также поддерживает to_avro и to_protobuf для преобразования сложных типов данных для взаимодействия с интегрированными системами.

Преобразование данных JSON в сложные данные

Используйте функцию для преобразования данных JSON в собственные сложные from_json типы данных.

Примечание.

Необходимо указать схему для данных JSON.

Python

from pyspark.sql.functions import from_json

schema = "column1 STRING, column2 DOUBLE"

df.select(from_json("json_name", schema).alias("column_name"))

SQL

SELECT from_json(json_name, "column1 STRING, column2 DOUBLE") AS column_name FROM table_name

Записная книжка: преобразование сложных типов данных

В следующих записных книжках приведены примеры работы с сложными типами данных для Python, Scala и SQL.

Преобразование сложных типов данных в блокноте Python

Возьмите записную книжку

Преобразование сложных типов данных в блокноте Scala

Возьмите записную книжку

Записная книжка преобразования сложных типов данных SQL

Возьмите записную книжку