parse_url

Extrai uma parte especificada de uma URL. Se for fornecida uma chave, devolve o valor associado do parâmetro de consulta.

Sintaxe

from pyspark.sql import functions as sf

sf.parse_url(url, partToExtract, key=None)

Parâmetros

Parâmetro	Tipo	Description
url	pyspark.sql.Column ou str	Uma coluna de strings, cada uma representando um URL.
partToExtract	pyspark.sql.Column ou str	Uma coluna de strings, cada uma representando a parte a extrair do URL.
key	pyspark.sql.Column ou força, opcional	Uma coluna de cadeias, cada uma representando a chave de um parâmetro de consulta na URL.

Devoluções

pyspark.sql.Column: Uma nova coluna de strings, cada uma representando o valor da parte extraída da URL.

Examples

Exemplo 1: Extrair a parte da consulta a partir de uma URL

from pyspark.sql import functions as sf
df = spark.createDataFrame(
  [("https://spark.apache.org/path?query=1", "QUERY")],
  ["url", "part"]
)
df.select(sf.parse_url(df.url, df.part)).show()

+--------------------+
|parse_url(url, part)|
+--------------------+
|             query=1|
+--------------------+

Exemplo 2: Extração do valor de um parâmetro específico de consulta a partir de uma URL

from pyspark.sql import functions as sf
df = spark.createDataFrame(
  [("https://spark.apache.org/path?query=1", "QUERY", "query")],
  ["url", "part", "key"]
)
df.select(sf.parse_url(df.url, df.part, df.key)).show()

+-------------------------+
|parse_url(url, part, key)|
+-------------------------+
|                        1|
+-------------------------+

Exemplo 3: Extração da parte do protocolo a partir de uma URL

from pyspark.sql import functions as sf
df = spark.createDataFrame(
  [("https://spark.apache.org/path?query=1", "PROTOCOL")],
  ["url", "part"]
)
df.select(sf.parse_url(df.url, df.part)).show()

+--------------------+
|parse_url(url, part)|
+--------------------+
|               https|
+--------------------+

Exemplo 4: Extração da parte do host a partir de uma URL

from pyspark.sql import functions as sf
df = spark.createDataFrame(
  [("https://spark.apache.org/path?query=1", "HOST")],
  ["url", "part"]
)
df.select(sf.parse_url(df.url, df.part)).show()

+--------------------+
|parse_url(url, part)|
+--------------------+
|    spark.apache.org|
+--------------------+

Exemplo 5: Extrair a parte do caminho a partir de uma URL

from pyspark.sql import functions as sf
df = spark.createDataFrame(
  [("https://spark.apache.org/path?query=1", "PATH")],
  ["url", "part"]
)
df.select(sf.parse_url(df.url, df.part)).show()

+--------------------+
|parse_url(url, part)|
+--------------------+
|               /path|
+--------------------+