Dados de segurança de Seattle

Artigo
09/03/2024

Despachos do corpo de bombeiros de Seattle para a central de emergência.

Observação

A Microsoft fornece o Azure Open Datasets no estado em que se encontra. A Microsoft não oferece garantias nem coberturas, expressas ou implícitas, em relação ao uso dos conjuntos de dados. Até o limite permitido pela legislação local, a Microsoft se exime de toda a obrigação por danos ou perdas, inclusive diretos, consequentes, especiais, indiretos, acidentais ou punitivos, resultantes do uso dos conjuntos de dados.

Esse conjunto de dados é fornecido de acordo com os termos originais com que a Microsoft recebeu os dados de origem. O conjunto de dados pode incluir dados originados da Microsoft.

Volume e retenção

Este conjunto de dados está armazenado no formato Parquet. Ele é atualizado diariamente e continha cerca de 800.000 linhas (20 MB) em 2019.

Este conjunto de dados contém registros históricos acumulados de 2010 até o presente. Você pode usar as configurações de parâmetro no nosso SDK para buscar dados em um intervalo de tempo específico.

Local de armazenamento

Este conjunto de dados está armazenado na região Leste dos EUA do Azure. Recomenda-se alocar recursos de computação no Leste dos EUA para afinidade.

Informações adicionais

Este conjunto de dados é originado do governo da cidade de Seattle. Para saber mais, consulte o site da cidade de Seattle. Exiba o Licenciamento e a atribuição para os termos de uso deste conjunto de dados. Envie um email para open.data@seattle.gov em caso de dúvidas sobre a fonte de dados.

Colunas

Nome	Tipo de dados	Exclusivo	Valores (exemplo)	Descrição
address	string	196,965	517 3º AV 318 2º AV et S	Localização do incidente.
category	string	232	Resposta de auxílio Resposta médica	Tipo de resposta.
dataSubtype	string	1	911_Fire	“911_Fire”
dataType	string	1	Segurança	“Segurança”
dateTime	timestamp	1,533,401	2020-11-04 06:49:00 2019-06-19 13:49:00	A data e a hora da chamada.
latitude	double	94,332	47.602172 47.600194	Este é o valor da latitude. As linhas de latitude são paralelas ao Equador.
longitude	double	79,492	-122.330863 -122.330541	Este é o valor da longitude. As linhas de longitude são perpendiculares às linhas de latitude e todas passam em ambos os polos.

Versão Prévia

dataType	dataSubtype	dateTime	category	subcategory	status	address	latitude	longitude	source
Segurança	911_Fire	4/28/2021 5:22:00 AM	Fogo de lixo	nulo	nulo	200 University St	47.607299	-122.337087	nulo
Segurança	911_Fire	4/28/2021 5:15:00 AM	Incidente triado	nulo	nulo	6th Ave / Olive Way	47.61313	-122.336282	nulo
Segurança	911_Fire	4/28/2021 5:12:00 AM	Resposta de auxílio	nulo	nulo	4th Ave S / Seattle Blvd S	47.596486	-122.329046	nulo
Segurança	911_Fire	4/28/2021 5:09:00 AM	Fogo de lixo	nulo	nulo	3rd Ave / University St	47.607763	-122.335976	nulo
Segurança	911_Fire	4/28/2021 4:57:00 AM	Resposta de baixa acuidade	nulo	nulo	533 3rd Ave W	47.623717	-122.360635	nulo
Segurança	911_Fire	4/28/2021 4:57:00 AM	Trans à AMR	nulo	nulo	4638 S Austin St	47.534702	-122.274812	nulo
Segurança	911_Fire	4/28/2021 4:55:00 AM	Incidente triado	nulo	nulo	8th Ave N / Harrison St	47.622051	-122.341066	nulo

Acesso de dados

Azure Notebooks

# This is a package in preview.
from azureml.opendatasets import SeattleSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SeattleSafety(start_date=start_date, end_date=end_date)
safety = safety.to_pandas_dataframe()

safety.info()

# Pip install packages
import os, sys

!{sys.executable} -m pip install azure-storage-blob
!{sys.executable} -m pip install pyarrow
!{sys.executable} -m pip install pandas

# Azure storage access info
azure_storage_account_name = "azureopendatastorage"
azure_storage_sas_token = r""
container_name = "citydatacontainer"
folder_name = "Safety/Release/city=Seattle"

from azure.storage.blob import BlockBlobServicefrom azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient

if azure_storage_account_name is None or azure_storage_sas_token is None:
    raise Exception(
        "Provide your specific name and key for your Azure Storage account--see the Prerequisites section earlier.")

print('Looking for the first parquet under the folder ' +
      folder_name + ' in container "' + container_name + '"...')
container_url = f"https://{azure_storage_account_name}.blob.core.windows.net/"
blob_service_client = BlobServiceClient(
    container_url, azure_storage_sas_token if azure_storage_sas_token else None)

container_client = blob_service_client.get_container_client(container_name)
blobs = container_client.list_blobs(folder_name)
sorted_blobs = sorted(list(blobs), key=lambda e: e.name, reverse=True)
targetBlobName = ''
for blob in sorted_blobs:
    if blob.name.startswith(folder_name) and blob.name.endswith('.parquet'):
        targetBlobName = blob.name
        break

print('Target blob to download: ' + targetBlobName)
_, filename = os.path.split(targetBlobName)
blob_client = container_client.get_blob_client(targetBlobName)
with open(filename, 'wb') as local_file:
    blob_client.download_blob().download_to_stream(local_file)

# Read the parquet file into Pandas data frame
import pandas as pd

print('Reading the parquet file into Pandas data frame')
df = pd.read_parquet(filename)

# you can add your filter at below
print('Loaded as a Pandas data frame: ')
df

Azure Databricks

# This is a package in preview.
# You need to pip install azureml-opendatasets in Databricks cluster. https://learn.microsoft.com/azure/data-explorer/connect-from-databricks#install-the-python-library-on-your-azure-databricks-cluster
from azureml.opendatasets import SeattleSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SeattleSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

display(safety.limit(5))

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=Seattle"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Azure Synapse

# This is a package in preview.
from azureml.opendatasets import SeattleSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SeattleSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

# Display top 5 rows
display(safety.limit(5))

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=Seattle"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

SELECT
    TOP 100 *
FROM
    OPENROWSET(
        BULK             'https://azureopendatastorage.blob.core.windows.net/citydatacontainer/Safety/Release/city=Seattle/*.parquet',
        FORMAT         = 'parquet'
    ) AS [r];

Exemplos

Consulte o exemplo de Análise de segurança de cidade no GitHub.

Próximas etapas

Exiba o restante dos conjuntos de dados no catálogo do Open Datasets.

Compartilhar via