Dados de segurança de São Francisco

Artigo
12/06/2023

Chamadas para os Bombeiros para emergências e incidentes de 311 em São Francisco.

Nota

A Microsoft fornece os Conjuntos de Dados Abertos do Azure "no estado em que se encontram". A Microsoft não oferece garantias, expressas ou implícitas, garantias ou condições em relação ao seu uso dos conjuntos de dados. Na medida permitida pela legislação local, a Microsoft se isenta de qualquer responsabilidade por quaisquer danos ou perdas, incluindo diretos, consequenciais, especiais, indiretos, incidentais ou punitivos, resultantes do uso dos conjuntos de dados por parte do cliente.

Este conjunto de dados é disponibilizado de acordo com os termos originais em que a Microsoft recebeu os dados de origem. O conjunto de dados pode incluir dados obtidos junto da Microsoft.

Chamadas para os Bombeiros para Emergências inclui todas as respostas dos Bombeiros a chamadas. Cada registo inclui o número de telefone, o número do incidente, a morada, o identificador do regimento, o tipo de chamada e a disposição. Também estão incluídos todos os intervalos de tempo relevantes. Uma vez que este conjunto de dados se baseia nas respostas e a maioria das chamadas envolvem vários regimentos, cada número de telefone tem vários registos. Os endereços estão associados a um número de bloco, interseção ou caixa de chamada, não a um endereço específico.

311 Os casos incluem casos associados a um lugar ou coisa (por exemplo, parques, ruas ou edifícios) e criados após 1 de julho de 2008. Os casos que são registrados por um usuário sobre suas próprias necessidades são excluídos. Por exemplo, questões de impostos sobre propriedades ou empresas, pedidos de permissão de estacionamento e assim por diante. Para obter mais informações, consulte o link do programa.

Volume e retenção

Este conjunto de dados é armazenado no formato Parquet. É atualizado diariamente com cerca de 6 milhões de linhas (400 MB) a partir de 2019.

Este conjunto de dados contém registos históricos acumulados desde 2015 até ao presente. Pode utilizar as definições de parâmetros no nosso SDK para obter os dados num intervalo de tempo específico.

Localização do armazenamento

Este conjunto de dados é armazenado na região do Azure E.U.A. Leste. A alocação de recursos de computação nos E.U.A. Leste é recomendada por questões de afinidade.

Colunas

Name	Tipo de dados	Exclusivo	Values (sample)	Description
Endereço	string	280,652	Não associado a um endereço específico 0 Bloco da 6ª ST	Endereço do incidente (nota: endereço e localização generalizados para o meio quarteirão da rua, cruzamento ou local da caixa de chamada mais próxima, para proteger a privacidade do chamador).
category	string	108	Limpeza de ruas e calçadas potencialmente fatal	O nome legível por humanos do tipo de pedido de emergência para chamadas para o 311 ou grupo de tipo de chamadas para situações de incêndio para o 112.
subtipo de dados	string	2	911_Fire 311_All	"911_Fire" ou "311_All".
Tipo de dados	string	1	Segurança	"Segurança"
dateTime	carimbo de data/hora	6,496,563	2020-10-19 12:28:08 2020-07-28 06:40:26	A data e hora a que o pedido de emergência foi feito ou quando a chamada de incêndio foi recebida.
latitude	duplo	1,615,369	37.777624238929 37.786117211838	Latitude da localização, utilizando a projeção WGS84.
longitude	duplo	1,554,612	-122.39998111124 -122.419854245692	Longitude da localização, utilizando a projeção WGS84.
origem	string	9	Telefone Mobile/Open311	Mecanismo ou caminho pelo qual a solicitação de serviço foi recebida; normalmente "Telefone", "Texto/SMS", "Website", "Aplicação Móvel", "Twitter", etc., mas os termos podem variar consoante o sistema.
estado	string	3	Fechado Aberto	Indicador de uma palavra do estado atual do pedido de emergência. (Nota: GeoReport V2 só permite "aberto" e "fechado")
Subcategoria	string	1,270	Incidentes Médicos Itens Volumosos	O nome legível por humanos do subtipo do pedido de serviço para chamadas para o 311 ou tipo de chamadas para chamadas de situações de incêndio para o 112.

Pré-visualizar

Tipo de dados	subtipo de dados	dateTime	category	Subcategoria	estado	Endereço	latitude	longitude	origem
Segurança	911_Fire	26/04/2021 02:56:13	Sem risco de vida	Incidente Médico	nulo	700 Bloco de GEARY ST	37.7863607914647	-122.415616900246	nulo
Segurança	911_Fire	26/04/2021 02:56:13	Sem risco de vida	Incidente Médico	nulo	700 Bloco de GEARY ST	37.7863607914647	-122.415616900246	nulo
Segurança	911_Fire	26/04/2021 02:54:03	Sem risco de vida	Incidente Médico	nulo	0 Bloco de ESSEX ST	37.7860048266229	-122.395077258809	nulo
Segurança	911_Fire	26/04/2021 02:54:03	Sem risco de vida	Incidente Médico	nulo	0 Bloco de ESSEX ST	37.7860048266229	-122.395077258809	nulo
Segurança	911_Fire	26/04/2021 02:52:17	Sem risco de vida	Incidente Médico	nulo	700 Bloco da 29ª AVE	37.7751770865322	-122.488604397217	nulo
Segurança	911_Fire	26/04/2021 02:50:28	Potencialmente fatal	Incidente Médico	nulo	1000 Bloco de GEARY ST	37.7857350982044	-122.420555240691	nulo
Segurança	911_Fire	26/04/2021 02:50:28	Potencialmente fatal	Incidente Médico	nulo	1000 Bloco de GEARY ST	37.7857350982044	-122.420555240691	nulo
Segurança	911_Fire	26/04/2021 02:33:52	Sem risco de vida	Incidente Médico	nulo	100 Bloco de BELVEDERE ST	37.767791696654	-122.449332294394	nulo
Segurança	911_Fire	26/04/2021 02:33:52	Sem risco de vida	Incidente Médico	nulo	100 Bloco de BELVEDERE ST	37.767791696654	-122.449332294394	nulo
Segurança	911_Fire	26/04/2021 02:33:51	Potencialmente fatal	Incidente Médico	nulo	100 Bloco da 6ª ST	37.7807920802756	-122.408385745499	nulo

Acesso a dados

Azure Notebooks

# This is a package in preview.
from azureml.opendatasets import NycSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = NycSafety(start_date=start_date, end_date=end_date)
safety = safety.to_pandas_dataframe()

safety.info()

# Pip install packages
import os, sys

!{sys.executable} -m pip install azure-storage-blob
!{sys.executable} -m pip install pyarrow
!{sys.executable} -m pip install pandas

# Azure storage access info
azure_storage_account_name = "azureopendatastorage"
azure_storage_sas_token = r""
container_name = "citydatacontainer"
folder_name = "Safety/Release/city=NewYorkCity"

from azure.storage.blob import BlockBlobServicefrom azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient

if azure_storage_account_name is None or azure_storage_sas_token is None:
    raise Exception(
        "Provide your specific name and key for your Azure Storage account--see the Prerequisites section earlier.")

print('Looking for the first parquet under the folder ' +
      folder_name + ' in container "' + container_name + '"...')
container_url = f"https://{azure_storage_account_name}.blob.core.windows.net/"
blob_service_client = BlobServiceClient(
    container_url, azure_storage_sas_token if azure_storage_sas_token else None)

container_client = blob_service_client.get_container_client(container_name)
blobs = container_client.list_blobs(folder_name)
sorted_blobs = sorted(list(blobs), key=lambda e: e.name, reverse=True)
targetBlobName = ''
for blob in sorted_blobs:
    if blob.name.startswith(folder_name) and blob.name.endswith('.parquet'):
        targetBlobName = blob.name
        break

print('Target blob to download: ' + targetBlobName)
_, filename = os.path.split(targetBlobName)
blob_client = container_client.get_blob_client(targetBlobName)
with open(filename, 'wb') as local_file:
    blob_client.download_blob().download_to_stream(local_file)

# Read the parquet file into Pandas data frame
import pandas as pd

print('Reading the parquet file into Pandas data frame')
df = pd.read_parquet(filename)

# you can add your filter at below
print('Loaded as a Pandas data frame: ')
df

Azure Databricks

# This is a package in preview.
# You need to pip install azureml-opendatasets in Databricks cluster. https://learn.microsoft.com/azure/data-explorer/connect-from-databricks#install-the-python-library-on-your-azure-databricks-cluster
from azureml.opendatasets import NycSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = NycSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

display(safety.limit(5))

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=NewYorkCity"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Azure Synapse

# This is a package in preview.
from azureml.opendatasets import NycSafety

from datetime import datetime
from dateutil import parser

end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = NycSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

# Display top 5 rows
display(safety.limit(5))

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=NewYorkCity"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Exemplos

Veja o exemplo do City Safety Analytics no GitHub.

Próximos passos

Exiba o restante dos conjuntos de dados no catálogo Open Datasets.