Dados de segurança da cidade de Nova York

Todas as solicitações de serviço ao 311 na cidade de Nova York de 2010 ao presente.

Observação

A Microsoft fornece o Azure Open Datasets no estado em que se encontra. A Microsoft não oferece garantias nem coberturas, expressas ou implícitas, em relação ao uso dos conjuntos de dados. Até o limite permitido pela legislação local, a Microsoft se exime de toda a obrigação por danos ou perdas, inclusive diretos, consequentes, especiais, indiretos, acidentais ou punitivos, resultantes do uso dos conjuntos de dados.

Esse conjunto de dados é fornecido de acordo com os termos originais com que a Microsoft recebeu os dados de origem. O conjunto de dados pode incluir dados originados da Microsoft.

Volume e retenção

Este conjunto de dados está armazenado no formato Parquet. É atualizado diariamente e contém cerca de 12 milhões de linhas (500 MB) no total desde 2019.

Este conjunto de dados contém registros históricos acumulados de 2010 até o presente. Você pode usar as configurações de parâmetro no nosso SDK para buscar dados em um intervalo de tempo específico.

Local de armazenamento

Este conjunto de dados está armazenado na região Leste dos EUA do Azure. É recomendável alocar recursos de computação no Leste dos EUA para afinidade.

Informações adicionais

Este conjunto de dados é originado do governo da cidade de Nova York. Para obter mais informações, consulte o site da cidade de Nova York. Consulte os termos deste conjunto de dados.

Colunas

Nome	Tipo de dados	Exclusivo	Valores (exemplo)	Descrição
address	string	1\.536.593	655 EAST 230 STREET 78-15 PARSONS BOULEVARD	Número da casa do endereço do incidente fornecido pelo remetente.
category	string	446	Ruído - AQUECIMENTO/ÁGUA QUENTE residencial	Este é o primeiro nível de uma hierarquia que identifica o tópico ou a condição do incidente (Tipo de reclamação). Ele pode ter uma subcategoria correspondente (Descritor) ou pode ser independente.
dataSubtype	string	1	311_All	“311_All”
dataType	string	1	Segurança	“Segurança”
dateTime	timestamp	17.332.609	2013-01-24 00:00:00 2015-01-08 00:00:00	Data em que a solicitação de serviço foi criada.
latitude	double	1,513,691	40,89187241649303 40,72195913199264	Latitude baseada na área geográfica da localização do incidente.
longitude	double	1\.513.713	-73,86016845296459 -73,80969682426189	Longitude baseada em área geográfica da localização do incidente.
status	string	13	Fechado pendente	Status da solicitação de serviço enviada.
subcategory	string	1\.716	Música/festa alta em TODO O EDIFÍCIO	Está associado à categoria (Tipo de reclamação) e fornece mais detalhes sobre o incidente ou a condição. Os valores dependem do Tipo de reclamação e nem sempre são exigidos na Solicitação de serviço.

Versão Prévia

dataType	dataSubtype	dateTime	category	subcategory	status	address	latitude	longitude	source	extendedProperties
Segurança	311_All	4/25/2021 2:05:05 AM	Ruído - rua/calçada	Música/festa alta	Em andamento	2766 BATH AVENUE	40,5906129741766	-73,9847949011337	nulo
Segurança	311_All	4/25/2021 2:04:33 AM	Ruído - comercial	Música/festa alta	Em andamento	1033 WEBSTER AVENUE	40.8285784533256	-73,9117746958432	nulo
Segurança	311_All	4/25/2021 2:04:27 AM	Ruído - residencial	Música/festa alta	Em andamento	620 WEST 141 STREET	40,8241726554395	-73,9530069547366	nulo
Segurança	311_All	4/25/2021 2:04:04 AM	Ruído - residencial	Música/festa alta	Em andamento	1647 64 STREET	40,6218907202382	-73,9931125332078	nulo
Segurança	311_All	4/25/2021 2:04:01 AM	Ruído - residencial	Música/festa alta	Em andamento	30 LENOX AVENUE	40,7991622274945	-73,9517496365803	nulo
Segurança	311_All	4/25/2021 2:03:40 AM	Estacionamento ilegal	Tráfego de bloqueio com estacionado duplo	Em andamento	304 WEST 148 STREET	40,8248229687124	-73,940696262361	nulo
Segurança	311_All	4/25/2021 2:03:31 AM	Ruído - rua/calçada	Música/festa alta	Em andamento	ADEE AVENUE	40.8708386263454	-73,8382363208686	nulo
Segurança	311_All	4/25/2021 2:03:18 AM	Ruído - residencial	Música/festa alta	Em andamento	340 EVERGREEN AVENUE	40,6947512704197	-73,9248330229197	nulo
Segurança	311_All	4/25/2021 2:03:13 AM	Ruído - residencial	Estrondos/batidas que não param	Em andamento	25 REMSEN STREET	40,6948938116483	-73,9973494607802	nulo

Acesso de dados

Azure Notebooks

azureml-opendatasets

# This is a package in preview.
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_pandas_dataframe()

safety.info()

azure-storage

# Pip install packages
import os, sys

!{sys.executable} -m pip install azure-storage-blob
!{sys.executable} -m pip install pyarrow
!{sys.executable} -m pip install pandas

# Azure storage access info
azure_storage_account_name = "azureopendatastorage"
azure_storage_sas_token = r""
container_name = "citydatacontainer"
folder_name = "Safety/Release/city=SanFrancisco"

from azure.storage.blob import BlockBlobServicefrom azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient

if azure_storage_account_name is None or azure_storage_sas_token is None:
    raise Exception(
        "Provide your specific name and key for your Azure Storage account--see the Prerequisites section earlier.")

print('Looking for the first parquet under the folder ' +
      folder_name + ' in container "' + container_name + '"...')
container_url = f"https://{azure_storage_account_name}.blob.core.windows.net/"
blob_service_client = BlobServiceClient(
    container_url, azure_storage_sas_token if azure_storage_sas_token else None)

container_client = blob_service_client.get_container_client(container_name)
blobs = container_client.list_blobs(folder_name)
sorted_blobs = sorted(list(blobs), key=lambda e: e.name, reverse=True)
targetBlobName = ''
for blob in sorted_blobs:
    if blob.name.startswith(folder_name) and blob.name.endswith('.parquet'):
        targetBlobName = blob.name
        break

print('Target blob to download: ' + targetBlobName)
_, filename = os.path.split(targetBlobName)
blob_client = container_client.get_blob_client(targetBlobName)
with open(filename, 'wb') as local_file:
    blob_client.download_blob().download_to_stream(local_file)

# Read the parquet file into Pandas data frame
import pandas as pd

print('Reading the parquet file into Pandas data frame')
df = pd.read_parquet(filename)

# you can add your filter at below
print('Loaded as a Pandas data frame: ')
df

pyspark

Exemplo não disponível para essa combinação de plataforma/pacote.

Azure Databricks

azureml-opendatasets

# This is a package in preview.
# You need to pip install azureml-opendatasets in Databricks cluster. https://learn.microsoft.com/azure/data-explorer/connect-from-databricks#install-the-python-library-on-your-azure-databricks-cluster
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

display(safety.limit(5))

azure-storage

Exemplo não disponível para essa combinação de plataforma/pacote.

pyspark

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=SanFrancisco"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Azure Synapse

azureml-opendatasets

# This is a package in preview.
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

# Display top 5 rows
display(safety.limit(5))

azure-storage

Exemplo não disponível para essa combinação de plataforma/pacote.

pyspark

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=SanFrancisco"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Exemplos

• Consulte o exemplo de Análise de segurança de cidade no GitHub.

Próximas etapas

Exiba o restante dos conjuntos de dados no catálogo do Open Datasets.