Dados de segurança de Chicago

Artigo
12/06/2023

Pedidos de emergência de 311 de Chicago, entre os quais queixas históricas relativas ao código sanitário, buracos no chão comunicados e problemas com a iluminação pública

Todas as queixas relativas ao código sanitário abertas feitas para o 311 e todos os pedidos satisfeitos desde 1 de janeiro de 2011. O Departamento de Urbanismo e Obras investiga e resolve todas as infrações reportadas ao código sanitário de Chicago. Os residentes podem apresentar queixas por infrações relativas a caixotes do lixo a transbordar e lixo nas ruas. Por vezes, o 311 recebe queixas duplicadas relativas a infrações ao código sanitário. Os pedidos marcados como duplicados estão na mesma área geográfica dos pedidos anteriores e foram introduzidos no sistema Customer Service Request (CSR, Pedido de Serviço ao Cliente) do 311 por volta da mesma altura. As reclamações duplicadas são rotuladas como tal no campo de status, como "Aberto - Dup" ou "Concluído - Dup".

Nota

A Microsoft fornece os Conjuntos de Dados Abertos do Azure "no estado em que se encontram". A Microsoft não oferece garantias, expressas ou implícitas, garantias ou condições em relação ao seu uso dos conjuntos de dados. Na medida permitida pela legislação local, a Microsoft se isenta de qualquer responsabilidade por quaisquer danos ou perdas, incluindo diretos, consequenciais, especiais, indiretos, incidentais ou punitivos, resultantes do uso dos conjuntos de dados por parte do cliente.

Este conjunto de dados é disponibilizado de acordo com os termos originais em que a Microsoft recebeu os dados de origem. O conjunto de dados pode incluir dados obtidos junto da Microsoft.

O Departamento de Gestão da Mobilidade de Chicago supervisiona o arranjo dos buracos no chão numa superfície com mais de 6500 quilómetros de artérias e zonas residenciais da cidade. O CDOT recebe denúncias de buracos através do call center 311. O CDOT usa um sistema de mapeamento e rastreamento para identificar locais de buracos e agendar equipes.

Uma chamada para o 311 pode gerar múltiplas reparações de buracos. Quando uma equipa chega ao local de reparação de um buraco, tapa também todos os outros buracos nesse quarteirão. Os reparos de buracos são concluídos dentro de sete dias desde o primeiro relato de um buraco até 311. As condições meteorológicas, as temperaturas frias e a precipitação influenciam o tempo que demora uma reparação. Nos dias em que o tempo está cooperativo e não há precipitação, as tripulações podem preencher vários milhares de buracos.

Se uma solicitação anterior já estiver aberta para um buffer de quatro endereços, a solicitação receberá o status de "Duplicado (Aberto)". Por exemplo, se houver um CSR existente para 6535 N Western e uma nova solicitação for recebida para 6531 N Western (que está dentro de quatro endereços do CSR original), a nova solicitação receberá um status de "Duplicado (Aberto)". Uma vez que a rua é reparada, o status em CSR será "Concluído" para a solicitação original e "Duplicado (fechado)" para quaisquer solicitações duplicadas. Os pedidos de reparação também recebem o estado "Completed" quando a morada em causa é inspecionada, mas não são encontrados buracos ou os que havia já foram preenchidos. Se outro problema for encontrado com a rua, como um "cave-in" ou "corte de utilidade falhou", então é direcionado para o departamento ou empreiteiro apropriado.

Todos os relatórios abertos de "Street Lights - All out" (uma interrupção de três ou mais luzes) feitos para 311 e todos os pedidos concluídos desde 1 de janeiro de 2011. O Departamento de Transporte de Chicago (CDOT) supervisiona aproximadamente 250.000 luzes de rua que iluminam ruas arteriais e residenciais em Chicago. O Departamento de Mobilidade repara e substitui as lâmpadas em resposta às queixas de cortes de iluminação feitas pelos residentes. Sempre que o CDOT recebe um relatório de um "All out", o eletricista designado para fazer o reparo olha para as luzes nesse circuito (cada circuito tem de 8 a 16 luzes) para se certificar de que estão funcionando corretamente. Se for feita outra queixa de corte de iluminação no mesmo circuito dentro de quatro dias após a queixa original, a segunda queixa recebe automaticamente o estado “Duplicate (Open)”. Como o eletricista do CDOT estará olhando para as luzes em um circuito para verificar se elas estão funcionando, qualquer endereço "Duplicado (Aberto)" será automaticamente observado e reparado. Após a reparação das lâmpadas, o estado no CSR passa para "Completed" no pedido original e para "Duplicate (Closed)" em todos os duplicados. Os pedidos de reparação também recebem o estado "Completed" se as lâmpadas em causa forem inspecionadas, mas tiverem em bom estado e a funcionar, se o pedido disser respeito a uma morada que não existe ou se a manutenção das lâmpadas estiver a cargo de um empreiteiro. Os dados são atualizados diariamente.

Volume e retenção

Este conjunto de dados é armazenado no formato Parquet. É atualizado diariamente e contém cerca de 1 milhão de linhas (80 MB) no total a partir de 2018.

Este conjunto de dados contém registos históricos acumulados de 2011 a 2018. Pode utilizar as definições de parâmetros no nosso SDK para obter os dados num intervalo de tempo específico.

Localização do armazenamento

Este conjunto de dados é armazenado na região do Azure E.U.A. Leste. A alocação de recursos de computação nos E.U.A. Leste é recomendada por questões de afinidade.

Informações adicionais

Este conjunto de dados foi obtido junto da câmara de Chicago.

Veja os termos de utilização deste conjunto de dados aqui. Se tiver dúvidas sobre a origem de dados, envie um e-mail para dataportal@cityofchicago.org.

Colunas

Name	Tipo de dados	Exclusivo	Values (sample)	Description
Endereço	string	140,612	" " 1 Prefeitura por favor Boston MA 02108	Localização.
category	string	54	Limpeza de Ruas, Saneamento	Motivo do pedido de serviço.
subtipo de dados	string	1	311_All	"311_All"
Tipo de dados	string	1	Segurança	"Segurança"
dateTime	carimbo de data/hora	1,529,075	2015-07-23 10:51:00 2015-07-23 10:47:00	Data e hora de abertura do pedido de emergência.
latitude	duplo	1,622	42.3594 42.3603	Este é o valor da latitude. As linhas da latitude são paralelas ao equador.
longitude	duplo	1,806	-71.0587 -71.0583	Este é o valor da longitude. As linhas da longitude são perpendiculares às linhas da latitude e todas passam por ambos os polos.
origem	string	7	Constituinte Call Citizens Connect App	Origem original do incidente.
estado	string	2	Fechado Aberto	Estado do caso.
Subcategoria	string	209	Pedidos de Fiscalização de Estacionamento para Limpeza de Ruas	Tipo do pedido de serviço.

Pré-visualizar

Tipo de dados	subtipo de dados	dateTime	category	Subcategoria	estado	Endereço	latitude	longitude	origem
Segurança	311_All	25/04/2021 23:55:04	Reclamação de apagão de luz na rua	nulo	Abertura	4800 W WASHINGTON BLVD	41.882148426	-87.74556256	nulo
Segurança	311_All	25/04/2021 23:54:31	311 LIGUE APENAS PARA INFORMAÇÕES	nulo	Concluída	2111 W Lexington ST			nulo
Segurança	311_All	25/04/2021 23:52:11	311 LIGUE APENAS PARA INFORMAÇÕES	nulo	Concluída	2111 W Lexington ST			nulo
Segurança	311_All	25/04/2021 23:49:56	311 LIGUE APENAS PARA INFORMAÇÕES	nulo	Concluída	2111 W Lexington ST			nulo
Segurança	311_All	25/04/2021 23:48:53	Manutenção de carrinhos de lixo	nulo	Abertura	3409 E 106TH ST	41.702545562	-87.540917602	nulo
Segurança	311_All	25/04/2021 23:46:01	311 LIGUE APENAS PARA INFORMAÇÕES	nulo	Concluída	2111 W Lexington ST			nulo
Segurança	311_All	25/04/2021 23:45:46	Reclamação de ruído de aeronaves	nulo	Concluída	10510 W ZEMKE RD			nulo
Segurança	311_All	25/04/2021 23:45:02	311 LIGUE APENAS PARA INFORMAÇÕES	nulo	Concluída	2111 W Lexington ST			nulo
Segurança	311_All	25/04/2021 23:44:24	Pedido de Inspeção de Cave-In de Esgoto	nulo	Abertura	7246 W AVENIDA THORNDALE	41.987984339	-87.808702917	nulo

Acesso a dados

Azure Notebooks

# This is a package in preview.
from azureml.opendatasets import ChicagoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = ChicagoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_pandas_dataframe()

safety.info()

# Pip install packages
import os, sys

!{sys.executable} -m pip install azure-storage-blob
!{sys.executable} -m pip install pyarrow
!{sys.executable} -m pip install pandas

# Azure storage access info
azure_storage_account_name = "azureopendatastorage"
azure_storage_sas_token = r""
container_name = "citydatacontainer"
folder_name = "Safety/Release/city=Chicago"

from azure.storage.blob import BlockBlobServicefrom azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient

if azure_storage_account_name is None or azure_storage_sas_token is None:
    raise Exception(
        "Provide your specific name and key for your Azure Storage account--see the Prerequisites section earlier.")

print('Looking for the first parquet under the folder ' +
      folder_name + ' in container "' + container_name + '"...')
container_url = f"https://{azure_storage_account_name}.blob.core.windows.net/"
blob_service_client = BlobServiceClient(
    container_url, azure_storage_sas_token if azure_storage_sas_token else None)

container_client = blob_service_client.get_container_client(container_name)
blobs = container_client.list_blobs(folder_name)
sorted_blobs = sorted(list(blobs), key=lambda e: e.name, reverse=True)
targetBlobName = ''
for blob in sorted_blobs:
    if blob.name.startswith(folder_name) and blob.name.endswith('.parquet'):
        targetBlobName = blob.name
        break

print('Target blob to download: ' + targetBlobName)
_, filename = os.path.split(targetBlobName)
blob_client = container_client.get_blob_client(targetBlobName)
with open(filename, 'wb') as local_file:
    blob_client.download_blob().download_to_stream(local_file)

# Read the parquet file into Pandas data frame
import pandas as pd

print('Reading the parquet file into Pandas data frame')
df = pd.read_parquet(filename)

# you can add your filter at below
print('Loaded as a Pandas data frame: ')
df

Azure Databricks

# This is a package in preview.
# You need to pip install azureml-opendatasets in Databricks cluster. https://learn.microsoft.com/azure/data-explorer/connect-from-databricks#install-the-python-library-on-your-azure-databricks-cluster
from azureml.opendatasets import ChicagoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = ChicagoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

display(safety.limit(5))

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=Chicago"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Azure Synapse

# This is a package in preview.
from azureml.opendatasets import ChicagoSafety

from datetime import datetime
from dateutil import parser

end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = ChicagoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

# Display top 5 rows
display(safety.limit(5))

# Display data statistic information
display(safety, summary = True)

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=Chicago"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Exemplos

Veja o exemplo do City Safety Analytics no GitHub.

Próximos passos

Exiba o restante dos conjuntos de dados no catálogo Open Datasets.