Chicago Sejf ty danych

Zgłoszenia na numer 311 w Chicago, w tym historyczne skargi dotyczące naruszeń kodeksu sanitarnego, zgłoszone ubytki w jezdni oraz problemy z oświetleniem ulicznym

Wszystkie otwarte skargi dotyczące naruszeń kodeksu sanitarnego zgłoszone na numer 311 i wszystkie zakończone zgłoszenia od 1 stycznia 2011 r. Wydział Służb Miejskich (Department of Streets and Sanitation) bada zgłoszone naruszenia kodeksu sanitarnego miasta Chicago oraz wprowadza środki zaradcze. Mieszkańcy mogą zgłaszać problemy związane na przykład z przepełnionymi kontenerami na śmieci lub odpadami leżącymi na chodnikach. Skargi dotyczące naruszeń kodeksu sanitarnego są czasami zgłaszane na numer 311 wielokrotnie. Jako duplikaty oznaczane są zgłoszenia dotyczące tego samego obszaru geograficznego, co poprzednie zgłoszenie, i wprowadzone w systemie obsługi zgłoszeń numeru 311 mniej więcej w tym samym czasie. Zduplikowane skargi są oznaczone jako takie w polu stanu, jako "Otwórz — dup" lub "Ukończono — dup".

Uwaga

Firma Microsoft udostępnia zestawy danych Platformy Azure open na zasadzie "tak, jak to jest". Firma Microsoft nie udziela żadnych gwarancji, wyraźnych lub domniemanych, gwarancji ani warunków w odniesieniu do korzystania z zestawów danych. W zakresie dozwolonym zgodnie z prawem lokalnym firma Microsoft nie ponosi odpowiedzialności za wszelkie szkody lub straty, w tym bezpośrednie, wtórne, specjalne, pośrednie, przypadkowe lub karne wynikające z korzystania z zestawów danych.

Zestaw danych jest udostępniany zgodnie z pierwotnymi warunkami, na jakich firma Microsoft otrzymała dane źródłowe. Zestaw danych może zawierać dane pozyskane z firmy Microsoft.

Wydział Transportu Miasta Chicago (the Chicago Department of Transportation, CDOT) zajmuje się naprawą ubytków w jezdni zarówno na ulicach przelotowych, jak i osiedlowych, o łącznej długości ponad 4 000 mil. CDOT odbiera raporty o wybojach za pośrednictwem centrum telefonicznego 311. Usługa CDOT używa systemu mapowania i śledzenia do identyfikowania lokalizacji wybojów i planowania załóg.

Jedno zgłoszenie na numer 311 może wiązać się z naprawą większej liczby ubytków w jezdni. Ekipa wysłana, aby naprawić ubytek zgłoszony na numer 311, naprawia również wszystkie pozostałe ubytki w obrębie jednego kwartału. Naprawy wyboju są wykonywane w ciągu siedmiu dni od pierwszego raportu wyboju do 311. Warunki pogodowe, mroziene temps i opady wpływają na czas naprawy. W dniach, w których pogoda współpracuje i nie ma opadów, załogi mogą wypełnić kilka tysięcy wybojów.

Jeśli poprzednie żądanie jest już otwarte dla buforu czterech adresów, żądanie ma stan "Duplikuj (Otwórz)". Jeśli na przykład istnieje istniejący csr dla 6535 N Western i zostanie odebrane nowe żądanie dla 6531 N Western (który znajduje się w czterech adresach oryginalnego CSR), nowe żądanie ma stan "Duplikat (Otwórz)". Po naprawieniu ulicy stan w csr będzie brzmiał "Ukończono" dla oryginalnego żądania i "Zduplikowane (zamknięte)" dla wszelkich zduplikowanych żądań. Zgłoszenie może również otrzymać stan „Completed”, jeśli zgłoszony adres został sprawdzony, ale nie odnaleziono ubytków w jezdni lub ubytki zostały już uzupełnione. Jeśli zostanie znaleziony inny problem z ulicą, taki jak "cave-in" lub "nieudane cięcie narzędzi", zostanie skierowany do odpowiedniego działu lub wykonawcy.

Wszystkie otwarte raporty "Street Lights - All Out" (awaria trzech lub więcej świateł) wykonane do 311 i wszystkie żądania zakończone od 1 stycznia 2011 roku. Chicago Department of Transportation (CDOT) nadzoruje około 250.000 świateł ulicznych, które oświetlają arterial i ulice mieszkalne w Chicago. CDOT wykonuje naprawy oraz wymiany żarówek w reakcji na zgłoszenia mieszkańców dotyczące awarii oświetlenia ulicznego. Za każdym razem, gdy CDOT otrzymuje raport "All Out" elektryk przypisany do naprawy patrzy na światła w tym obwodzie (każdy obwód ma 8-16 świateł), aby upewnić się, że działają prawidłowo. Jeśli w ciągu czterech dni kalendarzowych od daty pierwotnego zgłoszenia tworzone jest drugie zgłoszenie dotyczące oświetlenia ulicznego w tym samym obwodzie, najnowszemu zgłoszeniu automatycznie nadawany jest stan „Duplicate (Open)”. Ponieważ elektryk CDOT będzie patrzył na światła w obwodzie, aby sprawdzić, czy działają, każdy adres "Duplikuj (otwarte)" zostanie automatycznie zaobserwowany i naprawiony. Gdy latarnie na tej ulicy zostaną naprawione, stan w systemie zostanie zmieniony na Completed (w przypadku pierwotnego zgłoszenia) oraz „Duplicate (Closed)”dla wszystkich zduplikowanych zgłoszeń. Zgłoszenie otrzymuje również stan „Completed”, gdy zgłoszone latarnie okażą się sprawne, gdy w zgłoszeniu podany zostanie nieistniejący adres lub gdy za konserwację latarni odpowiada wykonawca. Dane są aktualizowane codziennie.

Wolumin i przechowywanie

Ten zestaw danych jest przechowywany w formacie Parquet. Jest aktualizowany codziennie i zawiera łącznie około 1 mln wierszy (80 MB) od 2018 roku.

Ten zestaw danych zawiera historyczne rekordy od roku 2011 do 2018. Aby pobrać dane z konkretnego przedziału czasowego, należy użyć ustawień parametrów w zestawie SDK.

Lokalizacja usługi Storage

Ten zestaw danych jest przechowywany w regionie platformy Azure Wschodnie stany USA. Zalecamy przydzielanie zasobów obliczeniowych w regionie Wschodnie stany USA z uwagi na koligację.

Powiązane zestawy danych

• Chicago sanitacja
• Otwory w garnku Chicago
• Światła uliczne w Chicago

Dodatkowe informacje

Ten zestaw danych jest pozyskiwany od władz miasta Chicago.

Informacje dotyczące warunków korzystania z tego zestawu danych można znaleźć tutaj. Jeśli masz pytania dotyczące tego zestawu danych, napisz wiadomość e-mail na adres dataportal@cityofchicago.org.

Kolumny

Nazwisko	Typ danych	Unikatowe	Wartości (przykładowe)	opis
adres	string	140,612	" 1 Ratusz proszę Boston MA 02108	Lokalizacja.
category	string	54	Street Cleaning Sanitation	Powód zgłoszenia.
dataSubtype	string	1	311_All	"311_All"
Datatype	string	1	Bezpieczeństwo	"Sejf ty"
Data i godzina	timestamp	1,529,075	2015-07-23 10:51:00 2015-07-23 10:47:00	Data i godzina otwarcia zgłoszenia.
latitude	double	1,622	42.3594 42.3603	To jest wartość szerokości geograficznej. Linie szerokości geograficznej biegną równolegle do równika.
długość geograficzna	double	1,806	-71.0587 -71.0583	To jest wartość długości geograficznej. Linie długości geograficznej biegną prostopadle do linii szerokości geograficznej i wszystkie przechodzą przez oba bieguny.
source	string	7	Obywateli połączeń składowych Połączenie aplikacji	Pierwotne źródło sprawy.
stan	string	2	Zamknięte otwarte	Stan sprawy.
Podkategorii	string	209	Żądania egzekwowania parkingu dotyczące czyszczenia ulic	Typ zgłoszenia.

Wersja zapoznawcza

Datatype	dataSubtype	Data i godzina	category	Podkategorii	stan	adres	latitude	długość geograficzna	source	Extendedproperties
Bezpieczeństwo	311_All	25.04.2021 11:55:04	Street Light Out Skarga	null	Otwarcie	4800 W WASHINGTON BLVD	41.882148426	-87.74556256	null
Bezpieczeństwo	311_All	25.04.2021 11:54:31	311 POŁĄCZENIA TYLKO INFORMACJE	null	Zakończone	2111 W Lexington ST			null
Bezpieczeństwo	311_All	25.04.2021 11:52:11	311 POŁĄCZENIA TYLKO INFORMACJE	null	Zakończone	2111 W Lexington ST			null
Bezpieczeństwo	311_All	25.04.2021 11:49:56	311 POŁĄCZENIA TYLKO INFORMACJE	null	Zakończone	2111 W Lexington ST			null
Bezpieczeństwo	311_All	25.04.2021 11:48:53	Konserwacja koszyka pamięci	null	Otwarcie	3409 E 106TH ST	41.702545562	-87.540917602	null
Bezpieczeństwo	311_All	25.04.2021 11:46:01	311 POŁĄCZENIA TYLKO INFORMACJE	null	Zakończone	2111 W Lexington ST			null
Bezpieczeństwo	311_All	25.04.2021 11:45:46	Skarga na hałas samolotu	null	Zakończone	10510 W ZEMKE RD			null
Bezpieczeństwo	311_All	25.04.2021 11:45:02	311 POŁĄCZENIA TYLKO INFORMACJE	null	Zakończone	2111 W Lexington ST			null
Bezpieczeństwo	311_All	25.04.2021 11:44:24	Wniosek o inspekcję jaskini kanalizacyjnej	null	Otwarcie	7246 W THORNDALE AVE	41.987984339	-87.808702917	null

Dostęp do danych

Azure Notebooks

azureml-opendatasets

# This is a package in preview.
from azureml.opendatasets import ChicagoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = ChicagoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_pandas_dataframe()

safety.info()

azure-storage

# Pip install packages
import os, sys

!{sys.executable} -m pip install azure-storage-blob
!{sys.executable} -m pip install pyarrow
!{sys.executable} -m pip install pandas

# Azure storage access info
azure_storage_account_name = "azureopendatastorage"
azure_storage_sas_token = r""
container_name = "citydatacontainer"
folder_name = "Safety/Release/city=Chicago"

from azure.storage.blob import BlockBlobServicefrom azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient

if azure_storage_account_name is None or azure_storage_sas_token is None:
    raise Exception(
        "Provide your specific name and key for your Azure Storage account--see the Prerequisites section earlier.")

print('Looking for the first parquet under the folder ' +
      folder_name + ' in container "' + container_name + '"...')
container_url = f"https://{azure_storage_account_name}.blob.core.windows.net/"
blob_service_client = BlobServiceClient(
    container_url, azure_storage_sas_token if azure_storage_sas_token else None)

container_client = blob_service_client.get_container_client(container_name)
blobs = container_client.list_blobs(folder_name)
sorted_blobs = sorted(list(blobs), key=lambda e: e.name, reverse=True)
targetBlobName = ''
for blob in sorted_blobs:
    if blob.name.startswith(folder_name) and blob.name.endswith('.parquet'):
        targetBlobName = blob.name
        break

print('Target blob to download: ' + targetBlobName)
_, filename = os.path.split(targetBlobName)
blob_client = container_client.get_blob_client(targetBlobName)
with open(filename, 'wb') as local_file:
    blob_client.download_blob().download_to_stream(local_file)

# Read the parquet file into Pandas data frame
import pandas as pd

print('Reading the parquet file into Pandas data frame')
df = pd.read_parquet(filename)

# you can add your filter at below
print('Loaded as a Pandas data frame: ')
df

pyspark

Przykład nie jest dostępny dla tej kombinacji platformy/pakietu.

Azure Databricks

azureml-opendatasets

# This is a package in preview.
# You need to pip install azureml-opendatasets in Databricks cluster. https://learn.microsoft.com/azure/data-explorer/connect-from-databricks#install-the-python-library-on-your-azure-databricks-cluster
from azureml.opendatasets import ChicagoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = ChicagoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

display(safety.limit(5))

azure-storage

Przykład nie jest dostępny dla tej kombinacji platformy/pakietu.

pyspark

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=Chicago"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Azure Synapse

azureml-opendatasets

# This is a package in preview.
from azureml.opendatasets import ChicagoSafety

from datetime import datetime
from dateutil import parser

end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = ChicagoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

# Display top 5 rows
display(safety.limit(5))

# Display data statistic information
display(safety, summary = True)

azure-storage

Przykład nie jest dostępny dla tej kombinacji platformy/pakietu.

pyspark

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=Chicago"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Przykłady

• Zobacz przykład city Sejf ty Analytics w witrynie GitHub.

Następne kroki

Wyświetl pozostałe zestawy danych w katalogu Open Datasets (Otwieranie zestawów danych).