Dane Sejf ty w Bostonie

Artykuł
01/10/2024

Zgłoszenia na numer 311 w Bostonie.

Skorzystaj z tego linku, aby dowiedzieć się więcej o zbiorze danych BOS:311.

Uwaga

Firma Microsoft udostępnia zestawy danych Platformy Azure open na zasadzie "tak, jak to jest". Firma Microsoft nie udziela żadnych gwarancji, wyraźnych lub domniemanych, gwarancji ani warunków w odniesieniu do korzystania z zestawów danych. W zakresie dozwolonym zgodnie z prawem lokalnym firma Microsoft nie ponosi odpowiedzialności za wszelkie szkody lub straty, w tym bezpośrednie, wtórne, specjalne, pośrednie, przypadkowe lub karne wynikające z korzystania z zestawów danych.

Zestaw danych jest udostępniany zgodnie z pierwotnymi warunkami, na jakich firma Microsoft otrzymała dane źródłowe. Zestaw danych może zawierać dane pozyskane z firmy Microsoft.

Wolumin i przechowywanie

Ten zestaw danych jest przechowywany w formacie Parquet. Jest aktualizowany codziennie i zawiera łącznie około 100 K wierszy (10 MB) od 2019 roku.

Ten zestaw danych zawiera historyczne rekordy od roku 2011. Aby pobrać dane z konkretnego przedziału czasowego, należy użyć ustawień parametrów w zestawie SDK.

Lokalizacja usługi Storage

Ten zestaw danych jest przechowywany w regionie platformy Azure Wschodnie stany USA. Zalecamy przydzielanie zasobów obliczeniowych w regionie Wschodnie stany USA z uwagi na koligację.

Dodatkowe informacje

Ten zestaw danych jest pozyskiwany od władz miasta Boston. Aby uzyskać więcej informacji, zobacz witrynę zestawu danych w Bostonie. Aby uzyskać informacje na temat licencjonowania zestawu danych, zobacz Open Data Commons Public Domain Dedication and License (ODC PDDL).

Kolumny

Nazwisko	Typ danych	Unikatowe	Wartości (przykładowe)	opis
adres	string	140,612	" 1 Ratusz proszę Boston MA 02108	Lokalizacja.
category	string	54	Street Cleaning Sanitation	Powód zgłoszenia.
dataSubtype	string	1	311_All	"311_All"
Datatype	string	1	Bezpieczeństwo	"Sejf ty"
Data i godzina	timestamp	1,529,075	2015-07-23 10:51:00 2015-07-23 10:47:00	Data i godzina otwarcia zgłoszenia.
latitude	double	1,622	42.3594 42.3603	To jest wartość szerokości geograficznej. Linie szerokości geograficznej biegną równolegle do równika.
długość geograficzna	double	1,806	-71.0587 -71.0583	To jest wartość długości geograficznej. Linie długości geograficznej biegną prostopadle do linii szerokości geograficznej i wszystkie przechodzą przez oba bieguny.
source	string	7	Obywateli połączeń składowych Połączenie aplikacji	Pierwotne źródło sprawy.
status	string	2	Zamknięte otwarte	Stan sprawy.
Podkategorii	string	209	Żądania egzekwowania parkingu dotyczące czyszczenia ulic	Typ zgłoszenia.

Podgląd

ataType	dataSubtype	Data i godzina	category	Podkategorii	status	adres	latitude	długość geograficzna	source
Bezpieczeństwo	311_All	27.04.2021 11:45:49	Wymuszanie i porzucone pojazdy	Wymuszanie parkingu	Otwarcie	51 Gardner St Allston MA 02134	42.3535	-71.1285	Aplikacja obywateli Połączenie
Bezpieczeństwo	311_All	27.04.2021 11:43:43	Sanitacji	Nieodebrane śmieci/recykling/odpady stoczni/przedmiot zbiorczy	Otwarcie	4 Putnam Pl Roxbury MA 02119	42.3298	-71.0883	Samoobsługa
Bezpieczeństwo	311_All	27.04.2021 11:37:19	Wymuszanie i porzucone pojazdy	Wymuszanie parkingu	Otwarcie	36 Raven St Dorchester MA 02125	42.3177	-71.0546	Aplikacja obywateli Połączenie
Bezpieczeństwo	311_All	27.04.2021 11:30:00	Sanitacji	Nieodebrane śmieci/recykling/odpady stoczni/przedmiot zbiorczy	Otwarcie	58 Bicknell St Dorchester MA 02121	42.2984	-71.0834	Wywołanie składowe
Bezpieczeństwo	311_All	27.04.2021 11:10:20	Wymuszanie i porzucone pojazdy	Wymuszanie parkingu	Otwarcie	2000 Commonwealth Ave Brighton MA 02135	42.3394	-71.1585	Aplikacja obywateli Połączenie
Bezpieczeństwo	311_All	27.04.2021 11:06:00	Zakłócenia szumu	Głośne imprezy/muzyka/Osoby	Otwarcie	SKRZYŻOWANIE Lewis St & North St Boston MA	42.3594	-71.0587	Wywołanie składowe
Bezpieczeństwo	311_All	27.04.2021 11:05:00	Wymuszanie i porzucone pojazdy	Wymuszanie parkingu	Otwarcie	1 Nassau St Boston MA 02111	42.3486	-71.0629	Wywołanie składowe
Bezpieczeństwo	311_All	27.04.2021 11:00:55	Wymuszanie kodu	Złe warunki właściwości	Otwarcie	17 Mercer St South Boston MA 02127	42.3332	-71.0492	Aplikacja obywateli Połączenie

Dostęp do danych

Azure Notebooks

# This is a package in preview.
from azureml.opendatasets import BostonSafety

from datetime import datetime
from dateutil import parser

end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = BostonSafety(start_date=start_date, end_date=end_date)
safety = safety.to_pandas_dataframe()

safety.info()

# Pip install packages
import os, sys

!{sys.executable} -m pip install azure-storage-blob
!{sys.executable} -m pip install pyarrow
!{sys.executable} -m pip install pandas

# Azure storage access info
azure_storage_account_name = "azureopendatastorage"
azure_storage_sas_token = r""
container_name = "citydatacontainer"
folder_name = "Safety/Release/city=Boston"

from azure.storage.blob import BlockBlobServicefrom azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient

if azure_storage_account_name is None or azure_storage_sas_token is None:
    raise Exception(
        "Provide your specific name and key for your Azure Storage account--see the Prerequisites section earlier.")

print('Looking for the first parquet under the folder ' +
      folder_name + ' in container "' + container_name + '"...')
container_url = f"https://{azure_storage_account_name}.blob.core.windows.net/"
blob_service_client = BlobServiceClient(
    container_url, azure_storage_sas_token if azure_storage_sas_token else None)

container_client = blob_service_client.get_container_client(container_name)
blobs = container_client.list_blobs(folder_name)
sorted_blobs = sorted(list(blobs), key=lambda e: e.name, reverse=True)
targetBlobName = ''
for blob in sorted_blobs:
    if blob.name.startswith(folder_name) and blob.name.endswith('.parquet'):
        targetBlobName = blob.name
        break

print('Target blob to download: ' + targetBlobName)
_, filename = os.path.split(targetBlobName)
blob_client = container_client.get_blob_client(targetBlobName)
with open(filename, 'wb') as local_file:
    blob_client.download_blob().download_to_stream(local_file)

# Read the parquet file into Pandas data frame
import pandas as pd

print('Reading the parquet file into Pandas data frame')
df = pd.read_parquet(filename)

# you can add your filter at below
print('Loaded as a Pandas data frame: ')
df

Azure Databricks

# This is a package in preview.
# You need to pip install azureml-opendatasets in Databricks cluster. https://learn.microsoft.com/azure/data-explorer/connect-from-databricks#install-the-python-library-on-your-azure-databricks-cluster
from azureml.opendatasets import BostonSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = BostonSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

display(safety)

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=Boston"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Azure Synapse

from azureml.opendatasets import BostonSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = BostonSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

display(safety)

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=Boston"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Przykłady

Zobacz przykład city Sejf ty Analytics w witrynie GitHub.

Następne kroki

Wyświetl pozostałe zestawy danych w katalogu Open Datasets (Otwieranie zestawów danych).