Data för New York City Valv ty

Artikel
12/06/2023

Alla 311-tjänstbegäranden i New York City från 2010 fram till nutid.

Kommentar

Microsoft tillhandahåller Azure Open Datasets i befintligt fall. Microsoft ger inga garantier, uttryckliga eller underförstådda garantier eller villkor för din användning av datauppsättningarna. I den utsträckning som tillåts enligt din lokala lag frånsäger sig Microsoft allt ansvar för eventuella skador eller förluster, inklusive direkt, följdriktig, särskild, indirekt, tillfällig eller straffbar, till följd av din användning av datauppsättningarna.

Datamängden tillhandahålls enligt de ursprungliga villkor som gällde när Microsoft tog emot källdatan. Datamängden kan innehålla data från Microsoft.

Volym och kvarhållning

Datamängden lagras i Parquet-format. Den uppdateras dagligen och innehåller totalt cirka 12 miljoner rader (500 MB) från och med 2019.

Datamängden innehåller historiska poster som ackumulerats från 2010 fram till nutid. Du kan använda parameterinställningar i vår SDK till att hämta data inom ett specifikt tidsintervall.

Lagringsplats

Datamängden lagras i Azure-regionen Östra USA. Vi rekommenderar att beräkningsresurser tilldelas i Östra USA av tillhörighetsskäl.

Ytterligare information

Den här datamängden kommer från New York Citys myndigheter, mer information finns på New Yorks webbplats. Se villkoren för den här datamängden.

Kolumner

Name	Datatyp	Unik	Värden (exempel)	beskrivning
Adress	sträng	1,536,593	655 EAST 230 STREET 78-15 PARSONS BOULEVARD	Husnummer på den incidentadress som angetts av anmälaren.
category	sträng	446	Buller - BostadsVÄRME/VARMVATTEN	Det här är den första nivån i en hierarki som identifierar ämnet för incidenten eller villkoret (klagomålstyp). Den kan ha en motsvarande underkategori (beskrivning) eller vara fristående.
dataSubtype	sträng	1	311_All	"311_All"
Datatyp	sträng	1	Säkerhet	"Valv ty"
Datetime	timestamp	17,332,609	2013-01-24 00:00:00 2015-01-08 00:00:00	Datatjänstbegäran skapades.
latitude	dubbel	1,513,691	40.89187241649303 40.72195913199264	Geografiskt baserad latitud för incidentplatsen.
longitud	dubbel	1,513,713	-73.86016845296459 -73.80969682426189	Geografiskt baserad longitud för incidentplatsen.
status	sträng	13	Väntande stängt	Status för den tjänstbegäran som har skickats.
Underkategori	sträng	1,716	Hög musik/fest HELA BYGGNADEN	Detta är associerat med kategorin (klagomålstypen) och ger ytterligare information om incidenten eller omständigheten. Dessa värden beror på klagomålstypen och krävs inte alltid i en tjänstebegäran.

Förhandsgranskning

Datatyp	dataSubtype	Datetime	category	Underkategori	status	Adress	latitude	longitud	source
Säkerhet	311_All	2021-04-25 02:05:05	Buller - Gata/trottoar	Hög musik/fest	Pågående	2766 BAD AVENUE	40.5906129741766	-73.9847949011337	NULL
Säkerhet	311_All	2021-04-25 02:04:33	Brus – kommersiellt	Hög musik/fest	Pågående	1033 WEBSTER AVENUE	40.8285784533256	-73.9117746958432	NULL
Säkerhet	311_All	2021-04-25 02:04:27	Buller - Bostäder	Hög musik/fest	Pågående	620 VÄSTRA 141 GATA	40.8241726554395	-73.9530069547366	NULL
Säkerhet	311_All	2021-04-25 02:04:04	Buller - Bostäder	Hög musik/fest	Pågående	1647 64 GATA	40.6218907202382	-73.9931125332078	NULL
Säkerhet	311_All	2021-04-25 02:04:01	Buller - Bostäder	Hög musik/fest	Pågående	30 LENOX AVENUE	40.7991622274945	-73.9517496365803	NULL
Säkerhet	311_All	2021-04-25 02:03:40	Olaglig parkering	Dubbel parkerad blockerande trafik	Pågående	304 VÄSTRA 148 GATA	40.8248229687124	-73.940696262361	NULL
Säkerhet	311_All	2021-04-25 02:03:31	Buller - Gata/trottoar	Hög musik/fest	Pågående	ADEE AVENUE	40.8708386263454	-73.8382363208686	NULL
Säkerhet	311_All	2021-04-25 02:03:18	Buller - Bostäder	Hög musik/fest	Pågående	340 EVERGREEN AVENUE	40.6947512704197	-73.9248330229197	NULL
Säkerhet	311_All	2021-04-25 02:03:13	Buller - Bostäder	Banka/dunka	Pågående	25 REMSEN STREET	40.6948938116483	-73.9973494607802	NULL

Dataåtkomst

Azure Notebooks

# This is a package in preview.
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_pandas_dataframe()

safety.info()

# Pip install packages
import os, sys

!{sys.executable} -m pip install azure-storage-blob
!{sys.executable} -m pip install pyarrow
!{sys.executable} -m pip install pandas

# Azure storage access info
azure_storage_account_name = "azureopendatastorage"
azure_storage_sas_token = r""
container_name = "citydatacontainer"
folder_name = "Safety/Release/city=SanFrancisco"

from azure.storage.blob import BlockBlobServicefrom azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient

if azure_storage_account_name is None or azure_storage_sas_token is None:
    raise Exception(
        "Provide your specific name and key for your Azure Storage account--see the Prerequisites section earlier.")

print('Looking for the first parquet under the folder ' +
      folder_name + ' in container "' + container_name + '"...')
container_url = f"https://{azure_storage_account_name}.blob.core.windows.net/"
blob_service_client = BlobServiceClient(
    container_url, azure_storage_sas_token if azure_storage_sas_token else None)

container_client = blob_service_client.get_container_client(container_name)
blobs = container_client.list_blobs(folder_name)
sorted_blobs = sorted(list(blobs), key=lambda e: e.name, reverse=True)
targetBlobName = ''
for blob in sorted_blobs:
    if blob.name.startswith(folder_name) and blob.name.endswith('.parquet'):
        targetBlobName = blob.name
        break

print('Target blob to download: ' + targetBlobName)
_, filename = os.path.split(targetBlobName)
blob_client = container_client.get_blob_client(targetBlobName)
with open(filename, 'wb') as local_file:
    blob_client.download_blob().download_to_stream(local_file)

# Read the parquet file into Pandas data frame
import pandas as pd

print('Reading the parquet file into Pandas data frame')
df = pd.read_parquet(filename)

# you can add your filter at below
print('Loaded as a Pandas data frame: ')
df

Azure Databricks

# This is a package in preview.
# You need to pip install azureml-opendatasets in Databricks cluster. https://learn.microsoft.com/azure/data-explorer/connect-from-databricks#install-the-python-library-on-your-azure-databricks-cluster
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

display(safety.limit(5))

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=SanFrancisco"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Azure Synapse

# This is a package in preview.
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

# Display top 5 rows
display(safety.limit(5))

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=SanFrancisco"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Exempel

Se exemplet City Valv ty Analytics på GitHub.

Nästa steg

Visa resten av datauppsättningarna i katalogen Öppna datamängder.