San Francisco-Valv data

Artikel
12/06/2023

Samtal till brandkåren om hjälp och 311-ärenden i San Francisco.

Kommentar

Microsoft tillhandahåller Azure Open Datasets i befintligt fall. Microsoft ger inga garantier, uttryckliga eller underförstådda garantier eller villkor för din användning av datauppsättningarna. I den utsträckning som tillåts enligt din lokala lag frånsäger sig Microsoft allt ansvar för eventuella skador eller förluster, inklusive direkt, följdriktig, särskild, indirekt, tillfällig eller straffbar, till följd av din användning av datauppsättningarna.

Datamängden tillhandahålls enligt de ursprungliga villkor som gällde när Microsoft tog emot källdatan. Datamängden kan innehålla data från Microsoft.

I samtalen till brandkåren ingår alla besvarade samtal. Varje post innehåller samtalsnummer, incidentnummer, adress, enhetsidentifierare, samtalstyp och disposition. Alla relevanta tidsintervall ingår också. Eftersom denna datamängd baseras på svar och eftersom de flesta samtal avser flera enheter, finns det flera poster för varje samtalsnummer. Adresser är associerade med ett blocknummer, en skärningspunkt eller en anropsruta, inte en specifik adress.

311 Fall inkluderar fall som är associerade med en plats eller sak (till exempel parker, gator eller byggnader) och skapades efter den 1 juli 2008. Fall som loggas av en användare om sina egna behov undantas. Till exempel frågor om fastighets- eller företagsskatt, begäranden om parkeringstillstånd och så vidare. Mer information finns i Programlänk.

Volym och kvarhållning

Datamängden lagras i Parquet-format. Den uppdateras dagligen med cirka 6 miljoner rader (400 MB) från och med 2019.

Datamängden innehåller historiska poster som ackumulerats från 2015 fram till nutid. Du kan använda parameterinställningar i vår SDK till att hämta data inom ett specifikt tidsintervall.

Lagringsplats

Datamängden lagras i Azure-regionen Östra USA. Vi rekommenderar att beräkningsresurser tilldelas i Östra USA av tillhörighetsskäl.

Kolumner

Name	Datatyp	Unik	Värden (exempel)	beskrivning
Adress	sträng	280,652	Inte associerad med en specifik adress 0 Block of 6TH ST	Adress för incidenten (obs! adress och plats som är generaliserad till mitten av gatu-, skärningspunkten eller närmaste samtalsruta för att skydda uppringarens integritet).
category	sträng	108	Gatu- och trottoarstädning potentiellt livshotande	Ett läsbart namn för 311-tjänstebegärandets typ eller samtalstypsgruppen för 911-larmsamtal.
dataSubtype	sträng	2	911_Fire 311_All	"911_Fire" eller "311_All".
Datatyp	sträng	1	Säkerhet	"Valv ty"
Datetime	timestamp	6,496,563	2020-10-19 12:28:08 2020-07-28 06:40:26	Det datum och den tid då tjänstebegärandet gjordes eller när larmsamtalet togs emot.
latitude	dubbel	1,615,369	37.777624238929 37.786117211838	Platsens latitud med WGS84-projektionen.
longitud	dubbel	1,554,612	-122.39998111124 -122.419854245692	Platsens longitud med WGS84-projektionen.
source	sträng	9	Telefon Mobile/Open311	Mekanism eller sökväg genom vilken tjänstbegäran togs emot. vanligtvis "Telefon", "Text/SMS", "Webbplats", "Mobilapp", "Twitter" osv. men villkoren kan variera beroende på system.
status	sträng	3	Stängd öppen	En indikator i ett ord för tjänstebegärandets nuvarande status. (Obs! GeoReport V2 tillåter endast "öppen" och "stängd")
Underkategori	sträng	1,270	Medicinsk incident Skrymmande objekt	Ett läsbart namn på tjänstebegärandets undertyp för 311-ärenden, eller samtalstypen för 911-larmsamtal.

Förhandsgranskning

Datatyp	dataSubtype	Datetime	category	Underkategori	status	Adress	latitude	longitud	source
Säkerhet	911_Fire	2021-04-26 02:56:13	Icke-livshotande	Medicinsk incident	NULL	700 Block av GEARY ST	37.7863607914647	-122.415616900246	NULL
Säkerhet	911_Fire	2021-04-26 02:56:13	Icke-livshotande	Medicinsk incident	NULL	700 Block av GEARY ST	37.7863607914647	-122.415616900246	NULL
Säkerhet	911_Fire	2021-04-26 02:54:03	Icke-livshotande	Medicinsk incident	NULL	0 Block of ESSEX ST	37.7860048266229	-122.395077258809	NULL
Säkerhet	911_Fire	2021-04-26 02:54:03	Icke-livshotande	Medicinsk incident	NULL	0 Block of ESSEX ST	37.7860048266229	-122.395077258809	NULL
Säkerhet	911_Fire	2021-04-26 02:52:17	Icke-livshotande	Medicinsk incident	NULL	700 Block av 29TH AVE	37.7751770865322	-122.488604397217	NULL
Säkerhet	911_Fire	2021-04-26 02:50:28	Potentiellt livshotande	Medicinsk incident	NULL	1000 Block av GEARY ST	37.7857350982044	-122.420555240691	NULL
Säkerhet	911_Fire	2021-04-26 02:50:28	Potentiellt livshotande	Medicinsk incident	NULL	1000 Block av GEARY ST	37.7857350982044	-122.420555240691	NULL
Säkerhet	911_Fire	2021-04-26 02:33:52	Icke-livshotande	Medicinsk incident	NULL	100 Block av BELVEDERE ST	37.767791696654	-122.449332294394	NULL
Säkerhet	911_Fire	2021-04-26 02:33:52	Icke-livshotande	Medicinsk incident	NULL	100 Block av BELVEDERE ST	37.767791696654	-122.449332294394	NULL
Säkerhet	911_Fire	2021-04-26 02:33:51	Potentiellt livshotande	Medicinsk incident	NULL	100 Block av 6TH ST	37.7807920802756	-122.408385745499	NULL

Dataåtkomst

Azure Notebooks

# This is a package in preview.
from azureml.opendatasets import NycSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = NycSafety(start_date=start_date, end_date=end_date)
safety = safety.to_pandas_dataframe()

safety.info()

# Pip install packages
import os, sys

!{sys.executable} -m pip install azure-storage-blob
!{sys.executable} -m pip install pyarrow
!{sys.executable} -m pip install pandas

# Azure storage access info
azure_storage_account_name = "azureopendatastorage"
azure_storage_sas_token = r""
container_name = "citydatacontainer"
folder_name = "Safety/Release/city=NewYorkCity"

from azure.storage.blob import BlockBlobServicefrom azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient

if azure_storage_account_name is None or azure_storage_sas_token is None:
    raise Exception(
        "Provide your specific name and key for your Azure Storage account--see the Prerequisites section earlier.")

print('Looking for the first parquet under the folder ' +
      folder_name + ' in container "' + container_name + '"...')
container_url = f"https://{azure_storage_account_name}.blob.core.windows.net/"
blob_service_client = BlobServiceClient(
    container_url, azure_storage_sas_token if azure_storage_sas_token else None)

container_client = blob_service_client.get_container_client(container_name)
blobs = container_client.list_blobs(folder_name)
sorted_blobs = sorted(list(blobs), key=lambda e: e.name, reverse=True)
targetBlobName = ''
for blob in sorted_blobs:
    if blob.name.startswith(folder_name) and blob.name.endswith('.parquet'):
        targetBlobName = blob.name
        break

print('Target blob to download: ' + targetBlobName)
_, filename = os.path.split(targetBlobName)
blob_client = container_client.get_blob_client(targetBlobName)
with open(filename, 'wb') as local_file:
    blob_client.download_blob().download_to_stream(local_file)

# Read the parquet file into Pandas data frame
import pandas as pd

print('Reading the parquet file into Pandas data frame')
df = pd.read_parquet(filename)

# you can add your filter at below
print('Loaded as a Pandas data frame: ')
df

Azure Databricks

# This is a package in preview.
# You need to pip install azureml-opendatasets in Databricks cluster. https://learn.microsoft.com/azure/data-explorer/connect-from-databricks#install-the-python-library-on-your-azure-databricks-cluster
from azureml.opendatasets import NycSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = NycSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

display(safety.limit(5))

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=NewYorkCity"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Azure Synapse

# This is a package in preview.
from azureml.opendatasets import NycSafety

from datetime import datetime
from dateutil import parser

end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = NycSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

# Display top 5 rows
display(safety.limit(5))

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=NewYorkCity"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Exempel

Se exemplet City Valv ty Analytics på GitHub.

Nästa steg

Visa resten av datauppsättningarna i katalogen Öppna datamängder.