San Francisco Széf ty Data

Cikk
12/06/2023

Tűzoltósági riasztások és 311-es esetek San Franciscóban.

Megjegyzés:

A Microsoft az Azure Open Datasets szolgáltatást "adott módon" biztosítja. A Microsoft nem vállal kifejezett vagy vélelmezett garanciát vagy feltételeket az adathalmazok Ön általi használatára vonatkozóan. A microsoft a helyi jogszabályok által megengedett mértékben kizár minden felelősséget az adathalmazok használatából eredő károkért vagy veszteségekért, beleértve a közvetlen, következményi, különleges, közvetett, incidenses vagy büntető jellegű károkat is.

Az adatkészletet a Microsoft forrásadataihoz tartozó eredeti feltételek szerint szolgáltatjuk. A készlet tartalmazhat Microsofttól származó adatokat.

A tűzoltósági riasztások minden olyan hívást magukban foglalnak, amelyhez kivezényelték a tűzoltóságot. Minden rekord tartalmazza a hívás számát, az incidens számát, a címet, az egység azonosítóját, a hívás típusát, valamint a diszpozíciót. A rekordokban a releváns időintervallumok is szerepelnek. Mivel ez az adatkészlet válaszokon alapul, és mivel a legtöbb hívás több egységre is vonatkozik, az egyes hívásszámokhoz több rekord is tartozik. A címek nem egy adott címhez, hanem egy blokkszámhoz, metszethez vagy hívásmezőhöz vannak társítva.

311 Az esetek közé tartoznak a 2008. július 1. után létrehozott helyekhez vagy dolgokhoz (például parkokhoz, utcákhoz vagy épületekhez) kapcsolódó esetek. A felhasználók által a saját igényeikről naplózott esetek ki vannak zárva. Például az ingatlanokkal vagy az iparűzadóval kapcsolatos kérdések, a parkolási engedélyekre vonatkozó kérelmek stb. További információ: Programhivatkozás.

Kötet és megőrzés

Az adatkészlet Parketta formátumban van tárolva. 2019-ben naponta körülbelül 6 M sort (400 MB) frissítünk.

Az adatkészlet a 2015-től mostanáig összegyűlt rekordokat tartalmazza. Adott időtartomány adatainak beolvasásához az általunk biztosított SDK paraméterbeállításait használhatja.

Tárolási hely

Az adatkészlet tárolási helye a Kelet-USA Azure-régió. Az affinitás érdekében Kelet-USA régión belüli számítási erőforrások lefoglalását javasoljuk.

Oszlopok

Név	Adattípus	Egyedi	Values (sample)	Leírás
Cím	sztring	280,652	Nincs hozzárendelve egy adott címhez 0 6TH ST blokk	Az incidens címe (megjegyzés: cím és hely általánosítva az utca, a metszet vagy a legközelebbi hívásmező helyének közepére, a hívó adatainak védelme érdekében).
kategória	sztring	108	Utca- és járdatisztítás potenciálisan életveszélyes	A 311-es szolgáltatáskérelem típusának, vagy a 911-es tűzjelzés típuscsoportjának neve emberi olvasásra alkalmas formában.
dataSubtype	sztring	2	911_Fire 311_All	"911_Fire" vagy "311_All".
Adattípus	sztring	1	Biztonság	"Széf ty"
Datetime	timestamp	6,496,563	2020-10-19 12:28:08 2020-07-28 06:40:26	A szolgáltatáskérelem vagy tűzjelzés beérkezésének dátuma és ideje.
latitude	double	1,615,369	37.777624238929 37.786117211838	A hely földrajzi szélessége WGS84 koordináta-leképezés használatával.
hosszúság	double	1,554,612	-122.39998111124 -122.419854245692	A hely földrajzi hosszúsága WGS84 koordináta-leképezés használatával.
forrás	sztring	9	Telefon Mobile/Open311	A szolgáltatáskérés fogadásának mechanizmusa vagy elérési útja; általában "Telefon", "Text/SMS", "Website", "Mobile App", "Twitter", stb, de a kifejezések rendszer szerint változhatnak.
status	sztring	3	Zárt megnyitás	A szolgáltatáskérelem aktuális állapota egyetlen szóval kifejezve. (Megjegyzés: A GeoReport V2 csak a "nyitott" és a "zárt" elemet engedélyezi)
Alkategória	sztring	1,270	Orvosi incidens tömeges elemei	A szolgáltatáskérelem 311-es esemény-altípusának vagy a 911-es tűzjelzés típusának neve emberi olvasásra alkalmas formában.

Előnézet megtekintése

Adattípus	dataSubtype	Datetime	kategória	Alkategória	status	Cím	latitude	hosszúság	forrás
Biztonság	911_Fire	2021.04.26. 2:56:13	Nem életveszélyes	Orvosi incidens	null	700 BLOKK GEARY ST	37.7863607914647	-122.415616900246	null
Biztonság	911_Fire	2021.04.26. 2:56:13	Nem életveszélyes	Orvosi incidens	null	700 BLOKK GEARY ST	37.7863607914647	-122.415616900246	null
Biztonság	911_Fire	2021.04.26. 2:54:03	Nem életveszélyes	Orvosi incidens	null	0 Es blokk Standard kiadás X ST	37.7860048266229	-122.395077258809	null
Biztonság	911_Fire	2021.04.26. 2:54:03	Nem életveszélyes	Orvosi incidens	null	0 Es blokk Standard kiadás X ST	37.7860048266229	-122.395077258809	null
Biztonság	911_Fire	2021.04.26. 2:52:17	Nem életveszélyes	Orvosi incidens	null	700 blokk 29TH AVE	37.7751770865322	-122.488604397217	null
Biztonság	911_Fire	2021.04.26. 2:50:28	Potenciálisan életveszélyes	Orvosi incidens	null	1000 BLOKK GEARY ST	37.7857350982044	-122.420555240691	null
Biztonság	911_Fire	2021.04.26. 2:50:28	Potenciálisan életveszélyes	Orvosi incidens	null	1000 BLOKK GEARY ST	37.7857350982044	-122.420555240691	null
Biztonság	911_Fire	2021.04.26. 2:33:52	Nem életveszélyes	Orvosi incidens	null	100 BLOKK BELVEDERE ST	37.767791696654	-122.449332294394	null
Biztonság	911_Fire	2021.04.26. 2:33:52	Nem életveszélyes	Orvosi incidens	null	100 BLOKK BELVEDERE ST	37.767791696654	-122.449332294394	null
Biztonság	911_Fire	2021.04.26. 2:33:51	Potenciálisan életveszélyes	Orvosi incidens	null	100 Blokk 6TH ST	37.7807920802756	-122.408385745499	null

Az adatok elérése

Azure Notebooks

# This is a package in preview.
from azureml.opendatasets import NycSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = NycSafety(start_date=start_date, end_date=end_date)
safety = safety.to_pandas_dataframe()

safety.info()

# Pip install packages
import os, sys

!{sys.executable} -m pip install azure-storage-blob
!{sys.executable} -m pip install pyarrow
!{sys.executable} -m pip install pandas

# Azure storage access info
azure_storage_account_name = "azureopendatastorage"
azure_storage_sas_token = r""
container_name = "citydatacontainer"
folder_name = "Safety/Release/city=NewYorkCity"

from azure.storage.blob import BlockBlobServicefrom azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient

if azure_storage_account_name is None or azure_storage_sas_token is None:
    raise Exception(
        "Provide your specific name and key for your Azure Storage account--see the Prerequisites section earlier.")

print('Looking for the first parquet under the folder ' +
      folder_name + ' in container "' + container_name + '"...')
container_url = f"https://{azure_storage_account_name}.blob.core.windows.net/"
blob_service_client = BlobServiceClient(
    container_url, azure_storage_sas_token if azure_storage_sas_token else None)

container_client = blob_service_client.get_container_client(container_name)
blobs = container_client.list_blobs(folder_name)
sorted_blobs = sorted(list(blobs), key=lambda e: e.name, reverse=True)
targetBlobName = ''
for blob in sorted_blobs:
    if blob.name.startswith(folder_name) and blob.name.endswith('.parquet'):
        targetBlobName = blob.name
        break

print('Target blob to download: ' + targetBlobName)
_, filename = os.path.split(targetBlobName)
blob_client = container_client.get_blob_client(targetBlobName)
with open(filename, 'wb') as local_file:
    blob_client.download_blob().download_to_stream(local_file)

# Read the parquet file into Pandas data frame
import pandas as pd

print('Reading the parquet file into Pandas data frame')
df = pd.read_parquet(filename)

# you can add your filter at below
print('Loaded as a Pandas data frame: ')
df

Azure Databricks

# This is a package in preview.
# You need to pip install azureml-opendatasets in Databricks cluster. https://learn.microsoft.com/azure/data-explorer/connect-from-databricks#install-the-python-library-on-your-azure-databricks-cluster
from azureml.opendatasets import NycSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = NycSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

display(safety.limit(5))

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=NewYorkCity"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Azure Synapse

# This is a package in preview.
from azureml.opendatasets import NycSafety

from datetime import datetime
from dateutil import parser

end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = NycSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

# Display top 5 rows
display(safety.limit(5))

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=NewYorkCity"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Példák

Tekintse meg a City Széf ty Analytics-példát a GitHubon.

További lépések

Tekintse meg a többi adathalmazt az Open Datasets katalógusban.