Data Keselamatan Kota New York

Artikel
09/01/2024

Semua Permintaan layanan 311 Kota New York dari tahun 2010 hingga saat ini.

Catatan

Microsoft menyediakan Azure Open Datasets berdasarkan "apa adanya". Microsoft tidak memberikan jaminan, tersurat maupun tersirat, jaminan atau ketentuan sehubungan dengan penggunaan Anda atas himpunan data. Sejauh diizinkan menurut undang-undang setempat Anda, Microsoft melepaskan semua tanggung jawab atas segala kerusakan atau kerugian, termasuk langsung, konsekuensial, khusus, tidak langsung, insidental, atau hukuman, yang diakibatkan oleh penggunaan Anda atas kumpulan data.

Kumpulan data ini disediakan di bawah ketentuan asli yang diterima Microsoft data sumbernya. Himpunan data mungkin menyertakan data yang bersumber dari Microsoft.

Volume dan retensi

Himpunan data ini disimpan dalam format Parquet. Data ini diperbarui setiap hari, dan berisi total sekitar 12 Juta baris (500 MB) per 2019.

Himpunan data ini berisi catatan historis yang diakumulasi dari 2010 hingga sekarang. Anda dapat menggunakan pengaturan parameter di SDK kami untuk mengambil data dalam rentang waktu tertentu.

Lokasi penyimpanan

Himpunan data ini disimpan di wilayah Azure US Timur. Disarankan untuk mengalokasikan sumber daya komputasi di US Timur untuk afinitas.

Informasi Tambahan

Himpunan data ini bersumber dari pemerintah Kota New York, untuk informasi selengkapnya, lihat Situs web Kota New York. Lihat ketentuan himpunan data ini.

Kolom

Nama	Jenis data	Unik	Nilai (sampel)	Deskripsi
address	string	1,536,593	655 EAST 230 STREET 78-15 PARSONS BOULEVARD	Nomor rumah alamat insiden yang disediakan oleh submitter.
category	string	446	Kebisingan - PANAS/AIR PANAS Perumahan	Ini adalah tingkat pertama hierarki yang mengidentifikasi topik insiden atau kondisi (Jenis Keluhan). Ini mungkin memiliki subkategori (Deskriptor) yang sesuai atau mungkin berdiri sendiri.
dataSubtype	string	1	311_All	“311_All”
dataType	string	1	Keamanan	“Safety”
tanggalWaktu	rentang waktu	17,332,609	24-01-2013 00:00:00 08-01-2015 00:00:00	Permintaan Layanan Data dibuat.
garis lintang	ganda	1,513,691	40.89187241649303 40.72195913199264	Lintang berbasis geografis dari lokasi insiden.
garis bujur	ganda	1,513,713	-73.86016845296459 -73.80969682426189	Bujur berbasis geo dari lokasi kejadian.
status	string	13	Tutup Tertunda	Status Permintaan Layanan yang dikirimkan.
subkategori	string	1,716	Musik Keras/Pesta SELURUH BANGUNAN	Ini terkait dengan kategori (Jenis Keluhan), dan memberikan detail lebih lengkap tentang insiden atau kondisi. Nilai-nilainya tergantung pada Jenis Keluhan, dan tidak selalu diperlukan dalam Permintaan Layanan.

Pratinjau

dataType	dataSubtype	tanggalWaktu	category	subkategori	status	address	garis lintang	garis bujur	sumber
Keamanan	311_All	25/4/2021 Pukul 02:05:05	Kebisingan - Jalan/Trotoar	Musik/Pesta yang Keras	Dalam Proses	2766 BATH AVENUE	40.5906129741766	-73.9847949011337	nihil
Keamanan	311_All	25/4/2021 Pukul 02:04:33	Kebisingan - Komersial	Musik/Pesta yang Keras	Dalam Proses	1033 WEBSTER AVENUE	40.8285784533256	-73.9117746958432	nihil
Keamanan	311_All	25/4/2021 Pukul 02:04:27	Kebisingan - Perumahan	Musik/Pesta yang Keras	Dalam Proses	620 WEST 141 STREET	40.8241726554395	-73.9530069547366	nihil
Keamanan	311_All	25/4/2021 Pukul 02:04:04	Kebisingan - Perumahan	Musik/Pesta yang Keras	Dalam Proses	1647 64 STREET	40.6218907202382	-73.9931125332078	nihil
Keamanan	311_All	25/4/2021 Pukul 02:04:01	Kebisingan - Perumahan	Musik/Pesta yang Keras	Dalam Proses	30 LENOX AVENUE	40.7991622274945	-73.9517496365803	nihil
Keamanan	311_All	25/4/2021 Pukul 02:03:40	Parkir Ilegal	Parkir Ganda yang Memblokir Lalu Lintas	Dalam Proses	304 WEST 148 STREET	40.8248229687124	-73.940696262361	nihil
Keamanan	311_All	25/4/2021 Pukul 02:03:31	Kebisingan - Jalan/Trotoar	Musik/Pesta yang Keras	Dalam Proses	ADEE AVENUE	40.8708386263454	-73.8382363208686	nihil
Keamanan	311_All	25/4/2021 Pukul 02:03:18	Kebisingan - Perumahan	Musik/Pesta yang Keras	Dalam Proses	340 EVERGREEN AVENUE	40.6947512704197	-73.9248330229197	nihil
Keamanan	311_All	25/4/2021 Pukul 02:03:13	Kebisingan - Perumahan	Benturan/Hantaman	Dalam Proses	25 REMSEN STREET	40.6948938116483	-73.9973494607802	nihil

Akses data

Azure Notebooks

# This is a package in preview.
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_pandas_dataframe()

safety.info()

# Pip install packages
import os, sys

!{sys.executable} -m pip install azure-storage-blob
!{sys.executable} -m pip install pyarrow
!{sys.executable} -m pip install pandas

# Azure storage access info
azure_storage_account_name = "azureopendatastorage"
azure_storage_sas_token = r""
container_name = "citydatacontainer"
folder_name = "Safety/Release/city=SanFrancisco"

from azure.storage.blob import BlockBlobServicefrom azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient

if azure_storage_account_name is None or azure_storage_sas_token is None:
    raise Exception(
        "Provide your specific name and key for your Azure Storage account--see the Prerequisites section earlier.")

print('Looking for the first parquet under the folder ' +
      folder_name + ' in container "' + container_name + '"...')
container_url = f"https://{azure_storage_account_name}.blob.core.windows.net/"
blob_service_client = BlobServiceClient(
    container_url, azure_storage_sas_token if azure_storage_sas_token else None)

container_client = blob_service_client.get_container_client(container_name)
blobs = container_client.list_blobs(folder_name)
sorted_blobs = sorted(list(blobs), key=lambda e: e.name, reverse=True)
targetBlobName = ''
for blob in sorted_blobs:
    if blob.name.startswith(folder_name) and blob.name.endswith('.parquet'):
        targetBlobName = blob.name
        break

print('Target blob to download: ' + targetBlobName)
_, filename = os.path.split(targetBlobName)
blob_client = container_client.get_blob_client(targetBlobName)
with open(filename, 'wb') as local_file:
    blob_client.download_blob().download_to_stream(local_file)

# Read the parquet file into Pandas data frame
import pandas as pd

print('Reading the parquet file into Pandas data frame')
df = pd.read_parquet(filename)

# you can add your filter at below
print('Loaded as a Pandas data frame: ')
df

Azure Databricks

# This is a package in preview.
# You need to pip install azureml-opendatasets in Databricks cluster. https://learn.microsoft.com/azure/data-explorer/connect-from-databricks#install-the-python-library-on-your-azure-databricks-cluster
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

display(safety.limit(5))

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=SanFrancisco"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Azure Synapse

# This is a package in preview.
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

# Display top 5 rows
display(safety.limit(5))

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=SanFrancisco"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Contoh

Lihat contoh Analitik Keamanan Kota di GitHub.

Langkah berikutnya

Lihat himpunan data lainnya di katalog Open Datasets.

Bagikan melalui