New York City Kasa ty Data

Makale
12/06/2023

2010’dan günümüze kadar tüm New York City 311 hizmet çağrıları.

Dekont

Microsoft, Azure Open Datasets'i "olduğu gibi" sağlar. Microsoft, veri kümelerini kullanımınızla ilgili olarak açık veya zımni hiçbir garanti veya koşul sağlamaz. Yerel yasalarınız kapsamında izin verilen ölçüde, Microsoft veri kümelerini kullanımınızdan kaynaklanan doğrudan, sonuçsal, özel, dolaylı, arızi veya cezai dahil olmak üzere tüm zarar veya kayıplar için tüm sorumluluğu kabul etmez.

Bu veri kümesi Microsoft’un kaynak verileri aldığı orijinal hükümler kapsamında sağlanır. Veri kümesi Microsoft’tan alınan verileri içerebilir.

Birim ve saklama

Bu veri kümesi Parquet biçiminde depolanır. Günlük olarak güncelleştirilir ve 2019 itibarıyla toplamda yaklaşık 12M satır (500 MB) içerir.

Bu veri kümesi 2010’dan bugüne kadar birikmiş geçmiş kayıtları içerir. Belirli bir zaman aralığı içindeki verileri getirmek için SDK’mızdaki parametre ayarlarını kullanabilirsiniz.

Depolama konumu

Bu veri kümesi Doğu ABD Azure bölgesinde depolanır. Benzeşim için Doğu ABD’deki işlem kaynaklarının ayrılması önerilir.

Ek bilgi

Bu veri kümesi New York City government kaynağından alınmaktadır. Daha fazla bilgi için New York Şehri web sitesine bakın. Bu veri kümesinin koşullarına bakın.

Sütunlar

Adı	Veri türü	Benzersiz	Değerler (örnek)	Açıklama
adres	Dize	1,536,593	655 DOĞU 230 SOKAK 78-15 PARSONS BULVARı	Gönderen tarafından sağlanan olay adresinin ev numarası.
category	Dize	446	Gürültü - Konut ISı/SICAK SU	Bu, olayın veya koşulun konusunu tanımlayan bir hiyerarşinin ilk düzeyidir (Şikayet Türü). Karşılık gelen bir alt kategorisi (Tanımlayıcı) olabilir veya tek başına bulunabilir.
dataSubtype	Dize	1	311_All	"311_All"
Datatype	Dize	1	Güvenlik	"Kasa ty"
tarih saat	timestamp	17,332,609	2013-01-24 00:00:00 2015-01-08 00:00:00	Hizmet İsteğinin oluşturulduğu tarih.
latitude	çift	1,513,691	40.89187241649303 40.72195913199264	Olay konumunun coğrafi Enlemi.
boylam	çift	1,513,713	-73.86016845296459 -73.80969682426189	Olay konumunun coğrafi Boylamı.
durum	Dize	13	Kapalı Beklemede	Gönderilen Hizmet İsteğinin durumu.
Alt kategori	Dize	1,716	Gürültülü Müzik/Parti TÜM EDİYE	Kategoriyle (Şikayet Türü) ilişkilidir ve olay ya da koşulla ilgili daha fazla ayrıntı sağlar. Değerleri Şikayet Türüne bağlıdır ve Hizmet İsteğinde her zaman gerekli değildir.

Önizleme

Datatype	dataSubtype	tarih saat	category	Alt kategori	durum	adres	latitude	boylam	kaynak
Güvenlik	311_All	25.04.2021 02:05:05	Gürültü - Sokak/Kaldırım	Sesli Müzik/Parti	Sürüyor	2766 BATH AVENUE	40.5906129741766	-73.9847949011337	boş
Güvenlik	311_All	25/4/2021 02:04:33	Gürültü - Ticari	Sesli Müzik/Parti	Sürüyor	1033 WEBSTER CADDESI	40.8285784533256	-73.9117746958432	boş
Güvenlik	311_All	25.04.2021 02:04:27	Gürültü - Konut	Sesli Müzik/Parti	Sürüyor	620 BATı 141 SOKAK	40.8241726554395	-73.9530069547366	boş
Güvenlik	311_All	25/4/2021 02:04:04	Gürültü - Konut	Sesli Müzik/Parti	Sürüyor	1647 64 SOKAK	40.6218907202382	-73.9931125332078	boş
Güvenlik	311_All	25.04.2021 02:04:01	Gürültü - Konut	Sesli Müzik/Parti	Sürüyor	30 LENOX CADDESI	40.7991622274945	-73.9517496365803	boş
Güvenlik	311_All	25/4/2021 02:03:40	Yasadışı Park Yeri	Çift Park Halinde Trafiği Engelleyen	Sürüyor	304 BATı 148 SOKAK	40.8248229687124	-73.940696262361	boş
Güvenlik	311_All	25/4/2021 02:03:31	Gürültü - Sokak/Kaldırım	Sesli Müzik/Parti	Sürüyor	ADEE BULVARI	40.8708386263454	-73.8382363208686	boş
Güvenlik	311_All	25.04.2021 02:03:18	Gürültü - Konut	Sesli Müzik/Parti	Sürüyor	340 EVERGREEN CADDESI	40.6947512704197	-73.9248330229197	boş
Güvenlik	311_All	25/4/2021 02:03:13	Gürültü - Konut	Çakma/Vurma	Sürüyor	25 REMSEN CADDESI	40.6948938116483	-73.9973494607802	boş

Veri erişimi

Azure Notebooks

# This is a package in preview.
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_pandas_dataframe()

safety.info()

# Pip install packages
import os, sys

!{sys.executable} -m pip install azure-storage-blob
!{sys.executable} -m pip install pyarrow
!{sys.executable} -m pip install pandas

# Azure storage access info
azure_storage_account_name = "azureopendatastorage"
azure_storage_sas_token = r""
container_name = "citydatacontainer"
folder_name = "Safety/Release/city=SanFrancisco"

from azure.storage.blob import BlockBlobServicefrom azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient

if azure_storage_account_name is None or azure_storage_sas_token is None:
    raise Exception(
        "Provide your specific name and key for your Azure Storage account--see the Prerequisites section earlier.")

print('Looking for the first parquet under the folder ' +
      folder_name + ' in container "' + container_name + '"...')
container_url = f"https://{azure_storage_account_name}.blob.core.windows.net/"
blob_service_client = BlobServiceClient(
    container_url, azure_storage_sas_token if azure_storage_sas_token else None)

container_client = blob_service_client.get_container_client(container_name)
blobs = container_client.list_blobs(folder_name)
sorted_blobs = sorted(list(blobs), key=lambda e: e.name, reverse=True)
targetBlobName = ''
for blob in sorted_blobs:
    if blob.name.startswith(folder_name) and blob.name.endswith('.parquet'):
        targetBlobName = blob.name
        break

print('Target blob to download: ' + targetBlobName)
_, filename = os.path.split(targetBlobName)
blob_client = container_client.get_blob_client(targetBlobName)
with open(filename, 'wb') as local_file:
    blob_client.download_blob().download_to_stream(local_file)

# Read the parquet file into Pandas data frame
import pandas as pd

print('Reading the parquet file into Pandas data frame')
df = pd.read_parquet(filename)

# you can add your filter at below
print('Loaded as a Pandas data frame: ')
df

Azure Databricks

# This is a package in preview.
# You need to pip install azureml-opendatasets in Databricks cluster. https://learn.microsoft.com/azure/data-explorer/connect-from-databricks#install-the-python-library-on-your-azure-databricks-cluster
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

display(safety.limit(5))

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=SanFrancisco"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Azure Synapse

# This is a package in preview.
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

# Display top 5 rows
display(safety.limit(5))

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=SanFrancisco"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Örnekler

GitHub'da City Kasa ty Analytics örneğine bakın.

Sonraki adımlar

Açık Veri Kümeleri kataloğundaki diğer veri kümelerini görüntüleyin.