San Francisco Safety Data (Данные о безопасности в Сан Франциско)

Вызовы пожарной службы и обращения в службу 311 в Сан-Франциско.

Примечание.

Корпорация Майкрософт предоставляет Открытые наборы данных Azure как есть. Корпорация Майкрософт не предоставляет никаких гарантий (явных или подразумеваемых) и не определяет никаких условий в связи с использованием этих наборов данных. В рамках, допускаемых местным законодательством, корпорация Майкрософт отказывается от ответственности за ущерб и убытки (в том числе прямые, косвенные, специальные, опосредованные, случайные и штрафные), понесенные в результате использования вами этих наборов данных.

Этот набор данных предоставляется на тех же условиях, на которых корпорация Майкрософт получила исходные данные. Этот набор может включать данные, полученные от корпорации Майкрософт.

Данные об обращениях в пожарную службу включают все отклики пожарных бригад. Каждая запись содержит номер вызова, номер инцидента, адрес, идентификатор бригады, тип вызова и расположение. Кроме того, включены все соответствующие интервалы времени. Так как этот набор данных основан на откликах, а для большинства вызовов задействуется несколько бригад, каждому номеру вызова соответствует несколько записей. Адреса связываются с номером квартала, перекрестком или телефонным автоматом, а не конкретным домом.

Обращения в службу 311 включают инциденты, связанные с определенным местом или объектом (например, парками, улицами или зданиями) и созданные не ранее 1 июля 2008 г. Исключаются все обращения пользователей по собственным вопросам (например, связанным с собственностью или налогообложением, запросами разрешений на стоянку и т. д.). См. дополнительные сведения на странице программы.

Объем данных и их хранение

Этот набор данных хранится в формате Parquet. Он обновляется ежедневно и по состоянию на 2019 год содержит около 6 млн строк (400 МБ).

Этот набор данных содержит архивные записи, собранные с 2015 года по сегодняшний день. Вы можете использовать параметры из нашего пакета SDK, чтобы получить данные за определенный диапазон времени.

Расположение хранилища

Этот набор данных хранится в регионе Azure "Восточная часть США". Для обеспечения приближенности рекомендуется выделять вычислительные ресурсы в регионе "Восточная часть США".

Связанные наборы данных

• Обращения в пожарную службу
• Обращения по номеру 311

Столбцы

Имя.	Тип данных	Уникальный	Значения (пример)	Description
address	строка	280 652	Не связано с определенным адресом квартала 0 для 6TH ST	Адрес, по которому произошел инцидент (примечание: адрес и данные о местонахождении обобщаются до центрального участка улицы, перекрестка или расположения ближайшего телефонного автомата, чтобы защитить конфиденциальность звонящего).
Категория	строка	108	Очистка улицы и тротуара с потенциальной угрозой для жизни	Понятное для человека название для информационных заявок или группа тип вызова для пожарных вызовов.
dataSubtype	строка	2	911_Fire 311_All	911_Fire или 311_All.
dataType	строка	1	Безопасность	“Безопасность”
dateTime	TIMESTAMP	6 496 563	2020-10-19 12:28:08 2020-07-28 06:40:26	Дата и время поступления вызова или регистрации звонка о пожаре.
широта	двойной точности	1 615 369	37.777624238929 37.786117211838	Широта расположения (проекция WGS84).
долгота	двойной точности	1 554 612	-122.39998111124 -122.419854245692	Долгота расположения (проекция WGS84).
source	строка	9	Мобильный телефон/Open311	Механизм или канал запроса на обслуживание. Обычно это телефон, SMS или другое текстовое сообщение, веб-сайт, мобильное приложение, Twitter и др. Условия зависят от используемой системы.
статус	строка	3	Закрыто, открыто	Указатель из одного слова для текущего состояния вызова. (Примечание: GeoReport V2 разрешает использовать только состояния "Открыто" и "Закрыто".)
подкатегория	строка	1270	Объемные запросы, связанные с медицинскими обращениями	Понятное для человека название подтипа вызова для информационных заявок или тип вызова для пожарных вызовов.

Предварительная версия

dataType	dataSubtype	dateTime	Категория	подкатегория	статус	address	широта	долгота	source	extendedProperties
Безопасность	911_Fire	4/26/2021 2:56:13 AM	Без угрозы для жизни	Медицинской инцидент	null	Квартал 700 GEARY ST	37.7863607914647	-122.415616900246	null
Безопасность	911_Fire	4/26/2021 2:56:13 AM	Без угрозы для жизни	Медицинской инцидент	null	Квартал 700 GEARY ST	37.7863607914647	-122.415616900246	null
Безопасность	911_Fire	4/26/2021 2:54:03 AM	Без угрозы для жизни	Медицинской инцидент	null	Квартал 0 ESSEX ST	37.7860048266229	-122.395077258809	null
Безопасность	911_Fire	4/26/2021 2:54:03 AM	Без угрозы для жизни	Медицинской инцидент	null	Квартал 0 ESSEX ST	37.7860048266229	-122.395077258809	null
Безопасность	911_Fire	4/26/2021 2:52:17 AM	Без угрозы для жизни	Медицинской инцидент	null	Квартал 700 29TH AVE	37.7751770865322	-122.488604397217	null
Безопасность	911_Fire	4/26/2021 2:50:28 AM	С потенциальной угрозой для жизни	Медицинской инцидент	null	Квартал 1000 GEARY ST	37.7857350982044	-122.420555240691	null
Безопасность	911_Fire	4/26/2021 2:50:28 AM	С потенциальной угрозой для жизни	Медицинской инцидент	null	Квартал 1000 GEARY ST	37.7857350982044	-122.420555240691	null
Безопасность	911_Fire	4/26/2021 2:33:52 AM	Без угрозы для жизни	Медицинской инцидент	null	Квартал 100 BELVEDERE ST	37.767791696654	-122.449332294394	null
Безопасность	911_Fire	4/26/2021 2:33:52 AM	Без угрозы для жизни	Медицинской инцидент	null	Квартал 100 BELVEDERE ST	37.767791696654	-122.449332294394	null
Безопасность	911_Fire	4/26/2021 2:33:51 AM	С потенциальной угрозой для жизни	Медицинской инцидент	null	Квартал 100 6TH ST	37.7807920802756	-122.408385745499	null

Доступ к данным

Записные книжки Azure

azureml-opendatasets

# This is a package in preview.
from azureml.opendatasets import NycSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = NycSafety(start_date=start_date, end_date=end_date)
safety = safety.to_pandas_dataframe()

safety.info()

azure-storage

# Pip install packages
import os, sys

!{sys.executable} -m pip install azure-storage-blob
!{sys.executable} -m pip install pyarrow
!{sys.executable} -m pip install pandas

# Azure storage access info
azure_storage_account_name = "azureopendatastorage"
azure_storage_sas_token = r""
container_name = "citydatacontainer"
folder_name = "Safety/Release/city=NewYorkCity"

from azure.storage.blob import BlockBlobServicefrom azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient

if azure_storage_account_name is None or azure_storage_sas_token is None:
    raise Exception(
        "Provide your specific name and key for your Azure Storage account--see the Prerequisites section earlier.")

print('Looking for the first parquet under the folder ' +
      folder_name + ' in container "' + container_name + '"...')
container_url = f"https://{azure_storage_account_name}.blob.core.windows.net/"
blob_service_client = BlobServiceClient(
    container_url, azure_storage_sas_token if azure_storage_sas_token else None)

container_client = blob_service_client.get_container_client(container_name)
blobs = container_client.list_blobs(folder_name)
sorted_blobs = sorted(list(blobs), key=lambda e: e.name, reverse=True)
targetBlobName = ''
for blob in sorted_blobs:
    if blob.name.startswith(folder_name) and blob.name.endswith('.parquet'):
        targetBlobName = blob.name
        break

print('Target blob to download: ' + targetBlobName)
_, filename = os.path.split(targetBlobName)
blob_client = container_client.get_blob_client(targetBlobName)
with open(filename, 'wb') as local_file:
    blob_client.download_blob().download_to_stream(local_file)

# Read the parquet file into Pandas data frame
import pandas as pd

print('Reading the parquet file into Pandas data frame')
df = pd.read_parquet(filename)

# you can add your filter at below
print('Loaded as a Pandas data frame: ')
df

pyspark

Образец для комбинации платформа/пакет недоступен.

Azure Databricks

azureml-opendatasets

# This is a package in preview.
# You need to pip install azureml-opendatasets in Databricks cluster. https://learn.microsoft.com/azure/data-explorer/connect-from-databricks#install-the-python-library-on-your-azure-databricks-cluster
from azureml.opendatasets import NycSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = NycSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

display(safety.limit(5))

azure-storage

Образец для комбинации платформа/пакет недоступен.

pyspark

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=NewYorkCity"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Azure Synapse

azureml-opendatasets

# This is a package in preview.
from azureml.opendatasets import NycSafety

from datetime import datetime
from dateutil import parser

end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = NycSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

# Display top 5 rows
display(safety.limit(5))

azure-storage

Образец для комбинации платформа/пакет недоступен.

pyspark

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=NewYorkCity"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Примеры

• См. пример анализа безопасности City на GitHub.

Следующие шаги

Ознакомьтесь с другими наборами в каталоге Открытых наборов данных.