NYC Taxi &Limuzin Bizottság - zöld taxi utazás rekordok

Cikk
09/01/2024

A zöld taxis utazások rekordjai az utasfelvétel és -kiadás dátumát és idejét, a felvétel és -kiadás helyét, az út hosszát, a tételes viteldíjakat, a díjszabás típusát, a fizetési módot, valamint a sofőr által bejelentett utasszámot tartalmazzák.

Feljegyzés

A Microsoft az Azure Open Datasets szolgáltatást "adott módon" biztosítja. A Microsoft nem vállal kifejezett vagy vélelmezett garanciát vagy feltételeket az adathalmazok Ön általi használatára vonatkozóan. A microsoft a helyi jogszabályok által megengedett mértékben kizár minden felelősséget az adathalmazok használatából eredő károkért vagy veszteségekért, beleértve a közvetlen, következményi, különleges, közvetett, incidenses vagy büntető jellegű károkat is.

Az adatkészletet a Microsoft forrásadataihoz tartozó eredeti feltételek szerint szolgáltatjuk. A készlet tartalmazhat Microsofttól származó adatokat.

Kötet és megőrzés

Az adatkészlet Parketta formátumban van tárolva. 2018-ban összesen körülbelül 80 M sor (2 GB) van.

Az adatkészlet 2009. és 2018. között összegyűjtött adatokat tartalmaz. Adott időtartomány adatainak beolvasásához az általunk biztosított SDK paraméterbeállításait használhatja.

Tárolási hely

Az adatkészlet tárolási helye a Kelet-USA Azure-régió. Az affinitás érdekében Kelet-USA régión belüli számítási erőforrások lefoglalását javasoljuk.

További információk

NYC Taxi and Limousine Commission (TLC):

Az adatokat a Taxicab & Livery Passenger Enhancement Programs (TPEP/LPEP) keretében technológiai szolgáltatók szolgáltatták az NYC Taxi and Limousine Commission (TLC) számára. Az utazások adatait nem a TLC hozta létre, amely így nem is vállal felelősséget ezek pontosságáért.

Tekintse meg az eredeti adatkészlet helyét és az eredeti használati feltételeket.

Oszlopok

Név	Adattípus	Egyedi	Values (sample)	Leírás
doLocationId	húr	264	74 42	A taxióra kikapcsolásának DOLocationID TLC taxizónája.
dropoffLatitude	double	109,721	40.7743034362793 40.77431869506836	2016 júliusától elavult
dropoffLongitude	double	75,502	-73.95272827148438 -73.95274353027344	2016 júliusától elavult
többlet	double	202	0.5 1.0	Egyéb pótdíjak. Ez jelenleg csak a 0,50, illetve 1 USD-s csúcsidős és éjszakai díjakat tartalmazza.
viteldíjAmount	double	10,367	6.0 5.5	Az óra által mért díj az idő és a megtett út függvényében.
improvementSurcharge	húr	92	0.3 0	0,30 USD-s pótdíj leintéses utasfelvételnél. A pótdíjat 2015-ben vezették be.
lpepDropoffDatetime	időbélyeg	58,100,713	2016-05-22 00:00:00 2016-05-09 00:00:00	Az óra leállításának dátuma és ideje.
lpepPickupDatetime	időbélyeg	58,157,349	2013-10-22 12:40:36 2014-08-09 15:54:25	Az óra indításának dátuma és ideje.
mtaTax	double	34	0.5 -0.5	Az ár 0,50 USD MTA- (városi közlekedési hatósági) adót tartalmaz, amely a mért díjnak megfelelően automatikusan hozzáadódik az összeghez.
passengerCount	egész	10	1 2	A járműben tartózkodó utasok száma. Az értéket a sofőr adja meg.
paymentType	egész	5	2 1	Numerikus kód, amely azt jelzi, hogy az utas hogyan fizetett az útért. 1= Hitelkártya 2= Készpénz 3= Díjmentes 4= Vita 5= Ismeretlen 6= Érvénytelenített utazás
pickupLatitude	double	95,110	40.721351623535156 40.721336364746094	2016 júliusától elavult
pickupLongitude	double	55,722	-73.84429931640625 -73.84429168701172	2016 júliusától elavult
puLocationId	húr	264	74 41	A taxióra indításának TLC-taxizónája.
puMonth	egész	12	3 5
puYear	egész	14	2015 2016
rateCodeID	egész	7	1 5	A végösszeg az utazás végén. 1= Standard tarifa 2= JFK 3= Newark 4= Nassau vagy Westchester 5= Tárgyalásos viteldíj 6 = Csoportos utazás
storeAndFwdFlag	húr	2	N Y	Ez a jelző azt jelzi, hogy az utazási rekord a jármű memóriájában volt-e tárolva, mielőtt elküldené a szállítónak, más néven "tároló és továbbítás" néven, mivel a járműnek nem volt kapcsolata a kiszolgálóval. Y = az N= nem áruházi és előreúti utazás
tipAmount	double	6,206	1.0 2.0	Borravaló összege – Ez a mező automatikusan kitöltésre kerül hitelkártyás borravaló-fizetésnél. A készpénzben fizetett borravalókat nem tartalmazza.
tollsAmount	double	2,150	5.54 5.76	Az utazás során fizetett összes úthasználati díj összege.
totalAmount	double	20,188	7.8 6.8	Az utasok által térítendő teljes összeg. Nem tartalmazza a készpénzben fizetett borravalók összegét.
tripDistance	double	7,060	0.9 1.0	A utazás során megtett távolság mérföldben a taxióra adatai alapján.
tripType	egész	3	1 2	Kód amely azt jelzi, hogy az utazás utcai leintés volt-e, vagy kiosztott, amelyet a rendszer automatikusan rendel hozzá a taxióra által alkalmazott díj alapján, de amelyet a sofőr megváltoztathat. 1= Utcai jégeső 2= Diszpécser
vendorID	egész	2	2 1	A rekordot szolgáltató LPEP-szolgáltató kódja. 1 = Creative Mobile Technologies, LLC; 2= VeriFone Inc.

Előnézet

vendorID	lpepPickupDatetime	lpepDropoffDatetime	tripDistance	puLocationId	doLocationId	rateCodeID	storeAndFwdFlag	paymentType	viteldíjAmount	többlet	mtaTax	improvementSurcharge	tipAmount	tollsAmount	totalAmount	tripType	puYear	puMonth
2	2081.06.24. 17:40:37	2081.06.24. 18:42:47	16.95	93	117	0	N	0	52	0	0,5	0.3	0	2.16	55.96	0	2081	6
2	2030. 11. 28. 12:19:29	2030.11.28. 12:25:37	1,08	42	247	0	N	2	6.5	0	0,5	0.3	0	0	7.3	0	2030	11
2	2030. 11. 28. 12:14:50	2030. 11. 28. 12:14:54	0.03	42	42	5	N	2	5	0	0	0	0	0	5	2	2030	11
2	2020. 11. 14. 11:38:07	2020. 11. 14. 11:42:22	0.63	129	129	0	N	2	4,5	0	0,5	0.3	0	0	6.3	0	2020	11
2	2020. 11. 14. 9:55:36	2020. 11. 14. 10:04:54	3,8	82	138	0	N	2	12.5	0	0,5	0.3	0	0	14,3	0	2020	11
2	2019. 08. 26. 16:18:37	2019. 08. 26. 16:19:35	0	264	264	0	N	2	0	0	0,5	0.3	0	0	1.8	0	2019	8
2	2019.07.01. 8:28:33	2019. 07. 01. 08:32:33	0,71	7	7	0	N	0	5	0	0,5	0.3	1.74	0	7.54	0	2019	7
2	2019.07.01. 12:04:53	2019.07.01. 12:21:56	2.71	223	145	0	N	2	13	0,5	0,5	0.3	0	0	14,3	0	2019	7
2	2019.07.01. 12:04:11	2019.07.01. 12:21:15	3,14	166	142	0	N	2	14,5	0,5	0,5	0.3	0	0	18.55	0	2019	7
2	2019.07.01. 12:03:37	2019.07.01. 12:09:27	0,78	74	74	0	N	0	6	0,5	0,5	0.3	1,46	0	8.76	0	2019	7

Az adatok elérése

Azure Notebooks

# This is a package in preview.
from azureml.opendatasets import NycTlcGreen

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2018-06-06')
start_date = parser.parse('2018-05-01')
nyc_tlc = NycTlcGreen(start_date=start_date, end_date=end_date)
nyc_tlc_df = nyc_tlc.to_pandas_dataframe()

nyc_tlc_df.info()

# Pip install packages
import os, sys

!{sys.executable} -m pip install azure-storage-blob
!{sys.executable} -m pip install pyarrow
!{sys.executable} -m pip install pandas

# Azure storage access info
azure_storage_account_name = "azureopendatastorage"
azure_storage_sas_token = r""
container_name = "nyctlc"
folder_name = "green"

from azure.storage.blob import BlockBlobServicefrom azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient

if azure_storage_account_name is None or azure_storage_sas_token is None:
    raise Exception(
        "Provide your specific name and key for your Azure Storage account--see the Prerequisites section earlier.")

print('Looking for the first parquet under the folder ' +
      folder_name + ' in container "' + container_name + '"...')
container_url = f"https://{azure_storage_account_name}.blob.core.windows.net/"
blob_service_client = BlobServiceClient(
    container_url, azure_storage_sas_token if azure_storage_sas_token else None)

container_client = blob_service_client.get_container_client(container_name)
blobs = container_client.list_blobs(folder_name)
sorted_blobs = sorted(list(blobs), key=lambda e: e.name, reverse=True)
targetBlobName = ''
for blob in sorted_blobs:
    if blob.name.startswith(folder_name) and blob.name.endswith('.parquet'):
        targetBlobName = blob.name
        break

print('Target blob to download: ' + targetBlobName)
_, filename = os.path.split(targetBlobName)
blob_client = container_client.get_blob_client(targetBlobName)
with open(filename, 'wb') as local_file:
    blob_client.download_blob().download_to_stream(local_file)

# Read the parquet file into Pandas data frame
import pandas as pd

print('Reading the parquet file into Pandas data frame')
df = pd.read_parquet(filename)

# you can add your filter at below
print('Loaded as a Pandas data frame: ')
df

Azure Databricks

# This is a package in preview.
# You need to pip install azureml-opendatasets in Databricks cluster. https://learn.microsoft.com/azure/data-explorer/connect-from-databricks#install-the-python-library-on-your-azure-databricks-cluster
from azureml.opendatasets import NycTlcGreen

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2018-06-06')
start_date = parser.parse('2018-05-01')
nyc_tlc = NycTlcGreen(start_date=start_date, end_date=end_date)
nyc_tlc_df = nyc_tlc.to_spark_dataframe()

display(nyc_tlc_df.limit(5))

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "nyctlc"
blob_relative_path = "green"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Azure Synapse

# This is a package in preview.
from azureml.opendatasets import NycTlcGreen

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2018-06-06')
start_date = parser.parse('2018-05-01')
nyc_tlc = NycTlcGreen(start_date=start_date, end_date=end_date)
nyc_tlc_df = nyc_tlc.to_spark_dataframe()

# Display top 5 rows
display(nyc_tlc_df.limit(5))

# Display data statistic information
display(nyc_tlc_df, summary = True)

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "nyctlc"
blob_relative_path = "green"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Következő lépések

Tekintse meg a többi adathalmazt az Open Datasets katalógusban.

Megosztás a következőn keresztül: