Phân tích dữ liệu sử dụng API DataFrame

Đã hoàn thành

Việc sử dụng API DataFrame để phân tích dữ liệu là điều cần thiết để khám phá, điều khiển và phân tích dữ liệu có cấu trúc trong các ứng dụng khác nhau một cách hiệu quả.

API DataFrame được cung cấp bởi một số thư viện xử lý dữ liệu, chẳng hạn như Pandas trong Python, Apache Spark và dplyr của R, mỗi thư viện cung cấp các công cụ để xử lý các tập dữ liệu lớn một cách dễ dàng. Làm việc với DataFrames có vẻ giống nhau giữa các thư viện, nhưng mỗi thư viện có một số biến thể nhỏ trong khả năng của nó.

Khung dữ liệu Spark

Spark DataFrame là một tập hợp dữ liệu phân tán được sắp xếp thành các cột được đặt tên, giống như một bảng trong cơ sở dữ liệu. Nó cho phép bạn truy vấn và chuyển đổi các tập dữ liệu lớn bằng cách sử dụng các hoạt động hoặc API giống SQL trong khi tự động thay đổi quy mô trên một cụm. DataFrames cung cấp một tập hợp các hàm phong phú (chọn cột, lọc, nối, tổng hợp) cho phép bạn giải quyết các vấn đề phân tích dữ liệu phổ biến một cách hiệu quả.

Dưới đây là ví dụ về cách sử dụng API Spark DataFrame trong Python. Mã tạo Spark DataFrame với tên và tuổi, sau đó minh họa cách chọn cột, lọc hàng theo độ tuổi và nhóm theo độ tuổi để đếm số lần xuất hiện.

# Create a sample DataFrame
data = [("Alice", 34), ("Bob", 45), ("Cathy", 29)]
columns = ["Name", "Age"]
df = spark.createDataFrame(data, columns)

# Select columns
df.select("Name").show()

# Filter rows
df.filter(df["Age"] > 30).show()

# Group by and aggregate
df.groupBy("Age").count().show()

Spark DataFrame là một cấu trúc dữ liệu phân tán, dựa trên cụm được thiết kế để xử lý các tập dữ liệu rất lớn bằng cách phân tách và xử lý chúng trên nhiều máy.

Khung dữ liệu gấu trúc

Pandas DataFrame là một cấu trúc dữ liệu trong bộ nhớ, một máy, tốt nhất cho các bộ dữ liệu vừa và nhỏ phù hợp với một máy tính.

Và đây là ví dụ về cách thực hiện cùng một tác vụ bằng cách sử dụng API Pandas DataFrame trong Python:

import pandas as pd

# Create a sample DataFrame
data = {'Name': ['Alice', 'Bob', 'Cathy', 'David'],
        'Age': [34, 45, 29, 23]}
df = pd.DataFrame(data)

# Select columns
print(df[['Name']])

# Filter rows
print(df[df['Age'] > 30])

# Group by and aggregate
print(df.groupby('Age').size())

So sánh Spark DataFrame với Pandas DataFrame

Tính năng	Khung dữ liệu Spark	gấu trúc DataFrame
Thực hiện	Phân phối trên một cụm	Chạy trên một máy (trong bộ nhớ)
Khả năng mở rộng	Xử lý các tập dữ liệu rất lớn (terabyte trở lên)	Tốt nhất cho bộ dữ liệu vừa và nhỏ (phù hợp với RAM)
Api	Các hoạt động giống SQL, API Spark trong Python/Scala/Java/R	API dựa trên Python
suất	Tối ưu hóa với động cơ Catalyst & Tungsten	Tối ưu hóa cho các hoạt động một nút
Lười biếng vs. Háo hức	Đánh giá lười biếng (truy vấn kế hoạch trước khi thực hiện)	Thực hiện háo hức (chạy ngay lập tức)
Trường hợp sử dụng	Xử lý dữ liệu lớn, ETL, phát trực tuyến, học máy	Phân tích dữ liệu, tạo mẫu, ML nhẹ
Tích hợp	Hoạt động với hệ sinh thái Spark và lưu trữ phân tán	Hoạt động với hệ sinh thái Python (NumPy, SciPy, v.v.)

Mẹo

Để biết thêm thông tin về cách tải và chuyển đổi dữ liệu bằng Spark, hãy xem API DataFrame Apache Spark Python (PySpark), APIApache Scala DataFrame hoặc API SparkR SparkDataFrame.