使用快速、條件式、K-近鄰探索文化與媒體之間的藝術
本文可作為透過 k-near-neighbors 進行比對尋找的指導方針。 您設定了程式代碼,允許查詢涉及紐約市大都會藝術博物館和阿姆斯特丹的 Rijksmuseum 的藝術媒體。
必要條件
- 將筆記本附加至 Lakehouse。 在左側,選取 [新增 ] 以新增現有的 Lakehouse 或建立 Lakehouse。
BallTree 概觀
KNN 模型背後的結構是 BallTree,這是遞歸二進位樹狀結構,其中每個節點(或 “ball”) 都包含要查詢之數據點的分割區。 建置 BallTree 牽涉到將數據點指派給「球」,其中心與其最接近(相對於特定特徵),導致一個結構,允許二元樹狀周遊,並自行在 BallTree 葉尋找最接近的鄰居。
設定
匯入必要的 Python 連結庫並準備數據集。
from synapse.ml.core.platform import *
if running_on_binder():
from IPython import get_ipython
from pyspark.sql.types import BooleanType
from pyspark.sql.types import *
from pyspark.ml.feature import Normalizer
from pyspark.sql.functions import lit, array, array_contains, udf, col, struct
from synapse.ml.nn import ConditionalKNN, ConditionalKNNModel
from PIL import Image
from io import BytesIO
import requests
import numpy as np
import matplotlib.pyplot as plt
from pyspark.sql import SparkSession
# Bootstrap Spark Session
spark = SparkSession.builder.getOrCreate()
我們的數據集來自一個數據表,其中包含大都會和 Rijks 博物館的藝術品資訊。 架構如下所示:
- id:藝術品的唯一標識符
- 範例符合標識碼: 388395
- 範例 Rijks 識別碼: SK-A-2344
- 標題:藝術品標題,如博物館資料庫中所寫
- 藝術家:藝術作品藝術家,如博物館資料庫中所寫
- Thumbnail_Url:藝術作品 JPEG 縮圖的位置
- Image_Url氣象/里克斯網站上裝載的藝術品圖像的位置
- 文化:藝術作品落在的文化類別
- 範例文化類別: 拉丁美洲、 埃及等。
- 分類:藝術作品落在的媒體類別
- 範例媒體類別: 木工、 繪畫等。
- Museum_Page:大都會/里克斯網站上的藝術作品連結
- Norm_Features:內嵌藝術品影像
- 博物館:指定該作品源自哪個博物館
# loads the dataset and the two trained CKNN models for querying by medium and culture
df = spark.read.parquet(
"wasbs://publicwasb@mmlspark.blob.core.windows.net/met_and_rijks.parquet"
)
display(df.drop("Norm_Features"))
定義要查詢的類別
使用兩個 KNN 模型:一個用於文化特性,一個用於中型。
# mediums = ['prints', 'drawings', 'ceramics', 'textiles', 'paintings', "musical instruments","glass", 'accessories', 'photographs', "metalwork",
# "sculptures", "weapons", "stone", "precious", "paper", "woodwork", "leatherwork", "uncategorized"]
mediums = ["paintings", "glass", "ceramics"]
# cultures = ['african (general)', 'american', 'ancient american', 'ancient asian', 'ancient european', 'ancient middle-eastern', 'asian (general)',
# 'austrian', 'belgian', 'british', 'chinese', 'czech', 'dutch', 'egyptian']#, 'european (general)', 'french', 'german', 'greek',
# 'iranian', 'italian', 'japanese', 'latin american', 'middle eastern', 'roman', 'russian', 'south asian', 'southeast asian',
# 'spanish', 'swiss', 'various']
cultures = ["japanese", "american", "african (general)"]
# Uncomment the above for more robust and large scale searches!
classes = cultures + mediums
medium_set = set(mediums)
culture_set = set(cultures)
selected_ids = {"AK-RBK-17525-2", "AK-MAK-1204", "AK-RAK-2015-2-9"}
small_df = df.where(
udf(
lambda medium, culture, id_val: (medium in medium_set)
or (culture in culture_set)
or (id_val in selected_ids),
BooleanType(),
)("Classification", "Culture", "id")
)
small_df.count()
定義及調整條件式KNN 模型
建立中文化特性數據行的條件式KNN 模型;每個模型都會採用輸出數據行、特徵數據行(特徵向量)、值數據行(輸出數據行下的儲存格值),以及標籤資料列(個別 KNN 的條件品質)。
medium_cknn = (
ConditionalKNN()
.setOutputCol("Matches")
.setFeaturesCol("Norm_Features")
.setValuesCol("Thumbnail_Url")
.setLabelCol("Classification")
.fit(small_df)
)
culture_cknn = (
ConditionalKNN()
.setOutputCol("Matches")
.setFeaturesCol("Norm_Features")
.setValuesCol("Thumbnail_Url")
.setLabelCol("Culture")
.fit(small_df)
)
定義比對和可視化方法
初始數據集和類別設定之後,準備方法,以查詢和可視化條件式 KNN 的結果。
addMatches()
會為每個類別建立具有少數相符項目的數據框架。
def add_matches(classes, cknn, df):
results = df
for label in classes:
results = cknn.transform(
results.withColumn("conditioner", array(lit(label)))
).withColumnRenamed("Matches", "Matches_{}".format(label))
return results
plot_urls()
呼叫 plot_img
,將每個類別的頂端相符項目可視化為網格線。
def plot_img(axis, url, title):
try:
response = requests.get(url)
img = Image.open(BytesIO(response.content)).convert("RGB")
axis.imshow(img, aspect="equal")
except:
pass
if title is not None:
axis.set_title(title, fontsize=4)
axis.axis("off")
def plot_urls(url_arr, titles, filename):
nx, ny = url_arr.shape
plt.figure(figsize=(nx * 5, ny * 5), dpi=1600)
fig, axes = plt.subplots(ny, nx)
# reshape required in the case of 1 image query
if len(axes.shape) == 1:
axes = axes.reshape(1, -1)
for i in range(nx):
for j in range(ny):
if j == 0:
plot_img(axes[j, i], url_arr[i, j], titles[i])
else:
plot_img(axes[j, i], url_arr[i, j], None)
plt.savefig(filename, dpi=1600) # saves the results as a PNG
display(plt.show())
融會貫通
定義 test_all()
以取得數據、CKNN 模型、要查詢的藝術標識碼值,以及要儲存輸出視覺效果的檔案路徑。 中和文化特性模型先前已定型並載入。
# main method to test a particular dataset with two CKNN models and a set of art IDs, saving the result to filename.png
def test_all(data, cknn_medium, cknn_culture, test_ids, root):
is_nice_obj = udf(lambda obj: obj in test_ids, BooleanType())
test_df = data.where(is_nice_obj("id"))
results_df_medium = add_matches(mediums, cknn_medium, test_df)
results_df_culture = add_matches(cultures, cknn_culture, results_df_medium)
results = results_df_culture.collect()
original_urls = [row["Thumbnail_Url"] for row in results]
culture_urls = [
[row["Matches_{}".format(label)][0]["value"] for row in results]
for label in cultures
]
culture_url_arr = np.array([original_urls] + culture_urls)[:, :]
plot_urls(culture_url_arr, ["Original"] + cultures, root + "matches_by_culture.png")
medium_urls = [
[row["Matches_{}".format(label)][0]["value"] for row in results]
for label in mediums
]
medium_url_arr = np.array([original_urls] + medium_urls)[:, :]
plot_urls(medium_url_arr, ["Original"] + mediums, root + "matches_by_medium.png")
return results_df_culture
示範
下列數據格會針對所需的影像標識碼和檔名執行批次查詢,以儲存視覺效果。
# sample query
result_df = test_all(small_df, medium_cknn, culture_cknn, selected_ids, root=".")