ScrapingBee (独立系発行者) (プレビュー)

ScrapingBee は、Web 上で最も強力な Web スクレイピング サービスです。 ヘッドレス ブラウザー、プロキシ、CAPTCHA を処理し、CSS セレクターを使用して任意の Web サイトから複雑な構造化情報を抽出し、JavaScript シナリオ (クリック、スクロール、フォーム入力など) を実行します。

このコネクタは、次の製品および地域で利用可能です:

Service クラス 地域
Logic Apps 標準 以下を除くすべての Logic Apps 地域 :
     -   Azure 政府の地域
     -   Azure 中国の地域
     -   国防総省 (DoD)
Power Automate プレミアム 以下を除くすべての Power Automate 地域 :
     -   米国政府 (GCC)
     -   米国政府 (GCC High)
     -   21Vianet が運用する中国のクラウド
     -   国防総省 (DoD)
Power Apps プレミアム 以下を除くすべての Power Apps 地域 :
     -   米国政府 (GCC)
     -   米国政府 (GCC High)
     -   21Vianet が運用する中国のクラウド
     -   米国国防総省 (DoD)
お問い合わせ先
件名 Troy Taylor
[URL] https://www.hitachisolutions.com
メール ttaylor@hitachisolutions.com
Connector Metadata
発行者 Troy Taylor
Web サイト https://www.scrapingbee.com/
プライバシー ポリシー https://www.scrapingbee.com/privacy-policy/
カテゴリー Web サイト

接続を作成する

コネクタは、次の認証タイプをサポートしています:

既定 接続を作成するためのパラメーター。 すべての地域 共有不可

既定

適用できるもの: すべての領域

接続を作成するためのパラメーター。

これは共有可能な接続ではありません。 パワー アプリが別のユーザーと共有されている場合、別のユーザーは新しい接続を明示的に作成するように求められます。

件名 タイプ 内容 必要
API キー securestring この API の API キー True

調整制限

名前 呼び出し 更新期間
接続ごとの API 呼び出し 100 60 秒

アクション

Google 検索を実行する

Google 検索結果ページのスクレイプを取得する

URL の仕損

仕損要求された URL を取得し、要求に応じて JavaScript をレンダリングします。

使用状況を取得する

クレジット消費と同時実行の使用に関する情報を取得します。

Google 検索を実行する

Google 検索結果ページのスクレイプを取得する

パラメーター

名前 キー 必須 説明
検索する
search True string

Google 検索バーに入力するテキスト。

Country Code
country_code string

要求を送信する国。

Results
nb_results integer

返される結果の数。

ぺージ
page integer

結果を抽出するページ番号。

Language
language string

結果を返す言語。

追加パラメーター
extra_params string

送信する追加の URL パラメーター。

戻り値

名前 パス 説明
[URL]
meta_data.url string

URL アドレス。

Results
meta_data.number_of_results integer

結果の件数。

場所
meta_data.location string

場所。

有機的な結果
meta_data.number_of_organic_results integer

有機的な結果数。

広告
meta_data.number_of_ads integer

広告数。

ぺージ
meta_data.number_of_page integer

ページ番号。

結果なしのメッセージ
meta_data.no_results_message string

結果なしのメッセージ。

有機的な結果
organic_results array of object
[URL]
organic_results.url string

URL アドレス。

表示される URL
organic_results.displayed_url string

表示される URL アドレス。

Description
organic_results.description string

説明設定。

追加情報
organic_results.extra_info string

追加情報。

Position
organic_results.position integer

ポジション。

肩書き
organic_results.title string

肩書き。

ローカル結果
local_results array of string

ローカル結果。

上部の広告
top_ads string

上部の広告。

下部の広告
bottom_ads string

下部の広告。

関連クエリ
related_queries array of object
Text
related_queries.text string

テキスト。

Position
related_queries.position integer

ポジション。

質問
questions array of string

質問。

URL の仕損

仕損要求された URL を取得し、要求に応じて JavaScript をレンダリングします。

パラメーター

名前 キー 必須 説明
[URL]
url True string

仕損する URL。

JS をレンダリングする
render_js True boolean

ヘッドレス ブラウザーで Web サイトをレンダリングします。

JS シナリオ
js_scenario string

レンダリング前に JavaScript を実行します。

Wait
wait integer

レンダリング前の待機時間。

待機の対象
wait_for string

DOM に特定の要素が表示されるまで待機する

広告をブロックする
block_ads boolean

広告をブロックするかどうか。

リソースをブロックする
block_resources boolean

すべての画像と CSS をブロックするかどうか。

ウィンドウの幅
window_width integer

使用するウィンドウの幅。

ウィンドウの高さ
window_height integer

使用するウィンドウの高さ。

プレミアム プロキシ
premium_proxy boolean

プロキシを使用して Web サイトを仕損するかどうか。

Country Code
country_code string

Web サイトを仕損するのに使用するプロキシ国。

ステルス プロキシ
stealth_proxy boolean

ステルス プロキシを使用して Web サイトを仕損するかどうか。

独自のプロキシ
own_proxy string

使用する独自のプロキシ。

ルールの抽出
extract_rules string

応答する前に HTML を解析するための抽出ルール。

スクリーンショット
screenshot boolean

要求された Web サイトのスクリーンショットを撮ります。

スクリーンショット セレクター
screenshot_selector string

特定の CSS セレクターのスクリーンショットを撮ります。

スクリーンショットのフル ページ
screenshot_full_page boolean

Web サイト全体のスクリーンショットを撮ります。

ページ ソースを返す
return_page_source boolean

ページ ソースも返します。

セッション ID
session_id integer

同じ session_id を使用するすべての API 要求は、同じ IP アドレスを介して 5 分間ルーティングされます。

Timeout
timeout integer

1000 から 140000 (既定) までのミリ秒タイムアウトの最大値。

クッキー
cookies string

Web サイトに渡すカスタム Cookie。

機器
device string

サーバーに送信されるデバイスの種類。

カスタム Google
custom_google boolean

Google または Google サブドメインで Web ページをスクレイピングする場合は true に設定します。

戻り値

名前 パス 説明
Body
body string

ボディ。

クッキー
cookies array of object
件名
cookies.name string

名前。

価値
cookies.value string

値。

Domain
cookies.domain string

ドメイン。

Path
cookies.path string

パス。

Expires
cookies.expires float

有効期限。

規模
cookies.size integer

サイズ。

HTTP のみ
cookies.httpOnly boolean

HTTP のみかどうか。

Secure
cookies.secure boolean

安全かどうか。

Session
cookies.session boolean

セッションかどうか。

同じパーティー
cookies.sameParty boolean

同じパーティーかどうか。

ソース スキーム
cookies.sourceScheme string

ソース スキーム。

ソース ポート
cookies.sourcePort integer

ソース ポート。

評価結果
evaluate_results array of string

評価結果。

年齢
headers.age string

年齢。

キャッシュ コントロール
headers.cache-control string

キャッシュ コントロール。

コンテンツ エンコード
headers.content-encoding string

コンテンツ エンコード。

コンテンツ セキュリティ ポリシー
headers.content-security-policy string

コンテンツ セキュリティ ポリシー。

Content Type
headers.content-type string

コンテンツ タイプ。

headers.date string

日付。

ETag
headers.etag string

eTag。

参照元ポリシー
headers.referrer-policy string

参照元ポリシー。

サーバー
headers.server string

サーバー。

厳格なトランスポート セキュリティ
headers.strict-transport-security string

厳格なトランスポート セキュリティ。

X コンテンツ タイプ オプション
headers.x-content-type-options string

X コンテンツ タイプ オプション。

X フレーム オプション
headers.x-frame-options string

X フレーム オプション。

X に一致したパス
headers.x-matched-path string

X に一致したパス。

X Powered By
headers.x-powered-by string

X Powered By。

X Vercel キャッシュ
headers.x-vercel-cache string

X Vercel キャッシュ。

X Vercel ID
headers.x-vercel-id string

X Vercel 識別子。

タイプ
type string

種類。

IFrame
iframes array of string

iFrame。

XHR
xhr array of object
[URL]
xhr.url string

URL アドレス。

状態コード
xhr.status_code integer

状態コード。

メソッド
xhr.method string

方法。

年齢
xhr.headers.age string

年齢。

キャッシュ コントロール
xhr.headers.cache-control string

キャッシュ コントロール。

コンテンツの長さ
xhr.headers.content-length string

コンテンツの長さ。

コンテンツ セキュリティ ポリシー
xhr.headers.content-security-policy string

コンテンツ セキュリティ ポリシー。

Content Type
xhr.headers.content-type string

コンテンツ タイプ。

xhr.headers.date string

日付。

ETag
xhr.headers.etag string

eTag。

参照元ポリシー
xhr.headers.referrer-policy string

参照元ポリシー。

サーバー
xhr.headers.server string

サーバー。

厳格なトランスポート セキュリティ
xhr.headers.strict-transport-security string

厳格なトランスポート セキュリティ。

X コンテンツ タイプ オプション
xhr.headers.x-content-type-options string

X コンテンツ タイプ オプション。

X フレーム オプション
xhr.headers.x-frame-options string

X フレーム オプション。

X に一致したパス
xhr.headers.x-matched-path string

X に一致したパス。

X Vercel キャッシュ
xhr.headers.x-vercel-cache string

X Vercel キャッシュ。

X Vercel ID
xhr.headers.x-vercel-id string

X Vercel 識別子。

Access Control Allow Origin
xhr.headers.access-control-allow-origin string

Access Control Allow Origin。

Access Control Expose Headers
xhr.headers.access-control-expose-headers string

Access Control Expose Headers。

Alt SVC
xhr.headers.alt-svc string

Alt SVC。

差異
xhr.headers.vary string

差異。

を介して
xhr.headers.via string

経由。

X Envoy アップストリーム サービス時間
xhr.headers.x-envoy-upstream-service-time string

X Envoy アップストリーム サービス時間。

X Amazon 要求 ID
xhr.headers.x-amzn-requestid string

X Amazon 要求識別子。

X Amazon トレース ID
xhr.headers.x-amzn-trace-id string

X Amazon トレース識別子。

Body
xhr.body string

ボディ。

Cost
cost integer

コスト。

初期ステータス コード
initial-status-code integer

初期ステータス コード。

解決済み URL
resolved-url string

解決済み URL アドレス

マイクロデータ
metadata.microdata array of string

マイクロデータ。

JSON LD
metadata.json-ld array of object
Context
metadata.json-ld.@context string

コンテンツ。

タイプ
metadata.json-ld.@type string

種類。

件名
metadata.json-ld.name string

名前。

[URL]
metadata.json-ld.url string

URL アドレス。

Description
metadata.json-ld.description string

説明設定。

タイプ
metadata.json-ld.mainEntityOfPage.@type string

種類。

[URL]
metadata.json-ld.mainEntityOfPage.url string

URL アドレス。

タイプ
metadata.json-ld.image.@type string

種類。

[URL]
metadata.json-ld.image.url string

URL アドレス。

タイプ
metadata.json-ld.publisher.@type string

種類。

件名
metadata.json-ld.publisher.name string

名前。

[URL]
metadata.json-ld.publisher.url string

URL アドレス。

同様
metadata.json-ld.sameAs string

同様。

グラフを開く
metadata.opengraph array of object
グラフのタイトルを開く
metadata.opengraph.og:title string

グラフのタイトルを開く。

グラフを開くの説明
metadata.opengraph.og:description string

グラフを開くの説明。

グラフを開くのサイト名
metadata.opengraph.og:site_name string

グラフを開くのサイト名。

グラフを開くの URL
metadata.opengraph.og:url string

グラフを開くの URL アドレス。

グラフを開くの画像
metadata.opengraph.og:image string

グラフを開くの画像。

タイプ
metadata.opengraph.@type string

種類。

OG
metadata.opengraph.@context.og string

グラフを開く。

ダブリンコア
metadata.dublincore array of object
要素
metadata.dublincore.elements array of object
件名
metadata.dublincore.elements.name string

名前。

コンテンツ
metadata.dublincore.elements.content string

コンテンツ。

URI
metadata.dublincore.elements.URI string

URI。

条件
metadata.dublincore.terms array of string

条件。

使用状況を取得する

クレジット消費と同時実行の使用に関する情報を取得します。

戻り値

名前 パス 説明
最大 API クレジット
max_api_credit integer

最大 API クレジット。

使用済み API クレジット
used_api_credit integer

使用済み API クレジット。

最大同時実行
max_concurrency integer

最大同時実行。

現在の同時実行数
current_concurrency integer

現在の同時実行数。

サブスクリプションの更新日付
renewal_subscription_date string

サブスクリプションの更新日付。