会社でG.I.Gプログラムに参加する機会を得たので、勉強がてら定期的にWebスクレイピングして結果をSlackに通知するBotをGoogle Cloudで構築してみました。
<h2 id="全体構成">全体構成</h2>
Cloud Functionsでスクレイピングを実行してSlackに結果を通知するHTTP関数を用意して、Cloud Scheduler で定期的にCloud FunctionsにHTTPリクエストを送信するジョブを実行することでBotを構築します。
<img src="/images/posts/gcp-scraping-bot/archecture.png" alt="構成図" loading="lazy" width="873" height="245">
<h2 id="スクレイピングを実装">スクレイピングを実装</h2>
まずはローカルでスクレイピングを実行するコードを実装します。 
HTMLの取得と解析には<a href="https://axios-http.com/" target="_blank">axios</a>と<a href="https://cheerio.js.org/" target="_blank">cheerio</a>を利用します。
<pre class="language-javascript"><code class="language-javascript">const cheerio = require('cheerio');
const axios = require('axios');

const scrape = async () => {
 const res = await axios.get(
 'https://xxxx/xxxx'
 );
 const $ = cheerio.load(res.data);

 // (省略)

 return 'スクレピングの結果';
};

const main = async () => {
 const result = await scrape();
 console.log(result);
}

main();
</code></pre>
<h2 id="Slackへの通知を実装">Slackへの通知を実装</h2>
続いてスクレイピング結果をSlackへ通知する部分を実装します。 
Slackへのメッセージ送信には<a href="https://slack.com/intl/ja-jp/help/articles/115005265063-Slack-%E3%81%A7%E3%81%AE-Incoming-Webhook-%E3%81%AE%E5%88%A9%E7%94%A8" target="_blank">Incoming Webhook</a>でWebhook URLを発行してPOSTリクエストを送信します。
<pre class="language-javascript"><code class="language-javascript">const notifyToSlack = (message) => {
 return axios.post(
 "https://hooks.slack.com/services/xxxxx/xxxxxx/xxxxx",
 {
 text: message,
 }
 );
}

const main = async () => {
 const result = await scrape();
 notifyToSlack(result);
}

main();
</code></pre>
<h2 id="Google Cloud CLIのインストール">Google Cloud CLIのインストール</h2>
Google Cloudの構築を始める前にターミナルで操作するためにCLIツールをインストールしておきます。 
ここではHomebrewでインストールをしていますが、インストール方法は何でも大丈夫です。
<pre class="language-shell"><code class="language-shell">$ brew install --cask google-cloud-sdk
</code></pre>
<code>gcloud</code> コマンドでGoogle Cloudを操作するために認証が必要なためログインをしておきます。
<pre class="language-shell"><code class="language-shell">$ gcloud auth login
</code></pre>
<h2 id="プロジェクトの作成">プロジェクトの作成</h2>
Google Cloud サービスを構築するためのプロジェクトをGoogle Cloudで作成しておきます。
<h2 id="Cloud FunctionsのHTTPハンドラ関数を実装">Cloud FunctionsのHTTPハンドラ関数を実装</h2>
Google Cloudでアプリケーションを構築してきます。 
Cloud Functionsの詳細なガイドについては<a href="https://cloud.googles.ltd/functions/docs/how-to?hl=ja" target="_blank">公式のガイド</a>を参照してください。
Cloud Functionsで関数を実行するには、<a href="https://github.com/GoogleCloudPlatform/functions-framework-nodejs" target="_blank">Functions Framework for Node.js</a>でHTTPリクエストのハンドラ関数を登録する必要があります。
最初に<code>@google-cloud/functions-framework</code>をインストールします。
<pre class="language-shell"><code class="language-shell">$ yarn add @google-cloud/functions-framework
</code></pre>
続いてスクレイピングと通知の処理をHTTPハンドラ関数として登録します。
<pre class="language-javascript"><code class="language-javascript">const functions = require("@google-cloud/functions-framework");
const cheerio = require("cheerio");

functions.http("checkReservation", async (_req, res) => {
 const result = await scrape();
 await notifyToSlack(result);
 res.send("ok");
});

// (省略)
</code></pre>
デプロイ前にローカルでテスト用のサーバーを起動して関数が実行されるか確認してみましょう。
<pre class="language-json"><code class="language-json">{
 "scripts": {
 "start": "functions-framework --target=checkReservation"
 }
}
</code></pre>
<pre class="language-shell"><code class="language-shell">$ yarn start
Serving function...
Function: checkReservation
Signature type: http
URL: http://localhost:8080/
</code></pre>
HTTPリクエストを送信してSlackへメッセージが送信されるのを確認できれば成功です。
<pre class="language-shell"><code class="language-shell"># 別タブ等で実行
$ curl http://localhost:8080/checkReservation
ok
</code></pre>
<h2 id="Cloud Functionsへデプロイ">Cloud Functionsへデプロイ</h2>
詳細は公式ガイドの<a href="https://cloud.googles.ltd/functions/docs/deploy?hl=ja" target="_blank">Cloud Functions の関数をデプロイする</a>で確認できます。
関数をデプロイするには<code>gcloud functions deploy</code>コマンドを実行します。
<pre class="language-shell"><code class="language-shell">$ gcloud functions deploy YOUR_FUNCTION_NAME \
[--gen2] \
--region=YOUR_REGION \
--runtime=YOUR_RUNTIME \
--source=YOUR_SOURCE_LOCATION \
--entry-point=YOUR_CODE_ENTRYPOINT \
TRIGGER_FLAGS
</code></pre>
今回はHTTPリクエストでトリガーしたいので次のようにデプロイコマンドを作成しました。
<ul>
<li><code>--gen2</code>は第2世代のCloud Functionsにデプロイすることを指定しています。</li>
<li><code>--trigger-http</code>はHTTPリクエストで関数をトリガーするために指定します。</li>
<li><code>--allow-unauthenticated</code>は認証なしで関数を呼び出し可能にするために指定します。Cloud Functionsはデフォルトで<a href="https://cloud.googles.ltd/functions/docs/calling/http?hl=ja" target="_blank">関数の呼び出しに認証が必要</a>になっているので、このフラグを指定しています。</li>
</ul>
<pre class="language-shell"><code class="language-shell">$ gcloud functions deploy reservation-notify \
 --gen2 
 --region=asia-northeast1 \
 --runtime=nodejs16 \
 --source=. \
 --entry-point=checkReservation \
 --trigger-http \
 --allow-unauthenticated \
 --project=reservation-notify
</code></pre>
このコマンドをnpmスクリプトとして登録してデプロイを実行します。
<pre class="language-json"><code class="language-json">{
 "scripts": {
 "deploy": "gcloud functions deploy reservation-notify --gen2 --region=asia-northeast1 --runtime=nodejs16 --source=. --entry-point=checkReservation --trigger-http --allow-unauthenticated --project=reservation-notify"
 }
}
</code></pre>
<pre class="language-shell"><code class="language-shell">$ yarn deploy
...
uri: https://reservation-vacancy-notify-xxxxxx.run.app
</code></pre>
デプロイが成功したら発行されたURLが確認できるので、HTTPリクエストを送信してみます。 
Slackにメッセージが送信されたら成功です。
<pre class="language-shell"><code class="language-shell">$ curl https://reservation-vacancy-notify-xxxxxx.run.app
ok
</code></pre>
<h2 id="Cloud Schedulerで定期実行">Cloud Schedulerで定期実行</h2>
<code>gcloud scheduler jobs create http</code>コマンドでHTTPリクエストのジョブを作成できます。 
定期実行のスケジュールはcrontabの書式で設定し、タイムゾーンを指定する場合は<a href="https://en.wikipedia.org/wiki/List_of_tz_database_time_zones" target="_blank">List of tz database time zones 
</a>にあるタイムゾーンを指定できます。
今回は先程のCloud Functionsへ5分おきにHTTPリクエストを送信するジョブを作成してみます。
5分ほど待ってSlackにメッセージが飛んでくるのを確認できたら成功です。
<pre class="language-shell"><code class="language-shell">$ gcloud scheduler jobs create http check-reservation \
 --schedule="*/5 * * * *" \
 --time-zone=Asia/Tokyo \
 --location=asia-northeast1 \
 --uri="https://reservation-vacancy-notify-rkqokacy7q-an.a.run.app" \
 --http-method=GET \
 --project="reservation-notify" \
</code></pre>

会社でG.I.Gプログラムに参加する機会を得たので、勉強がてら定期的にWebスクレイピングして結果をSlackに通知するBotをGoogle Cloudで構築してみました。

Google Cloud でWebスクレイピングして結果を通知するBotを作成

とあるフロントエンドエンジニアのブログ

google cloudの記事一覧

Google Cloud でWebスクレイピングして結果を通知するBotを作成