【Cloud SQL】GolangでDBインスタンスの開始停止をスケジュール実行して節約する

DBのインスタンスを作成する。#

これは以前の記事で行ったのでそちらを参照。

エンドルフィン風呂に浸かる。

【Python、Golang】NotionのページのプロパティをCloud SQLのPostgreSQLに記録する（第1回）

NotionのページのプロパティをPythonで取得して、Cloud SQL上に作成されたPostgreSQLのDBに記録する手順を紹介します。Cloud FunctionsではCloud SQLを使えない。

www.endorphinbath.com

先程見せたようなこんな感じのDBインスタンスが作成されていればOKです。今回はDBMエンジンはPostgreSQLです。

Cloud SQLインスタンスを開始停止できる権限を設定する。#

次に、IAM上でCloud SQLインスタンスを開始停止できる権限を設定します。

Google Cloud コンソールのIAM セクションに移動し、Cloud Functions で使用される「App Engine デフォルト サービスアカウント」を見つけます。このサービスアカウントのサフィックスは@appspot.gserviceaccount.comです。鉛筆アイコンをクリックして編集します。

権限の編集ダイアログ ウィンドウで 別のロールを追加ボタンをクリックします。追加するCloud SQL 管理者ロールを選択し、保存ボタンをクリックします。

IAMを設定したら、サービスアカウントのアドレス（プリンシパル）をメモっておきます。

これから作る関数をデプロイする際に使います。

Pub/Subのトピックを作成する。#

次に、Cloud Pub/Subのトピックを作成します。トピックを作成をクリックします。

今回のトピックIDはDbInstanceMgmtとしておきます。トピックを作成したら、トピックIDをメモっておきます。

これから作る関数をデプロイする際に使います。

関数を作成する。#

それでは早速、関数を作成していきます。言語はGoです。

1
// Package p contains a Pub/Sub Cloud Function.
2
package p
3

4
import (
5
  "context"
6
  "encoding/json"
7
  "log"
8

9
  "golang.org/x/oauth2/google"
10
    "google.golang.org/api/option"
11
  sqladmin "google.golang.org/api/sqladmin/v1beta4"
12
)
13

14
// PubSubMessage is the payload of a Pub/Sub event.
15
// See the documentation for more details:
16
// https://cloud.google.com/pubsub/docs/reference/rest/v1/PubsubMessage
17
type PubSubMessage struct {
18
  Data []byte `json:"data"`
19
}
20

21
type MessagePayload struct {
22
  Instance string
23
  Project  string
24
  Action   string
25
}
26

27
// ProcessPubSub consumes and processes a Pub/Sub message.
28
func ProcessPubSub(ctx context.Context, m PubSubMessage) error {
29
  var psData MessagePayload
30
  err := json.Unmarshal(m.Data, &psData)
31
  if err != nil {
32
    log.Println(err)
33
  }
34
  log.Printf("Request received for Cloud SQL instance %s action: %s, %s", psData.Action, psData.Instance, psData.Project)
35

36
  // Create an http.Client that uses Application Default Credentials.
37
  hc, err := google.DefaultClient(ctx, sqladmin.CloudPlatformScope)
38
  if err != nil {
39
    return err
40
  }
41

42
  // Create the Google Cloud SQL service.
43
  service, err := sqladmin.NewService(ctx, option.WithHTTPClient(hc))
44
  if err != nil {
45
    return err
46
  }
47

48
  // Get the requested start or stop Action.
49
  action := "UNDEFINED"
50
  switch psData.Action {
51
  case "start":
52
    action = "ALWAYS"
53
  case "stop":
54
    action = "NEVER"
55
  default:
56
    log.Fatal("No valid action provided.")
57
  }
58

59
  // See more examples at:
60
  // https://cloud.google.com/sql/docs/sqlserver/admin-api/rest/v1beta4/instances/patch
61
  rb := &sqladmin.DatabaseInstance{
62
    Settings: &sqladmin.Settings{
63
      ActivationPolicy: action,
64
    },
65
  }
66

67
  resp, err := service.Instances.Patch(psData.Project, psData.Instance, rb).Context(ctx).Do()
68
  if err != nil {
69
    log.Fatal(err)
70
  }
71
  log.Printf("%#v\n", resp)
72
  return nil
73
}

ちなみに、上記のコードは参照した公式のガイドと1行だけ違います。以下の行です。sqladmin.Newはdeprecatedでした。

1
// Before
2
service, err := sqladmin.New(hc)
3

4
// After
5
service, err := sqladmin.NewService(ctx, option.WithHTTPClient(hc))

gcloudでデプロイする場合はこう書きます。（GUIでやる場合は公式のガイドを参照。）

1
gcloud functions deploy cloudsql-launcher \
2
  --gen2 \
3
  --runtime=go123 \
4
  --region={MY_REGION} \
5
  --source=. \
6
  --entry-point=ProcessPubSub \
7
  --trigger-topic=DbInstanceMgmt \
8
  --allow-unauthenticated \
9
  --timeout=180s \

初めて--trigger-topicの引数を指定してデプロイするとこのようなメッセージが表示されるかもしれません。その時は「y」を入力しておきます。

API [eventarc.googleapis.com] not enabled on project []. Would you like to enable and retry (this will take a few minutes)? (y/N)?

このデプロイするときのサービスアカウントが悩みどころです。なぜなら、サービスアカウントを紐づけられそうなフィールドというか引数が何種類もあるからです。

• -service-account: 実行時に関数に関連付けられている IAM サービス アカウントの電子メール アドレス。サービス アカウントは、実行中の関数の ID を表し、関数が持つ権限を決定します。 指定しない場合は、関数はプロジェクトのデフォルトのサービス アカウントを使用します。
• -run-service-account: 関数の Cloud Run サービスに関連付けられている IAM サービス アカウントの電子メール アドレス。サービス アカウントは、実行中の関数の ID を表し、関数が持つ権限を決定します。 指定しない場合は、関数は Compute Engine のプロジェクトのデフォルトのサービス アカウントを使用します。
• -trigger-service-account: 関数の Eventarc トリガーに関連付けられている IAM サービス アカウントの電子メール アドレス。これは、 認証された呼び出し に使用されます。 指定しない場合は、関数は Compute Engine のプロジェクトのデフォルトのサービス アカウントを使用します。
• -build-service-account: ビルドステップ で使用される資格情報となる、IAM サービス アカウント。以下の形式で指定する必要があります。projects/${PROJECT_ID}/serviceAccounts/${ACCOUNT_EMAIL_ADDRESS}指定しない場合は、関数は Cloud Build のプロジェクトのデフォルトのサービス アカウントを使用します。

今回は、--trigger-service-accountを指定することで後続の作業を進めることが出来ました。デプロイした関数が、先程設定したトピックIDとサービスアカウントに紐付いている状態で反映されていることが確認できます。

ちなみにgcloudでCloud Run Functionsをデプロイする際の引数の一覧は、この公式リファレンスで確認することが出来ます。（Cloud Run Functionsは、「今後数か月で、Cloud Functions を Cloud Run UI に統合する予定です。」らしいので、もしかしたらこのサービスアカウントを記入する引数が変わるかもしれません。）

Google Cloud Documentation

gcloud functions deploy | Google Cloud SDK | Google Cloud Documentation

docs.cloud.google.com

Cloud Functionsの関数にPub/Subの権限を追加する#

関数を作成してコンソール上で確認すると、Eventarcトリガーのところにこのような注意書きがされていました。

「このプロジェクトのサービスアカウントにロールroles/iam.serviceAccountTokenCreatorが付与されている必要があります。これは後で変更できます。」と記載されていますので、付与しておきます。

Cloud Functions の関数が想定どおりに動作することを確認する#

それでは関数の挙動を確認します。 Google CloudのコンソールのPub/Sub セクションに移動し、DbInstanceMgmtトピックを選択します。メッセージをパブリッシュボタンをクリックします。

そしたら、次の JSON メッセージを貼り付けて、メッセージを公開します。（<your-db-instance-id>は実際のDBインスタンス名、<your-project-id>は実際のプロジェクト ID に置き換えます）

1
{
2
  "Instance": "<your-db-instance-id>",
3
  "Project": "<your-project-id>",
4
  "Action": "stop"
5
}

関数の実行をしばらく待ってからDBインスタンスを見ると、停止していることが確認できました。

次に、別の Pub/Sub メッセージをパブリッシュしてインスタンスを起動します。 Cloud Console のPub/Sub セクションに移動し、InstanceMgmtトピックを選択します。[メッセージのパブリッシュ] ボタンをクリックし、次の JSON メッセージを貼り付けます。今回はアクションをstartにします。（<your-db-instance-id>は実際のDBインスタンス名、<your-project-id>は実際のプロジェクト ID に置き換えます）。

1
{
2
  "Instance": "<your-db-instance-id>",
3
  "Project": "<your-project-id>",
4
  "Action": "start"
5
}

関数の実行をしばらく待ってからDBインスタンスを見ると、再び開始していることが確認できました。

Cloud Scheduler ジョブを作成する#

Cloud Functions の関数が想定通りに動作することが確認できたので、最後のステップとして、インスタンスを自動的に起動して停止する 2 つの Cloud Scheduler ジョブを作成します。

Cloud Console のCloud Schedulerセクションに移動し、[ジョブのスケジュール設定] ボタンをクリックします。Cloud Schedular APIが有効になっている必要があります。

start-db-instanceという指定したCloud SQLインスタンスを開始するためのジョブを、スケジュール実行できるように作成します。 ジョブを実行するタイミングを指定する頻度には0 4 * * 0-6と入力します。これで、ジョブが日曜日から土曜日の毎日午前4時に実行されるようになります。

ターゲットタイプにPub/Sub、そして先程設定したトピックIDを設定して、先程試したDBインスタンス開始用のメッセージと同じものをメッセージ本文に設定します。

そしたら次に、stop-db-instanceという指定したCloud SQLインスタンスを停止するためのジョブを、スケジュール実行できるように作成します。

ジョブを実行するタイミングを指定する頻度には0 7 * * 0-6と入力します。これで、ジョブが日曜日から土曜日の毎日午前7時に実行されるようになります。

ターゲットタイプに「Pub/Sub」、そして先程設定したトピックIDを設定して、先程試したDBインスタンス停止用のメッセージと同じものをメッセージ本文に設定します。

以上の設定が反映されると、2つのジョブスケジュールが作成されました。

ちなみに、上記の設定で作成したジョブスケジュールと同じものを、gcloudからでも作成することが出来ます。

こちらはDBインスタンス開始用のジョブスケジュール。

1
gcloud scheduler jobs create pubsub start-{MY_DB_INSTANCE}-instance \
2
  --schedule="0 4 * * 0-6" \
3
  --description="Trigger Cloud Functions to start Cloud SQL instance." \
4
  --location="{MY_LOCATION}" \
5
  --time-zone="Asia/Tokyo" \
6
  --topic=DbInstanceMgmt \
7
  --message-body="{ \
8
    "Instance": "{MY_DB_INSTANCE_ID}", \
9
    "Project": "{MY_PROJECT_ID}", \
10
    "Action": "start" \
11
  }" \

こちらはDBインスタンス停止用のジョブスケジュール。

1
gcloud scheduler jobs create pubsub stop-{MY_DB_INSTANCE}-instance-02 \
2
  --schedule="0 7 * * 0-6" \
3
  --description="Trigger Cloud Functions to stop Cloud SQL instance." \
4
  --location="{MY_LOCATION}" \
5
  --time-zone="Asia/Tokyo" \
6
  --topic=DbInstanceMgmt \
7
  --message-body="{ \
8
    "Instance": "{MY_DB_INSTANCE_ID}", \
9
    "Project": "{MY_PROJECT_ID}", \
10
    "Action": "stop" \
11
  }" \

同様に作成できました。