エンドルフィン風呂に浸かる。

Amazonベーシックマウスパッドゲーム用 Mサイズブラック正方形, 長さ270 x 幅 320 mmamzn.to

Logicool G PRO ゲーミングキーボード G-PKB-002LNd テンキーレスリニア赤軸静かなタイピング GXスイッチ有線ゲーミングメカニカルキーボード日本語配列 LIGHTSYNC RGB 充電着脱式ケーブル国内正規品 ※Amazon限定の壁紙ダウンロード付きamzn.to

おしまい#

リサちゃん

終盤ほど爽快だね。

ペンギン

キモチイイ。

以上になります！

【Cloud Scheduler】コンテナを動かすために必要なgcloudコマンドをシェル関数化する

Sun, 27 Apr 2025 00:00:00 GMT

はじまり#

リサちゃん

あー、また強制実行しなければ・・・

135ml

シェル関数にしてしまおう。

Cloud Schedulerでコンテナを操作する#

Google Cloud Schedulerは、スケジュールに基づいてジョブを実行するサービスです。特にコンテナと組み合わせると、定期的なバッチ処理やメンテナンス作業を自動化するのに最適です。

例えば以下のようなユースケースがあります。

毎日深夜にデータベースのバックアップを取る
1時間ごとにデータを集計する
週次でレポートを生成する
特定のタイミングでコンテナを起動し、処理が終わったら停止する

Cloud Schedulerでコンテナを操作する際には、主に以下のgcloudコマンドを使用します。

gcloud scheduler jobs resume - 一時停止中のジョブを再開する
gcloud scheduler jobs run - ジョブを即時実行する
gcloud scheduler jobs pause - 実行中のジョブを一時停止する

これらのコマンドを毎回手動で入力するのは面倒ですし、ミスも発生しやすいです。そこで、これらのコマンドをシェル関数化して、より簡単かつ安全に使えるようにしましょう。

シェル関数化する利点#

gcloudコマンドをシェル関数化することで、以下のような利点があります。

コマンドの簡略化 - 長いコマンドを短い関数名で呼び出せる
パラメータのバリデーション - 必須パラメータの有無をチェックできる
エラーハンドリング - コマンド実行時のエラーを適切に処理できる
ヘルプ機能の追加 - helpオプションでコマンドの使い方を表示できる
通知機能の統合 - Discordなどに実行結果を通知できる
複数コマンドの連携 - 複数のコマンドを組み合わせた処理を1つの関数にまとめられる
スニペットとしての利用 - 今後似たような処理を作る時の見本になる

それでは、実際にシェル関数を実装していきましょう。

基本的なgcloudコマンドの紹介#

まず、Cloud Schedulerを操作する基本的なgcloudコマンドを見てみましょう。それぞれのコマンドは以下の公式ページでも確認できます。

gcloud scheduler jobs resume | Google Cloud SDK | Google Cloud Documentation

ジョブの再開（resume）#

Terminal window

1
gcloud scheduler jobs resume JOB_NAME --location=LOCATION

ジョブの即時実行（run）#

Terminal window

1
gcloud scheduler jobs run JOB_NAME --location=LOCATION

ジョブの一時停止（pause）#

Terminal window

1
gcloud scheduler jobs pause JOB_NAME --location=LOCATION

これらのコマンドは単純ですが、毎回ジョブ名やロケーションを指定する必要があります。また、エラーが発生した場合の処理も自分で書く必要があります。

シェル関数の実装#

それでは、これらのコマンドをシェル関数化していきましょう。まずは、ジョブを再開する関数から実装します。

ジョブを再開する関数#

Terminal window展開する折りたたむ

1
function resume_gcloud_scheduler_job() {
2
  # 関数名をローカル変数に格納
3
  local func_name="${FUNCNAME[0]}"
4
  send_discord_notification "ジョブを再開するよ！"
5

6
  # 初期値
7
  local job_name=""
8
  local location=""
9

10
  # パラメータ解析
11
  if [ $# -eq 0 ]; then
12
    echo "[INFO] ${func_name}: パラメータが指定されなかったため、デフォルト設定で実行します。"
13
  fi
14

15
  local usage="[INFO] Usage: ${func_name} --job-name <JOB_NAME> --location <LOCATION>
16
  --job-name      対象のジョブ名を指定します。
17
  --location      対象のロケーションを指定します。
18

19
[INFO] Example:
20
  ${func_name} --job-name my-job --location us-central1
21
[INFO] Detail of gcloud is here: <https://cloud.google.com/sdk/gcloud/reference/scheduler/jobs/resume>
22
"
23

24
  while [ $# -gt 0 ]; do
25
    case "$1" in
26
      --help)
27
        echo "$usage"
28
        return 0
29
        ;;
30
      --job-name)
31
        shift
32
        if [ -z "$1" ]; then
33
          echo "[ERROR] ${func_name}: --job-name の引数が指定されていません。"
34
          return 1
35
        fi
36
        job_name="$1"
37
        ;;
38
      --location)
39
        shift
40
        if [ -z "$1" ]; then
41
          echo "[ERROR] ${func_name}: --location の引数が指定されていません。"
42
          return 1
43
        fi
44
        location="$1"
45
        ;;
46
      *)
47
        echo "[ERROR] ${func_name}: 不明なパラメータ '$1' です。"
48
        return 1
49
        ;;
50
    esac
51
    shift
52
  done
53

54
  # 必須パラメータのチェック
55
  if [ -z "${job_name}" ]; then
56
    echo "[ERROR] ${func_name}: --job-name は必須パラメータです。"
57
    return 1
58
  fi
59
  if [ -z "${location}" ]; then
60
    echo "[ERROR] ${func_name}: --location は必須パラメータです。"
61
    return 1
62
  fi
63

64
  # コマンド組み立て
65
  local cmd="gcloud scheduler jobs resume ${job_name} --location=${location}"
66
  echo "[INFO] ${func_name}: 実行するコマンド: ${cmd}"
67

68
  # コマンド実行とエラーハンドリング
69
  eval "${cmd}"
70
  if [ $? -ne 0 ]; then
71
    send_discord_notification_about_gcscheduler "失敗…" "ジョブを再開できなかったよ…" "red"
72
    echo "[ERROR] ${func_name}: コマンド実行中にエラーが発生しました。"
73
    return 1
74
  fi
75
  send_discord_notification_about_gcscheduler "再開したよ！" "ジョブを再開したよ！" "green"
76
  echo "[INFO] ${func_name}: Scheduler job '${job_name}' updated successfully."
77
}

展開する折りたたむ

この関数では、以下のような工夫をしています。

関数名の取得 - ${FUNCNAME[0]}で現在の関数名を取得し、エラーメッセージなどに使用
Discord通知 - 処理の開始と結果をDiscordに通知
パラメータ解析 - job-nameやlocationなどのパラメータを解析
ヘルプ機能 - helpオプションで使い方を表示
パラメータのバリデーション - 必須パラメータが指定されているかチェック
コマンドの組み立て - パラメータを使ってgcloudコマンドを組み立て
エラーハンドリング - コマンド実行結果をチェックし、実行完了時もしくはエラー発生時に通知

ジョブを即時実行する関数#

次に、ジョブを即時実行する関数を実装します。

Terminal window展開する折りたたむ

1
function run_gcloud_scheduler_job() {
2
  # 関数名をローカル変数に格納
3
  local func_name="${FUNCNAME[0]}"
4
  send_discord_notification "ジョブを強制実行するよ！"
5

6
  # 初期値
7
  local job_name=""
8
  local location=""
9

10
  # パラメータ解析
11
  if [ $# -eq 0 ]; then
12
    echo "[INFO] ${func_name}: パラメータが指定されなかったため、デフォルト設定で実行します。"
13
  fi
14

15
  local usage="[INFO] Usage: ${func_name} --job-name <JOB_NAME> --location <LOCATION>
16
  --job-name      実行対象のジョブ名を指定します。
17
  --location      対象のロケーションを指定します。
18

19
[INFO] Example:
20
  ${func_name} --job-name my-job --location us-central1
21
[INFO] Detail of gcloud is here: <https://cloud.google.com/sdk/gcloud/reference/scheduler/jobs/run>
22
"
23

24
  while [ $# -gt 0 ]; do
25
    case "$1" in
26
      --help)
27
        echo "$usage"
28
        return 0
29
        ;;
30
      --job-name)
31
        shift
32
        if [ -z "$1" ]; then
33
          echo "[ERROR] ${func_name}: --job-name の引数が指定されていません。"
34
          return 1
35
        fi
36
        job_name="$1"
37
        ;;
38
      --location)
39
        shift
40
        if [ -z "$1" ]; then
41
          echo "[ERROR] ${func_name}: --location の引数が指定されていません。"
42
          return 1
43
        fi
44
        location="$1"
45
        ;;
46
      *)
47
        echo "[ERROR] ${func_name}: 不明なパラメータ '$1' です。"
48
        return 1
49
        ;;
50
    esac
51
    shift
52
  done
53

54
  # 必須パラメータのチェック
55
  if [ -z "${job_name}" ]; then
56
    echo "[ERROR] ${func_name}: --job-name は必須パラメータです。"
57
    return 1
58
  fi
59
  if [ -z "${location}" ]; then
60
    echo "[ERROR] ${func_name}: --location は必須パラメータです。"
61
    return 1
62
  fi
63

64
  # コマンド組み立て
65
  local cmd="gcloud scheduler jobs run ${job_name} --location=${location}"
66
  echo "[INFO] ${func_name}: 実行するコマンド: ${cmd}"
67

68
  # コマンド実行とエラーハンドリング
69
  eval "${cmd}"
70
  if [ $? -ne 0 ]; then
71
    send_discord_notification_about_gcscheduler "失敗…" "ジョブを強制実行できなかったよ…" "red"
72
    echo "[ERROR] ${func_name}: コマンド実行中にエラーが発生しました。"
73
    return 1
74
  fi
75
  send_discord_notification_about_gcscheduler "強制実行したよ！" "ジョブを強制実行したよ！" "green"
76
  echo "[INFO] ${func_name}: Scheduler job '${job_name}' executed successfully."
77
}

展開する折りたたむ

ジョブを一時停止する関数#

最後に、ジョブを一時停止する関数を実装します。

Terminal window展開する折りたたむ

1
function pause_gcloud_scheduler_job() {
2
  # 関数名をローカル変数に格納
3
  local func_name="${FUNCNAME[0]}"
4
  send_discord_notification "ジョブを一時停止するよ！"
5

6
  # 初期値
7
  local job_name=""
8
  local location=""
9

10
  # パラメータ解析
11
  if [ $# -eq 0 ]; then
12
    echo "[INFO] ${func_name}: パラメータが指定されなかったため、デフォルト設定で実行します。"
13
  fi
14

15
  local usage="[INFO] Usage: ${func_name} --job-name <JOB_NAME> --location <LOCATION>
16
  --job-name      対象のジョブ名を指定します。
17
  --location      対象のロケーションを指定します。
18

19
[INFO] Example:
20
  ${func_name} --job-name my-job --location us-central1
21
[INFO] Detail of gcloud is here: <https://cloud.google.com/sdk/gcloud/reference/scheduler/jobs/pause>
22
"
23

24
  while [ $# -gt 0 ]; do
25
    case "$1" in
26
      --help)
27
        echo "$usage"
28
        return 0
29
        ;;
30
      --job-name)
31
        shift
32
        if [ -z "$1" ]; then
33
          echo "[ERROR] ${func_name}: --job-name の引数が指定されていません。"
34
          return 1
35
        fi
36
        job_name="$1"
37
        ;;
38
      --location)
39
        shift
40
        if [ -z "$1" ]; then
41
          echo "[ERROR] ${func_name}: --location の引数が指定されていません。"
42
          return 1
43
        fi
44
        location="$1"
45
        ;;
46
      *)
47
        echo "[ERROR] ${func_name}: 不明なパラメータ '$1' です。"
48
        return 1
49
        ;;
50
    esac
51
    shift
52
  done
53

54
  # 必須パラメータのチェック
55
  if [ -z "${job_name}" ]; then
56
    echo "[ERROR] ${func_name}: --job-name は必須パラメータです。"
57
    return 1
58
  fi
59
  if [ -z "${location}" ]; then
60
    echo "[ERROR] ${func_name}: --location は必須パラメータです。"
61
    return 1
62
  fi
63

64
  # コマンド組み立て
65
  local cmd="gcloud scheduler jobs pause ${job_name} --location=${location}"
66
  echo "[INFO] ${func_name}: 実行するコマンド: ${cmd}"
67

68
  # コマンド実行とエラーハンドリング
69
  eval "${cmd}"
70
  if [ $? -ne 0 ]; then
71
    send_discord_notification_about_gcscheduler "失敗…" "ジョブを一時停止できなかったよ…" "red"
72
    echo "[ERROR] ${func_name}: コマンド実行中にエラーが発生しました。"
73
    return 1
74
  fi
75
  send_discord_notification_about_gcscheduler "一時停止したよ！" "ジョブを一時停止したよ！" "green"
76
  echo "[INFO] ${func_name}: Scheduler job '${job_name}' paused successfully."
77
}

展開する折りたたむ

実際の使用例#

これらの関数を組み合わせて、実際のユースケースに応用してみましょう。以下は、テスト用コンテナを順番に起動するための関数です。

Terminal window

1
function setup_test_container_container_image() {
2
  resume_gcloud_scheduler_job --job-name 'setup_test_container_container_image_boot_db' --location 'us-central1'
3
  run_gcloud_scheduler_job --job-name 'setup_test_container_container_image_boot_db' --location 'us-central1'
4
  pause_gcloud_scheduler_job --job-name 'setup_test_container_container_image_boot_db' --location 'us-central1'
5
  run_gcloud_scheduler_job --job-name 'setup_test_container_container_image_job_1' --location 'us-central1'
6
  run_gcloud_scheduler_job --job-name 'setup_test_container_container_image_job_2' --location 'us-central1'
7
  run_gcloud_scheduler_job --job-name 'setup_test_container_container_image_job_3' --location 'us-central1'
8
}

この関数では、以下のような処理を行っています。

データベースコンテナを起動するジョブを再開
データベースコンテナを即時実行
データベースコンテナのジョブを一時停止（次回のスケジュール実行を防止）
ジョブ1を実行
ジョブ2を実行
ジョブ3を実行

このように、複数のジョブを順番に実行することで、コンテナ間の依存関係を考慮した起動シーケンスを実現できます。例えば、データベースコンテナが起動してから他のジョブを実行するといった順序制御が可能です。

シェル関数のエラーハンドリングとDiscord通知#

これらの関数には、エラーハンドリングとDiscord通知の機能が組み込まれています。これにより、ジョブの実行状況をリアルタイムで監視できます。

Discord通知の例#

Terminal window

1
send_discord_notification "ジョブを再開するよ！"

エラー発生時の通知#

Terminal window

1
if [ $? -ne 0 ]; then
2
  send_discord_notification_about_gcscheduler "失敗…" "ジョブを再開できなかったよ…" "red"
3
  echo "[ERROR] ${func_name}: コマンド実行中にエラーが発生しました。"
4
  return 1
5
fi

成功時の通知#

Terminal window

1
send_discord_notification_about_gcscheduler "再開したよ！" "ジョブを再開したよ！" "green"

これらの通知機能により、ジョブの実行状況を常に把握できるため、問題が発生した場合にも迅速に対応できます。

シェル関数のパラメータ解析#

これらの関数では、パラメータ解析にwhileループとcase文を使用しています。これにより、--job-nameや--locationなどのパラメータを柔軟に処理できます。

Terminal window展開する折りたたむ

1
while [ $# -gt 0 ]; do
2
  case "$1" in
3
    --help)
4
      echo "$usage"
5
      return 0
6
      ;;
7
    --job-name)
8
      shift
9
      if [ -z "$1" ]; then
10
        echo "[ERROR] ${func_name}: --job-name の引数が指定されていません。"
11
        return 1
12
      fi
13
      job_name="$1"
14
      ;;
15
    --location)
16
      shift
17
      if [ -z "$1" ]; then
18
        echo "[ERROR] ${func_name}: --location の引数が指定されていません。"
19
        return 1
20
      fi
21
      location="$1"
22
      ;;
23
    *)
24
      echo "[ERROR] ${func_name}: 不明なパラメータ '$1' です。"
25
      return 1
26
      ;;
27
  esac
28
  shift
29
done

展開する折りたたむ

また、必須パラメータのチェックも行っています。

Terminal window

1
if [ -z "${job_name}" ]; then
2
  echo "[ERROR] ${func_name}: --job-name は必須パラメータです。"
3
  return 1
4
fi
5
if [ -z "${location}" ]; then
6
  echo "[ERROR] ${func_name}: --location は必須パラメータです。"
7
  return 1
8
fi

これにより、パラメータの不足や誤りを早期に検出し、エラーメッセージを表示できます。

まとめ#

今回は、Google Cloud Schedulerのジョブを操作するgcloudコマンドをシェル関数化する方法を紹介しました。シェル関数化することで、以下のようなメリットがあります。

コマンドの簡略化 - 長いコマンドを短い関数名で呼び出せる
パラメータのバリデーション - 必須パラメータの有無をチェックできる
エラーハンドリング - コマンド実行時のエラーを適切に処理できる
ヘルプ機能の追加 - helpオプションでコマンドの使い方を表示できる
通知機能の統合 - Discordなどに実行結果を通知できる
複数コマンドの連携 - 複数のコマンドを組み合わせた処理を1つの関数にまとめられる

これらの関数を使うことで、Cloud Schedulerを使ったコンテナの操作がより簡単かつ安全になります。特に、複数のコンテナを順番に起動するような複雑なシナリオでも、シンプルな関数呼び出しで実現できます。

また、これらの関数はテンプレートとして利用できるため、他のgcloudコマンドをシェル関数化する際にも参考になるでしょう。

おしまい#

リサちゃん

通知も出来て楽だなぁ

135ml

他のgcloudコマンドもまとめたいですね。

以上になります！

【ffmpeg、PowerShell】MEGAでWebm動画を再生出来るようにする

Sat, 26 Apr 2025 00:00:00 GMT

はじまり#

リサちゃん

おっ、ffmpegだな

135ml

これ便利ですよね。

MEGAでwebm形式の動画が再生できない問題の解決法#

MEGAは便利なクラウドストレージサービスですが、webm形式の動画ファイルを再生しようとすると、以下のようなエラーメッセージが表示されることがあります。

1
CHUNK_DEMUXER_ERROR_APPEND_FAILED: Got a block with a timecode before the previous block.

このエラーは、webm形式の動画ファイルのタイムコードに関する問題が原因で発生します。特に、オーディオコーデックに「Opus」を使用している場合に発生しやすいことが分かりました。そして、簡潔にこの事象の解決法を書くと、それは動画を変換する際に、オーディオコーデックを「Vorbis」として変換することです。まあ、それ以外にも有効なコーデックはあるのかもしれません。

様々なツールでのwebm形式の再生確認#

まず、webm形式の動画が他のツールで正常に再生できるかどうかを確認しました。以下のツールでテストを行いました。（2025-04-26時点の結果です。）

Google Photo ✅
Google Drive ✅
Android ✅
ゆっくりムービーメーカー4 ❌（一部再生できない）
Nextcloud ❓（未確認）
MEGA ❌（一部再生できない）

また、Luma Dream Machineで生成した動画を変換したwebm形式の動画はMEGAでも問題なく再生できました。しかし、Androidで録画した動画やゆっくりムービーメーカーで出力した動画を変換したwebm形式の動画は再生できませんでした。これは、Luma Dream Machineで生成した動画には音声データが存在せず、音声コーデックもまた存在しないためです。

MEGAで再生できるwebm形式に変換する方法#

テストの結果、MEGAでwebm形式の動画を再生できない主な原因は、オーディオコーデックにあることが判明しました。具体的には、Opusコーデックを使用している場合に問題が発生し、Vorbisコーデックに変更することで解決できました。以下に、MEGAで再生可能なwebm形式に変換するためのffmpegコマンドを紹介します。

VP9ビデオコーデック + Vorbisオーディオコーデック（推奨）#

このコマンドでは、ビデオコーデックにVP9、オーディオコーデックにVorbisを使用しています。ビデオビットレートは7Mbps、オーディオビットレートは128kbpsに設定しています。

Terminal window

1
ffmpeg -i "input.mp4" -b:v 7M -c:a libvorbis -b:a 128k -c:v libvpx-vp9 "output.webm"

AV1ビデオコーデック + Vorbisオーディオコーデック#

AV1コーデックはVP9よりも高い圧縮効率を持ちますが、エンコード時間が長くなる傾向があります。

Terminal window

1
ffmpeg -i "input.mp4" -b:v 7M -c:a libvorbis -b:a 128k -c:v libaom-av1 "output.webm"

GPUハードウェアエンコーディングを使用する場合（NVIDIA GPUの場合）#

NVIDIA GPUを使用している場合は、ハードウェアエンコーディングを利用することでエンコード時間を大幅に短縮できます。ただし、ハードウェアエンコーディングは品質の低下とのトレードオフになる場合があります。また、VP9コーデックのハードウェアエンコーディングは現時点では十分にサポートされていないようです。

Terminal window

1
ffmpeg -i "input.mp4" -b:v 7M -c:a libvorbis -b:a 128k -c:v av1_nvenc "output.webm"

動画のビットレートを確認する方法#

VLC media playerでビットレートを確認する方法#

動画を変換する前に、動画のビットレートを確認することが重要です。確認すれば、動画をどれぐらいの品質へと圧縮するかどうかを決めるための判断材料になります。例えば、VLC media playerを使えば簡単に確認できます。

メニューバーから「ツール」→「メディア情報」を選択するか、キーボードショートカットの Ctrl+I を押します
表示されたウィンドウの上部にある「統計情報」タブをクリックします
動画を少しだけ再生します
「入力/出力ビットレート」や「データレート」といった項目からビットレートを確認できます

ffprobeでビットレートを確認する方法#

ffmpegに付属しているffprobeコマンドを使用すると、より詳細な情報を取得できます。このコマンドを実行すると、動画ストリームのビットレートが表示されます。

Terminal window

1
ffprobe -v error -select_streams v:0 -show_entries stream=bit_rate -of default=noprint_wrappers=1:nokey=1 input.webm

圧縮率を上げる方法#

動画ファイルのサイズを小さくするために、圧縮率を上げる方法を検討しました。FFmpegでは、主に以下の2つの方法があります。

1. 定数品質モード（CRF: Constant Rate Factor）#

定数品質モードでは、ビットレートを直接指定するのではなく、品質レベルを指定します。これにより、シーンの複雑さに応じて適切なビットレートが自動的に選択されます。

Terminal window

1
ffmpeg -i input.mp4 -c:v libvpx-vp9 -crf 30 -b:v 0 -c:a libvorbis -b:a 128k output.webm

CRFの値は0〜63の範囲で指定でき、値が小さいほど高品質（低圧縮）、値が大きいほど低品質（高圧縮）になります。一般的には、20〜35の範囲が適切です。

2. 固定ビットレートモード（CBR: Constant Bit Rate）#

固定ビットレートモードでは、ビットレートを直接指定します。

Terminal window

1
ffmpeg -i input.mp4 -c:v libvpx-vp9 -b:v 2M -c:a libvorbis -b:a 128k output.webm

テストの結果、定数品質モードの方が効率的に圧縮でき、かつ品質を維持しやすいことが分かりました。ただし、固定ビットレートモードでは、変換処理後にファイルサイズが増えることもあるため、用途に応じて適切な方法を選択する必要があります。

ゆっくりムービーメーカー4との互換性に関する注意点#

ゆっくりムービーメーカー4で音声を出力する際に問題が発生することがあります。Vorbisコーデックで圧縮された音声ファイルを使用すると、ゆっくりムービーメーカー4で音声を出力できなくなる場合があります。そして、ゆっくりムービーメーカーの制作者によると、リニアPCM（LPCM）で音声データを扱うことが推奨されています。Vorbisのような非可逆圧縮コーデックを映像制作の音源として利用するのは避けた方が良いでしょう。

したがって、以下のような使い分けが推奨されます。

映像制作に使用する予定の動画ファイル → Opusコーデックを使用（ただしMEGAでは再生できない可能性あり）
単純に視聴するための動画ファイル → Vorbisコーデックを使用（MEGAでは再生可能だが、ゆっくりムービーメーカーでは音声が再生されない）

まとめ#

MEGAでwebm形式の動画を再生できない問題は、主にオーディオコーデックが原因であることが分かりました。Opusコーデックを使用している場合に問題が発生し、Vorbisコーデックに変更することで解決できます。

ffmpegを使用して、以下のコマンドでMEGAで再生可能なwebm形式に変換できます。

Terminal window

1
ffmpeg -i "input.mp4" -b:v 7M -c:a libvorbis -b:a 128k -c:v libvpx-vp9 "output.webm"

ただし、Vorbisコーデックを使用した動画ファイルは、ゆっくりムービーメーカー4などの映像制作ソフトとの互換性に問題がある場合があるため、用途に応じて適切なコーデックを選択することが重要です。

おしまい#

リサちゃん

色んなmp4があるんだなあ

135ml

奥が深いです。

以上になります！

【Google Cloud】GitHub Actionsで認証するためのシェル関数を作る

Fri, 25 Apr 2025 00:00:00 GMT

はじまり#

リサちゃん

この認証手順、長すぎじゃね！？

135ml

関数にしてしまおう。

Google Cloudを使ったCI/CD認証方法の選択肢#

Google Cloudのリソースに対してCI/CDパイプラインから操作を行う場合、認証方法として主に2つの選択肢があります。

サービスアカウントのJSON秘密鍵を使用する方法
- 簡単に設定できる
- キーをダウンロードしてGitHub Secretsに保存
- セキュリティリスクが高い（キーが漏洩する可能性）
- 定期的なキーのローテーションが必要
Workload Identity連携を使用する方法
- JSONキーを使用しない
- 一時的な認証情報を使用するため安全
- キーのローテーションが不要
- 設定が少し複雑

今回は2つ目の「Workload Identity連携」を使って、GitHub Actionsから安全にGoogle Cloudリソースにアクセスするための設定方法を解説します。さらに、この設定を簡単に行えるようにシェル関数化します。

Workload Identity連携とは？#

Workload Identity連携は、外部IDプロバイダ（GitHub Actionsなど）からの一時的な認証情報を使用して、Google Cloudリソースにアクセスする仕組みです。これにより、長期間有効なサービスアカウントキーを使用せずに、安全に認証を行うことができます。

主なメリットは以下の通りです。

サービスアカウントキーを作成・管理する必要がない
短期間だけ有効な認証情報を使用するため、セキュリティリスクが低減
キーのローテーションが不要
きめ細かいアクセス制御が可能

Workload Identity連携の仕組み#

Workload Identity連携の基本的な仕組みは以下の通りです。

GitHub Actionsのワークフローが実行されると、GitHubはOIDCトークンを発行
このOIDCトークンをGoogle Cloudに送信
Google CloudはOIDCトークンを検証し、一時的な認証情報を発行
この一時的な認証情報を使用してGoogle Cloudリソースにアクセス

この仕組みを実現するために、Google Cloud側で「Workload Identityプール」と「プロバイダ」を設定し、GitHub側でワークフローを設定する必要があります。

Workload Identity連携を設定するためのシェル関数#

Workload Identity連携の設定は複数のステップがあり、少し複雑です。そこで、これらの設定を簡単に行えるようにシェル関数化しました。

以下の4つの主要な関数を作成しました。

create_workload_identity_pool - Workload Identityプールを作成する関数
create_oidc_workload_identity_pool_provider - OIDCプロバイダを作成する関数
create_oidc_workload_identity_pool_provider_for_github_actions - GitHub Actions専用のOIDCプロバイダを作成する関数
add_workload_identity_binding_to_service_account_on_gcloud - サービスアカウントにWorkload Identityバインディングを追加する関数

それぞれの関数について詳しく見ていきましょう。

Workload Identityプールを作成する関数#

まず、Workload Identityプールを作成する関数です。これはGoogle Cloud上で外部IDプロバイダからの認証情報を受け付けるための「プール」を作成します。

Terminal window展開する折りたたむ

1
function create_workload_identity_pool() {
2
  # 関数名を取得
3
  local func_name="${FUNCNAME[0]}"
4
  send_discord_notification "Workload Identity Poolを作成するよ！"
5

6
  # ヘルプ表示
7
  if [[ "$1" == "--help" ]]; then
8
    echo "[INFO] ${func_name}: 使用方法"
9
    echo "  ${func_name} <WORKLOAD_IDENTITY_POOL> <PROJECT_ID> [--location=LOCATION] [--description=DESCRIPTION]"
10
    echo ""
11
    echo "引数:"
12
    echo "  WORKLOAD_IDENTITY_POOL  作成するワークロードアイデンティティプールの名前"
13
    echo "  PROJECT_ID              Google CloudプロジェクトのプロジェクトID"
14
    echo "  --location              省略可能: ロケーション (デフォルト: global)"
15
    echo "  --description           省略可能: プールの説明"
16
    echo ""
17
    echo "使用例:"
18
    echo "  ${func_name} my-pool my-project-id"
19
    echo "  ${func_name} my-pool my-project-id --location=global"
20
    echo "  ${func_name} my-pool my-project-id --description=\\"My workload identity pool\\""
21
    echo "[INFO] ${func_name}: Detail of gcloud is here: <https://cloud.google.com/sdk/gcloud/reference/iam/workload-identity-pools/create>"
22
    return 0
23
  fi
24

25
  # パラメータのバリデーション
26
  if [[ -z "$1" ]]; then
27
    echo "[ERROR] ${func_name}: WORKLOAD_IDENTITY_POOL が指定されていません。" >&2
28
    echo "[ERROR] ${func_name}: 使用方法を確認するには --help を使用してください。" >&2
29
    return 1
30
  fi
31

32
  if [[ -z "$2" ]]; then
33
    echo "[ERROR] ${func_name}: PROJECT_ID が指定されていません。" >&2
34
    echo "[ERROR] ${func_name}: 使用方法を確認するには --help を使用してください。" >&2
35
    return 1
36
  fi
37

38
  local pool_id="$1"
39
  local project_id="$2"
40
  local location="global"
41
  local description=""
42

43
  # オプションの解析
44
  shift 2
45
  while [[ $# -gt 0 ]]; do
46
    case "$1" in
47
      --location=*)
48
        location="${1#*=}"
49
        shift
50
        ;;
51
      --description=*)
52
        description="--description=${1#*=}"
53
        shift
54
        ;;
55
      *)
56
        echo "[ERROR] ${func_name}: 不明なオプション: $1" >&2
57
        echo "[ERROR] ${func_name}: 使用方法を確認するには --help を使用してください。" >&2
58
        return 1
59
        ;;
60
    esac
61
  done
62

63
  # 実行するコマンドを表示
64
  echo "[INFO] ${func_name}: 実行するコマンド: gcloud iam workload-identity-pools create ${pool_id} --project=${project_id} --location=${location} ${description}"
65

66
  # コマンド実行
67
  echo ""
68
  echo "======= Workload Identity Pools ============================================================================"
69
  if ! gcloud iam workload-identity-pools create "${pool_id}" --project="${project_id}" --location="${location}" ${description}; then
70
    echo "[ERROR] ${func_name}: ワークロードアイデンティティプールの作成に失敗しました。" >&2
71
    send_discord_notification_about_gciam "失敗…" "Workload Identity Poolを作成できなかったよ…" "red"
72
    return 1
73
  fi
74
  echo "============================================================================================================"
75
  echo ""
76

77
  echo "[INFO] ${func_name}: ワークロードアイデンティティプール '${pool_id}' をプロジェクト '${project_id}' のロケーション '${location}' に正常に作成しました。"
78
  send_discord_notification_about_gciam "作成したよ！" "Workload Identity Poolを作成したよ！" "green"
79
  return 0
80
}

展開する折りたたむ

この関数は以下のような特徴があります。

-helpオプションでヘルプを表示
必須パラメータのバリデーション
オプションパラメータの解析
実行コマンドの表示
エラーハンドリング
Discord通知機能（オプション）

使用例としては以下のような感じです。

Terminal window

1
create_workload_identity_pool github-pool my-project-id --description="Pool for GitHub Actions"

OIDCプロバイダを作成する関数#

次に、OIDCプロバイダを作成する関数です。これは、特定のOIDCプロバイダ（例：GitHub）からの認証情報を受け付けるための設定を行います。

Terminal window展開する折りたたむ

1
function create_oidc_workload_identity_pool_provider() {
2
  # 関数名を取得
3
  local func_name="${FUNCNAME[0]}"
4
  send_discord_notification "OIDC Workload Identity Pool Providerを作成するよ！"
5

6
  # ヘルプ表示
7
  if [[ "$1" == "--help" ]]; then
8
    echo "[INFO] ${func_name}: 使用方法"
9
    echo "  ${func_name} <PROVIDER> <PROJECT_ID> <WORKLOAD_IDENTITY_POOL> <ISSUER_URI> <ATTRIBUTE_MAPPING> <ATTRIBUTE_CONDITION> [--location=LOCATION]"
10
    echo ""
11
    echo "引数:"
12
    echo "  PROVIDER                作成するプロバイダーの名前"
13
    echo "  PROJECT_ID              Google CloudプロジェクトのプロジェクトID"
14
    echo "  WORKLOAD_IDENTITY_POOL  プロバイダーを作成するワークロードアイデンティティプールの名前"
15
    echo "  ISSUER_URI              OIDCプロバイダーの発行者URI"
16
    echo "  ATTRIBUTE_MAPPING       属性マッピング (形式: KEY=VALUE,...)"
17
    echo "  ATTRIBUTE_CONDITION     属性条件"
18
    echo "  --location              省略可能: ロケーション (デフォルト: global)"
19
    echo ""
20
    echo "使用例:"
21
    echo "  ${func_name} my-provider my-project-id my-pool <https://accounts.google.com> \\"google.subject=assertion.sub\\" \\"assertion.sub.startsWith('abc')\\""
22
    echo "  ${func_name} my-provider my-project-id my-pool <https://accounts.google.com> \\"google.subject=assertion.sub,google.groups=assertion.groups\\" \\"assertion.aud == 'my-audience'\\""
23
    echo "[INFO] ${func_name}: Detail of gcloud is here: <https://cloud.google.com/sdk/gcloud/reference/iam/workload-identity-pools/providers/create-oidc>"
24
    return 0
25
  fi
26

27
  # パラメータのバリデーション
28
  if [[ -z "$1" ]]; then
29
    echo "[ERROR] ${func_name}: PROVIDER が指定されていません。" >&2
30
    echo "[ERROR] ${func_name}: 使用方法を確認するには --help を使用してください。" >&2
31
    return 1
32
  fi
33

34
  if [[ -z "$2" ]]; then
35
    echo "[ERROR] ${func_name}: PROJECT_ID が指定されていません。" >&2
36
    echo "[ERROR] ${func_name}: 使用方法を確認するには --help を使用してください。" >&2
37
    return 1
38
  fi
39

40
  if [[ -z "$3" ]]; then
41
    echo "[ERROR] ${func_name}: WORKLOAD_IDENTITY_POOL が指定されていません。" >&2
42
    echo "[ERROR] ${func_name}: 使用方法を確認するには --help を使用してください。" >&2
43
    return 1
44
  fi
45

46
  if [[ -z "$4" ]]; then
47
    echo "[ERROR] ${func_name}: ISSUER_URI が指定されていません。" >&2
48
    echo "[ERROR] ${func_name}: 使用方法を確認するには --help を使用してください。" >&2
49
    return 1
50
  fi
51

52
  if [[ -z "$5" ]]; then
53
    echo "[ERROR] ${func_name}: ATTRIBUTE_MAPPING が指定されていません。" >&2
54
    echo "[ERROR] ${func_name}: 使用方法を確認するには --help を使用してください。" >&2
55
    return 1
56
  fi
57

58
  if [[ -z "$6" ]]; then
59
    echo "[ERROR] ${func_name}: ATTRIBUTE_CONDITION が指定されていません。" >&2
60
    echo "[ERROR] ${func_name}: 使用方法を確認するには --help を使用してください。" >&2
61
    return 1
62
  fi
63

64
  local provider="$1"
65
  local project_id="$2"
66
  local pool_id="$3"
67
  local issuer_uri="$4"
68
  local attribute_mapping="$5"
69
  local attribute_condition="$6"
70
  local location="global"
71

72
  # オプションの解析
73
  shift 6
74
  while [[ $# -gt 0 ]]; do
75
    case "$1" in
76
      --location=*)
77
        location="${1#*=}"
78
        shift
79
        ;;
80
      *)
81
        echo "[ERROR] ${func_name}: 不明なオプション: $1" >&2
82
        echo "[ERROR] ${func_name}: 使用方法を確認するには --help を使用してください。" >&2
83
        return 1
84
        ;;
85
    esac
86
  done
87

88
  # 実行するコマンドを表示
89
  echo "[INFO] ${func_name}: 実行するコマンド: gcloud iam workload-identity-pools providers create-oidc ${provider} --project=${project_id} --location=${location} --workload-identity-pool=${pool_id} --issuer-uri=${issuer_uri} --attribute-mapping=\\"${attribute_mapping}\\" --attribute-condition=\\"${attribute_condition}\\""
90

91
  # コマンド実行
92
  echo ""
93
  echo "======= Workload Identity Pool Providers =================================================================="
94
  if ! gcloud iam workload-identity-pools providers create-oidc "${provider}" \\
95
       --project="${project_id}" \\
96
       --location="${location}" \\
97
       --workload-identity-pool="${pool_id}" \\
98
       --issuer-uri="${issuer_uri}" \\
99
       --attribute-mapping="${attribute_mapping}" \\
100
       --attribute-condition="${attribute_condition}"; then
101
    echo "[ERROR] ${func_name}: OIDCプロバイダー '${provider}' の作成に失敗しました。" >&2
102
    send_discord_notification_about_gciam "失敗…" "OIDC Workload Identity Pool Providerを作成できなかったよ…" "red"
103
    return 1
104
  fi
105
  echo "============================================================================================================"
106
  echo ""
107

108
  echo "[INFO] ${func_name}: OIDCプロバイダー '${provider}' をワークロードアイデンティティプール '${pool_id}' に正常に作成しました。"
109
  send_discord_notification_about_gciam "作成したよ！" "OIDC Workload Identity Pool Providerを作成したよ！" "green"
110
  return 0
111
}

展開する折りたたむ

この関数は汎用的なOIDCプロバイダを作成するためのものです。GitHub Actions以外のOIDCプロバイダ（例：GitLab、Azure DevOps）を使用する場合にも利用できます。使用例としては以下のような感じです。

Terminal window

1
create_oidc_workload_identity_pool_provider gitlab-provider my-project-id github-pool <https://gitlab.com> "google.subject=assertion.sub" "assertion.namespace_id=='12345'"

GitHub Actions専用のOIDCプロバイダを作成する関数#

最後に、GitHub Actions専用のOIDCプロバイダを作成する関数です。これは、前述の汎用関数をラップして、GitHub Actions特有の設定を簡単に行えるようにしたものです。

Terminal window展開する折りたたむ

1
function create_oidc_workload_identity_pool_provider_for_github_actions() {
2
  # 関数名を取得
3
  local func_name="${FUNCNAME[0]}"
4
  send_discord_notification "GitHub Actions用のOIDC Workload Identity Pool Providerを作成するよ！"
5

6
  # ヘルプ表示
7
  if [[ "$1" == "--help" ]]; then
8
    echo "[INFO] ${func_name}: 使用方法"
9
    echo "  ${func_name} <PROVIDER_ID> <PROJECT_ID> <POOL_ID> <REPOSITORY_OWNER> [--location=LOCATION]"
10
    echo ""
11
    echo "引数:"
12
    echo "  PROVIDER_ID       作成するプロバイダーのID"
13
    echo "  PROJECT_ID        Google CloudプロジェクトのプロジェクトID"
14
    echo "  POOL_ID           プロバイダーを作成するワークロードアイデンティティプールのID"
15
    echo "  REPOSITORY_OWNER  GitHubリポジトリのオーナー名（組織名またはユーザー名）"
16
    echo "  --location        省略可能: ロケーション (デフォルト: global)"
17
    echo ""
18
    echo "使用例:"
19
    echo "  ${func_name} github-provider my-project-id my-pool my-org"
20
    echo "  ${func_name} github-provider my-project-id my-pool my-org --location=global"
21
    echo "[INFO] ${func_name}: Detail of gcloud is here: <https://cloud.google.com/sdk/gcloud/reference/iam/workload-identity-pools/providers/create-oidc>"
22
    return 0
23
  fi
24

25
  # パラメータのバリデーション
26
  if [[ -z "$1" ]]; then
27
    echo "[ERROR] ${func_name}: PROVIDER_ID が指定されていません。" >&2
28
    echo "[ERROR] ${func_name}: 使用方法を確認するには --help を使用してください。" >&2
29
    return 1
30
  fi
31

32
  if [[ -z "$2" ]]; then
33
    echo "[ERROR] ${func_name}: PROJECT_ID が指定されていません。" >&2
34
    echo "[ERROR] ${func_name}: 使用方法を確認するには --help を使用してください。" >&2
35
    return 1
36
  fi
37

38
  if [[ -z "$3" ]]; then
39
    echo "[ERROR] ${func_name}: POOL_ID が指定されていません。" >&2
40
    echo "[ERROR] ${func_name}: 使用方法を確認するには --help を使用してください。" >&2
41
    return 1
42
  fi
43

44
  if [[ -z "$4" ]]; then
45
    echo "[ERROR] ${func_name}: REPOSITORY_OWNER が指定されていません。" >&2
46
    echo "[ERROR] ${func_name}: 使用方法を確認するには --help を使用してください。" >&2
47
    return 1
48
  fi
49

50
  local provider_id="$1"
51
  local project_id="$2"
52
  local pool_id="$3"
53
  local repo_owner="$4"
54
  local location="global"
55

56
  # オプションの解析
57
  shift 4
58
  while [[ $# -gt 0 ]]; do
59
    case "$1" in
60
      --location=*)
61
        location="${1#*=}"
62
        shift
63
        ;;
64
      *)
65
        echo "[ERROR] ${func_name}: 不明なオプション: $1" >&2
66
        echo "[ERROR] ${func_name}: 使用方法を確認するには --help を使用してください。" >&2
67
        return 1
68
        ;;
69
    esac
70
  done
71

72
  # 属性マッピングと条件の設定
73
  local attribute_mapping="google.subject=assertion.sub,attribute.repository=assertion.repository"
74
  local attribute_condition="assertion.repository_owner=='${repo_owner}'"
75

76
  # 実行するコマンドを表示
77
  echo "[INFO] ${func_name}: 実行するコマンド: gcloud iam workload-identity-pools providers create-oidc ${provider_id} --project=${project_id} --location=${location} --workload-identity-pool=${pool_id} --issuer-uri=https://token.actions.githubusercontent.com/ --attribute-mapping=\\"${attribute_mapping}\\" --attribute-condition=\\"${attribute_condition}\\""
78

79
  # コマンド実行
80
  echo ""
81
  echo "======= Workload Identity Pool Providers =================================================================="
82
  if ! gcloud iam workload-identity-pools providers create-oidc "${provider_id}" \\
83
       --project="${project_id}" \\
84
       --location="${location}" \\
85
       --workload-identity-pool="${pool_id}" \\
86
       --issuer-uri="<https://token.actions.githubusercontent.com/>" \\
87
       --attribute-mapping="${attribute_mapping}" \\
88
       --attribute-condition="${attribute_condition}"; then
89
    echo "[ERROR] ${func_name}: GitHub Actions用のOIDCプロバイダー '${provider_id}' の作成に失敗しました。" >&2
90
    send_discord_notification_about_gciam "失敗…" "GitHub Actions用のOIDC Workload Identity Pool Providerを作成できなかったよ…" "red"
91
    return 1
92
  fi
93
  echo "============================================================================================================"
94
  echo ""
95

96
  # プロバイダー名を取得
97
  local provider_name="projects/${project_id}/locations/${location}/workloadIdentityPools/${pool_id}/providers/${provider_id}"
98

99
  echo "[INFO] ${func_name}: GitHub Actions用のOIDCプロバイダー '${provider_id}' を正常に作成しました。"
100
  send_discord_notification_about_gciam "作成したよ！" "GitHub Actions用のOIDC Workload Identity Pool Providerを作成したよ！" "green"
101

102
  # GitHub Actions用のYAML情報を表示
103
  echo ""
104
  echo "[INFO] ${func_name}: 以下はGitHub Actions用のYAMLファイルに記述するための設定例です:"
105
  echo "----------------------------------------------------------------"
106
  echo "env:"
107
  echo "  GCLOUD_PROJECT_NUMBER: \\${{ secrets.GCLOUD_PROJECT_NUMBER }} # プロジェクト番号を設定してください"
108
  echo "  GCLOUD_POOL_ID: ${pool_id}"
109
  echo "  GCLOUD_PROVIDER_ID: ${provider_id}"
110
  echo "  GCLOUD_SERVICE_ACCOUNT_EMAIL: \\${{ secrets.GCLOUD_SERVICE_ACCOUNT_EMAIL }} # サービスアカウントのメールアドレスを設定してください"
111
  echo "jobs:"
112
  echo "  test:"
113
  echo "    runs-on: ubuntu-latest"
114
  echo "    steps:"
115
  echo "      - id: 'gcloud_auth'"
116
  echo "        name: 'Authenticate to Google Cloud'"
117
  echo "        uses: 'google-github-actions/auth@v2'"
118
  echo "        with:"
119
  echo "          create_credentials_file: true"
120
  echo "          workload_identity_provider: 'projects/\\${{ env.GCLOUD_PROJECT_NUMBER }}/locations/${location}/workloadIdentityPools/${pool_id}/providers/${provider_id}'"
121
  echo "          service_account: '\\${{ env.GCLOUD_SERVICE_ACCOUNT_EMAIL }}'"
122
  echo "----------------------------------------------------------------"
123
  echo ""
124
  echo "[INFO] ${func_name}: GitHub Secretsにプロジェクト番号とサービスアカウントのメールアドレスを設定してください。"
125
  echo "[INFO] ${func_name}: 次に、サービスアカウントにリポジトリからのアクセスを許可するためにIAMポリシーバインディングを追加する必要があります。"
126

127
  return 0
128
}

展開する折りたたむ

この関数は、GitHub Actions専用の設定を簡単に行えるようにしたものです。特に以下の点が便利です。

GitHub Actions特有の設定（発行者URI、属性マッピング）が自動的に設定される
リポジトリオーナー（組織名またはユーザー名）だけを指定すれば、適切な属性条件が設定される
設定後、GitHub Actionsのワークフロー設定例が表示される

使用例としては以下のような感じです。

Terminal window

1
create_oidc_workload_identity_pool_provider_for_github_actions github-provider my-project-id github-pool my-organization

サービスアカウントにWorkload Identityバインディングを追加する関数#

GitHub Actionsからサービスアカウントにアクセスできるようにするために、サービスアカウントにroles/iam.workloadIdentityUserロールを付与する必要があります。以下は、この設定を簡単に行うための関数です。

Terminal window展開する折りたたむ

1
function add_workload_identity_binding_to_service_account_on_gcloud() {
2
  # 関数名を取得
3
  local func_name="${FUNCNAME[0]}"
4
  send_discord_notification "サービスアカウントにWorkload Identityバインディングを追加するよ！"
5

6
  # ヘルプ表示
7
  if [[ "$1" == "--help" ]]; then
8
    echo "[INFO] ${func_name}: 使用方法"
9
    echo "  ${func_name} <SERVICE_ACCOUNT_EMAIL> <PROJECT_NUMBER> <POOL_ID> <REPOSITORY_OWNER> <REPOSITORY_NAME> [--provider-id=PROVIDER_ID] [--condition=KEY=VALUE,...] [--condition-from-file=PATH_TO_FILE]"
10
    echo ""
11
    echo "引数:"
12
    echo "  SERVICE_ACCOUNT_EMAIL  IAMポリシーバインディングを追加するサービスアカウントのメールアドレス"
13
    echo "  PROJECT_NUMBER         プロジェクト番号"
14
    echo "  POOL_ID                ワークロードアイデンティティプールのID"
15
    echo "  REPOSITORY_OWNER       リポジトリのオーナー"
16
    echo "  REPOSITORY_NAME        リポジトリの名前"
17
    echo "  --provider-id          省略可能: プロバイダーID (GitHub Actions用YAMLの生成に使用)"
18
    echo "  --condition            省略可能: IAMの条件 (形式: KEY=VALUE,...)"
19
    echo "  --condition-from-file  省略可能: 条件を含むファイルへのパス"
20
    echo ""
21
    echo "使用例:"
22
    echo "  ${func_name} my-sa@my-project.iam.gserviceaccount.com 123456789012 my-pool my-org my-repo"
23
    echo "  ${func_name} my-sa@my-project.iam.gserviceaccount.com 123456789012 my-pool my-org my-repo --provider-id=github"
24
    echo "  ${func_name} my-sa@my-project.iam.gserviceaccount.com 123456789012 my-pool my-org my-repo --condition=\\"title=test,expression=request.time < timestamp('2023-01-01T00:00:00Z')\\""
25
    echo "[INFO] ${func_name}: [INFO] Detail of gcloud is here: <https://cloud.google.com/sdk/gcloud/reference/iam/service-accounts/add-iam-policy-binding>"
26
    return 0
27
  fi
28

29
  # パラメータのバリデーション
30
  if [[ -z "$1" ]]; then
31
    echo "[ERROR] ${func_name}: SERVICE_ACCOUNT_EMAIL が指定されていません。" >&2
32
    echo "[ERROR] ${func_name}: 使用方法を確認するには --help を使用してください。" >&2
33
    return 1
34
  fi
35

36
  if [[ -z "$2" ]]; then
37
    echo "[ERROR] ${func_name}: PROJECT_NUMBER が指定されていません。" >&2
38
    echo "[ERROR] ${func_name}: 使用方法を確認するには --help を使用してください。" >&2
39
    return 1
40
  fi
41

42
  if [[ -z "$3" ]]; then
43
    echo "[ERROR] ${func_name}: POOL_ID が指定されていません。" >&2
44
    echo "[ERROR] ${func_name}: 使用方法を確認するには --help を使用してください。" >&2
45
    return 1
46
  fi
47

48
  if [[ -z "$4" ]]; then
49
    echo "[ERROR] ${func_name}: REPOSITORY_OWNER が指定されていません。" >&2
50
    echo "[ERROR] ${func_name}: 使用方法を確認するには --help を使用してください。" >&2
51
    return 1
52
  fi
53

54
  if [[ -z "$5" ]]; then
55
    echo "[ERROR] ${func_name}: REPOSITORY_NAME が指定されていません。" >&2
56
    echo "[ERROR] ${func_name}: 使用方法を確認するには --help を使用してください。" >&2
57
    return 1
58
  fi
59

60
  local service_account_email="$1"
61
  local project_number="$2"
62
  local pool_id="$3"
63
  local repo_owner="$4"
64
  local repo_name="$5"
65
  local provider_id=""
66
  local condition=""
67
  local condition_from_file=""
68

69
  # principalSet の生成
70
  local principal_set="principalSet://iam.googleapis.com/projects/${project_number}/locations/global/workloadIdentityPools/${pool_id}/attribute.repository/${repo_owner}/${repo_name}"
71

72
  # オプションの解析
73
  shift 5
74
  while [[ $# -gt 0 ]]; do
75
    case "$1" in
76
      --provider-id=*)
77
        provider_id="${1#*=}"
78
        shift
79
        ;;
80
      --condition=*)
81
        condition="--condition=${1#*=}"
82
        shift
83
        ;;
84
      --condition-from-file=*)
85
        condition_from_file="--condition-from-file=${1#*=}"
86
        shift
87
        ;;
88
      *)
89
        echo "[ERROR] ${func_name}: 不明なオプション: $1" >&2
90
        echo "[ERROR] ${func_name}: 使用方法を確認するには --help を使用してください。" >&2
91
        return 1
92
        ;;
93
    esac
94
  done
95

96
  # condition と condition-from-file の両方が指定されていないか確認
97
  if [[ -n "${condition}" && -n "${condition_from_file}" ]]; then
98
    echo "[ERROR] ${func_name}: --condition と --condition-from-file は同時に指定できません。" >&2
99
    return 1
100
  fi
101

102
  # 実行するコマンドを表示
103
  echo "[INFO] ${func_name}: 実行するコマンド: gcloud iam service-accounts add-iam-policy-binding ${service_account_email} --member='${principal_set}' --role=roles/iam.workloadIdentityUser ${condition} ${condition_from_file}"
104

105
  # コマンド実行
106
  echo ""
107
  echo "======= IAM Policy Binding ================================================================================="
108
  if ! gcloud iam service-accounts add-iam-policy-binding "${service_account_email}" \\
109
       --member="${principal_set}" \\
110
       --role="roles/iam.workloadIdentityUser" \\
111
       ${condition} \\
112
       ${condition_from_file}; then
113
    echo "[ERROR] ${func_name}: サービスアカウント '${service_account_email}' へのワークロードアイデンティティバインディング追加に失敗しました。" >&2
114
    send_discord_notification_about_gciam "失敗…" "サービスアカウントにWorkload Identityバインディングを追加できなかったよ…" "red"
115
    return 1
116
  fi
117
  echo "============================================================================================================"
118
  echo ""
119

120
  echo "[INFO] ${func_name}: サービスアカウント '${service_account_email}' に ${repo_owner}/${repo_name} リポジトリからのアクセスを正常に設定しました。"
121
  send_discord_notification_about_gciam "IAMポリシーバインディングを追加したよ！" "サービスアカウントにWorkload Identityバインディングを追加したよ！" "green"
122

123
  # GitHub Actions用のYAML情報を表示
124
  echo ""
125
  echo "[INFO] ${func_name}: 以下はGitHub Actions用のYAMLファイルに記述するための設定例です:"
126
  echo "----------------------------------------------------------------"
127
  echo "env:"
128
  echo "  GCLOUD_PROJECT_NUMBER: \\${{ secrets.GCLOUD_PROJECT_NUMBER }}"
129
  echo "  GCLOUD_POOL_ID: \\${{ secrets.GCLOUD_POOL_ID }}"
130
  if [[ -n "${provider_id}" ]]; then
131
    echo "  GCLOUD_PROVIDER_ID: \\${{ secrets.GCLOUD_PROVIDER_ID }}"
132
  else
133
    echo "  GCLOUD_PROVIDER_ID: \\${{ secrets.GCLOUD_PROVIDER_ID }} # プロバイダーIDを設定してください"
134
  fi
135
  echo "  GCLOUD_SERVICE_ACCOUNT_EMAIL: \\${{ secrets.GCLOUD_SERVICE_ACCOUNT_EMAIL }}"
136
  echo "jobs:"
137
  echo "  test:"
138
  echo "    runs-on: ubuntu-latest"
139
  echo "    steps:"
140
  echo "      - id: 'gcloud_auth'"
141
  echo "        name: 'Authenticate to Google Cloud'"
142
  echo "        uses: 'google-github-actions/auth@v2'"
143
  echo "        with:"
144
  echo "          create_credentials_file: true"
145
  echo "          workload_identity_provider: 'projects/\\${{ env.GCLOUD_PROJECT_NUMBER }}/locations/global/workloadIdentityPools/\\${{ env.GCLOUD_POOL_ID }}/providers/\\${{ env.GCLOUD_PROVIDER_ID }}'"
146
  echo "          service_account: '\\${{ env.GCLOUD_SERVICE_ACCOUNT_EMAIL }}'"
147
  echo "----------------------------------------------------------------"
148
  echo ""
149
  echo "[INFO] ${func_name}: GitHub SecretsにプロジェクトID、プールID、プロバイダーID、サービスアカウントのメールアドレスを設定してください。"
150

151
  return 0
152
}

展開する折りたたむ

この関数は、サービスアカウントにWorkload Identityバインディングを追加するための関数です。特に以下の点が便利です。

リポジトリオーナーとリポジトリ名を指定するだけで、適切なprincipalSetが自動的に生成される
条件付きのIAMポリシーバインディングも設定可能
設定後、GitHub Actionsのワークフロー設定例が表示される

使用例としては以下のような感じです。

Terminal window

1
add_workload_identity_binding_to_service_account_on_gcloud github-actions-sa@my-project-id.iam.gserviceaccount.com 123456789012 github-pool my-organization my-repository --provider-id=github-provider

サービスアカウントを作成する関数#

Workload Identity連携を使用するには、サービスアカウントも必要です。以下は、サービスアカウントを作成し、適切なロールを付与する関数です。

Terminal window展開する折りたたむ

1
function create_gcloud_service_account() {
2
  local func_name="${FUNCNAME[0]}"
3
  send_discord_notification "サービスアカウントを作成するよ！"
4

5
  # Check for help parameter
6
  if [[ "$1" == "--help" ]]; then
7
    echo "[INFO] ${func_name}: Usage: create_gcloud_service_account <SERVICE_ACCOUNT_ID> <PROJECT_ID> <ROLE>"
8
    echo "[INFO] ${func_name}: Example: create_gcloud_service_account my-service-account my-project-id roles/storage.admin"
9
    echo "[INFO] ${func_name}: [INFO] Detail of gcloud is here: <https://cloud.google.com/sdk/gcloud/reference/iam/service-accounts/create>"
10
    echo "[INFO] ${func_name}: [INFO] Detail of gcloud is here: <https://cloud.google.com/sdk/gcloud/reference/iam/service-accounts/add-iam-policy-binding>"
11
    return 0
12
  fi
13

14
  # Validate number of parameters
15
  if [[ "$#" -ne 3 ]]; then
16
    echo "[ERROR] ${func_name}: Invalid number of arguments. Use --help for usage."
17
    return 1
18
  fi
19

20
  local SERVICE_ACCOUNT_ID="$1"
21
  local PROJECT_ID="$2"
22
  local ROLE="$3"
23

24
  # Create the service account
25
  echo "[INFO] ${func_name}: Creating service account '${SERVICE_ACCOUNT_ID}'..."
26
  gcloud iam service-accounts create "${SERVICE_ACCOUNT_ID}"
27
  if [[ "$?" -ne 0 ]]; then
28
    send_discord_notification_about_gciam "失敗…" "サービスアカウントを作成できなかったよ…" "red"
29
    echo "[ERROR] ${func_name}: Failed to create service account '${SERVICE_ACCOUNT_ID}'."
30
    return 1
31
  fi
32

33
  # Bind the IAM policy with the provided role
34
  echo "[INFO] ${func_name}: Adding IAM policy binding for project '${PROJECT_ID}' with role '${ROLE}'..."
35
  gcloud projects add-iam-policy-binding "${PROJECT_ID}" \\
36
    --member="serviceAccount:${SERVICE_ACCOUNT_ID}@${PROJECT_ID}.iam.gserviceaccount.com" \\
37
    --role="${ROLE}"
38
  if [[ "$?" -ne 0 ]]; then
39
    send_discord_notification_about_gciam "失敗…" "IAMポリシーをバインドできなかったよ…" "red"
40
    echo "[ERROR] ${func_name}: Failed to add IAM policy binding for project '${PROJECT_ID}'."
41
    return 1
42
  fi
43

44
  send_discord_notification_about_gciam "バインドしたよ！" "IAMポリシーをバインドしたよ！" "green"
45
  echo "[INFO] ${func_name}: Service account '${SERVICE_ACCOUNT_ID}' created and policy binding added successfully."
46
}

展開する折りたたむ

この関数は、サービスアカウントを作成し、指定したロールをプロジェクトに対して付与します。使用例としては以下のような感じです。

Terminal window

1
create_gcloud_service_account github-actions-sa my-project-id roles/storage.admin

実際の使用手順#

これらの関数を使って、GitHub ActionsからGoogle Cloudリソースにアクセスするための設定を行う手順を説明します。

1. シェル関数を読み込む#

まず、上記のシェル関数をファイルに保存し、読み込みます。

Terminal window

1
# 関数を保存したファイルを読み込む
2
source ./gcloud_workload_identity.sh

2. Workload Identityプールを作成する#

Terminal window

1
create_workload_identity_pool github-pool my-project-id --description="Pool for GitHub Actions"

3. GitHub Actions用のOIDCプロバイダを作成する#

Terminal window

1
create_oidc_workload_identity_pool_provider_for_github_actions github-provider my-project-id github-pool my-organization

4. サービスアカウントを作成する#

Terminal window

1
create_gcloud_service_account github-actions-sa my-project-id roles/storage.admin

5. サービスアカウントにWorkload Identity連携のロールを付与する#

GitHub Actionsからサービスアカウントにアクセスできるようにするために、サービスアカウントにroles/iam.workloadIdentityUserロールを付与します。

Terminal window

1
# プロジェクト番号を取得
2
PROJECT_NUMBER=$(gcloud projects describe my-project-id --format="value(projectNumber)")
3

4
# サービスアカウントにWorkload Identity Userロールを付与
5
add_workload_identity_binding_to_service_account_on_gcloud \\
6
  github-actions-sa@my-project-id.iam.gserviceaccount.com \\
7
  ${PROJECT_NUMBER} \\
8
  github-pool \\
9
  my-organization \\
10
  my-repository \\
11
  --provider-id=github-provider

この関数を使用することで、複雑なprincipalSetの構築を自動化し、エラーを防ぐことができます。また、GitHub Actions用のYAML設定例も自動的に表示されます。

6. GitHub Actionsのワークフローを設定する#

最後に、GitHub Actionsのワークフローファイル（.github/workflows/deploy.ymlなど）に認証設定を追加します。以下がワークフローのサンプルです。

1
jobs:
2
  test:
3
    runs-on: ubuntu-latest
4
    if: contains(github.event.head_commit.message, '[skip ci]') == false
5
    steps:
6
      - name: Checkout
7
        uses: actions/checkout@v4
8
      - name: Set up Golang
9
        uses: actions/setup-go@v5
10
        with:
11
          go-version-file: 'go.mod'
12
      - id: 'gcloud_auth'
13
        name: 'Authenticate to Google Cloud'
14
        uses: 'google-github-actions/auth@v2'
15
        with:
16
          create_credentials_file: true
17
          workload_identity_provider: 'projects/${{ env.GCLOUD_PROJECT_NUMBER }}/locations/global/workloadIdentityPools/${{ env.GCLOUD_POOL_ID }}/providers/${{ env.GCLOUD_PROVIDER_ID }}'
18
          service_account: '${{ env.GCLOUD_SERVICE_ACCOUNT_EMAIL }}'
19
      - name: 'Set up Cloud SDK'
20
        uses: 'google-github-actions/setup-gcloud@v2'
21
      - name: 'Use gcloud CLI'
22
        run: 'gcloud info'

展開する折りたたむ

この設定により、GitHub Actionsのワークフローが実行されると、以下のような流れで認証が行われます。

GitHub Actionsが実行環境のOIDCトークンを取得
google-github-actions/authアクションがOIDCトークンをGoogle Cloudに送信
Google CloudがOIDCトークンを検証し、一時的な認証情報を発行
一時的な認証情報を使用してGoogle Cloudリソースにアクセス

実際に認証出来るとログで確認出来る#

実際に認証出来ると、GitHub Actionsの実行ログで確認することが出来ます。

セキュリティ上の注意点#

Workload Identity連携を使用する際には、以下の点に注意します。

属性条件の設定：必ず適切な属性条件を設定して、特定のリポジトリやブランチからのアクセスのみを許可するようにします。
最小権限の原則：サービスアカウントには必要最小限の権限のみを付与します。
監査ログの確認：定期的に監査ログを確認して、不審なアクセスがないか確認します。
定期的な見直し：定期的に設定を見直し、不要なアクセス権限を削除します。

まとめ#

この記事では、GitHub ActionsからGoogle Cloudリソースにアクセスするための安全な方法として、Workload Identity連携を使用する方法を紹介しました。また、この設定を簡単に行えるようにするためのシェル関数も提供しました。

Workload Identity連携を使用することで、以下のメリットが得られます。

サービスアカウントキーを使用しないため、セキュリティリスクが低減
キーのローテーションが不要
きめ細かいアクセス制御が可能
監査ログによる追跡が容易

これらのシェル関数を使用して、簡単かつ安全にCI/CDパイプラインを構築出来そうです。

おしまい#

リサちゃん

だいぶ手数が減った気がする

135ml

作るの大変だった・・・。

以上になります！

【Cloud Run】コンテナを稼働させるまでに必要なgcloudコマンドをシェル関数化する

Thu, 24 Apr 2025 00:00:00 GMT

はじまり#

リサちゃん

あー、またデプロイし直さなければ・・・

135ml

関数にしてしまおう。

Cloud Run用のgcloudコマンドをまとめる#

Google Cloudのサービスの一つであるCloud Runは、コンテナをサーバーレスで実行できる便利なサービスです。しかし、コンテナのデプロイや環境変数の設定など、繰り返し行う操作が多く、毎回長いgcloudコマンドを入力するのは面倒です。

そこで今回は、よく使うgcloudコマンドをシェル関数化して、作業を効率化する方法を紹介します。具体的には以下の2つの関数を実装します。

deploy_cloud_run_container - Cloud Runにコンテナをデプロイするための関数
update_env_for_cloud_run_service - Cloud Runサービスの環境変数を更新するための関数

これらの関数を一度作ってしまえば、長いgcloudコマンドを作り直す必要がなくなり、引数のバリデーションやエラーハンドリングも自動化できます。さらに、Discordへの通知機能も組み込むことで、長時間掛かるデプロイ作業の完了を通知してくれます。

前提条件#

この記事の内容を実践するには、以下の環境が必要です。

Google Cloud SDKがインストールされていること
Google Cloudアカウントとプロジェクトが設定済みであること
bashまたはzshなどのシェル環境
（オプション）Discordの通知を受け取るための設定

Cloud Runコンテナをデプロイするシェル関数#

まずは、Cloud Runにコンテナをデプロイするための関数deploy_cloud_run_containerを見ていきましょう。

Terminal window展開する折りたたむ

1
function deploy_cloud_run_container() {
2
  local FUNC_NAME="${FUNCNAME[0]}"
3
  send_discord_notification "コンテナをデプロイするよ！"
4

5
  # --help オプションのチェック
6
  for arg in "$@"; do
7
    if [ "$arg" = "--help" ]; then
8
      echo "[INFO] ${FUNC_NAME}: Usage: ${FUNC_NAME} IMAGE_NAME PROJECT_ID [REGION]"
9
      echo "  IMAGE_NAME : デプロイする Cloud Run サービスの名前"
10
      echo "  PROJECT_ID : 対象の GCP プロジェクトID"
11
      echo "  REGION     : リージョンのサフィックス (例: 'central1' → us-central1, デフォルト: central1)"
12
      echo "  TIMEOUT    : value for timeout (例: '40m', '1m32s' and so on. '40m' as a default.)"
13
      echo "  SERVICE_ACCOUNT: サービスアカウントのメールアドレス (例: my-service-account@my-project.iam.gserviceaccount.com)"
14
      echo "[INFO] ${FUNC_NAME}: Notice: API reference URL: <https://cloud.google.com/sdk/gcloud/reference/run/deploy>"
15
      return 0
16
    fi
17
  done
18

19
  # 引数チェック: IMAGE_NAME と PROJECT_ID は必須
20
  if [ $# -lt 2 ]; then
21
    echo "[ERROR] ${FUNC_NAME}: Usage: ${FUNC_NAME} IMAGE_NAME PROJECT_ID [REGION]" >&2
22
    return 1
23
  fi
24

25
  # 引数チェック: IMAGE_NAME と PROJECT_ID は必須。最大5個の引数を許容。
26
  if [ "$#" -lt 2 ] || [ "$#" -gt 5 ]; then
27
    echo "[ERROR] ${FUNC_NAME}: Usage: ${FUNC_NAME} IMAGE_NAME PROJECT_ID [REGION] [TIMEOUT] [SERVICE_ACCOUNT]" >&2
28
    return 1
29
  fi
30

31
  # パラメータの設定
32
  local image_name="$1"
33
  local project_id="$2"
34
  local full_region="${3:us-central1}"
35
  local timeout="${4:-40m}"
36
  local service_account="${5:-}"
37

38
  # gcloud コマンドの存在確認
39
  if ! command -v gcloud >/dev/null 2>&1; then
40
    echo "[ERROR] ${FUNC_NAME}: gcloud コマンドが見つかりません。Google Cloud SDK のインストールを確認してください。" >&2
41
    return 1
42
  fi
43

44
  # Dockerfile の存在チェック
45
  if [ ! -f "./Dockerfile" ]; then
46
    echo "[ERROR] ${FUNC_NAME}: 現在のディレクトリに Dockerfile が見つかりません。" >&2
47
    return 1
48
  fi
49

50
  # Cloud Run サービスのデプロイ処理
51
  local cmd=( "gcloud" "run" "deploy" "$image_name" "--source" "." "--project=${project_id}" "--region=${full_region}" "--allow-unauthenticated" "--timeout=${timeout}" )
52
  if [ -n "${service_account}" ]; then
53
    cmd+=( "--service-account=${service_account}" )
54
  fi
55
  echo "cmd is here: ${cmd[*]}"
56

57
  echo "[INFO] ${FUNC_NAME}: Running command: ${cmd[*]}"
58
  echo ""
59
  echo "======= Deployments on Google Cloud ========================================================================"
60
  if ! "${cmd[@]}"; then
61
    send_discord_notification_about_gcloud_run "失敗…" "コンテナをデプロイできなかったよ…" "red"
62
    echo "[ERROR] ${FUNC_NAME}: Cloud Run サービス '$image_name' のデプロイに失敗しました。" >&2
63
    return 1
64
  fi
65
  echo "============================================================================================================"
66
  echo ""
67

68
  send_discord_notification_about_gcloud_run "デプロイしたよ！" "コンテナをデプロイしたよ！" "green"
69
}

展開する折りたたむ

この関数は以下のような特徴を持っています。

1. ヘルプ機能#

--helpオプションを指定すると、関数の使い方が表示されます。これにより、関数の使い方を忘れても簡単に確認できます。

2. 引数のバリデーション#

必須引数（イメージ名とプロジェクトID）が指定されているかチェックし、引数の数が適切な範囲内かも確認します。これにより、誤った使い方を防止できます。

3. 環境チェック#

gcloudコマンドが利用可能かどうか、現在のディレクトリにDockerfileが存在するかどうかをチェックします。これにより、デプロイ前に必要な条件が揃っているか確認できます。

4. 柔軟なパラメータ設定#

リージョン、タイムアウト、サービスアカウントなどのオプションパラメータにデフォルト値を設定しつつ、必要に応じてカスタマイズできるようになっています。

5. Discord通知機能#

デプロイの開始時と完了時（成功/失敗）にDiscordに通知を送信します。これにより、長時間かかるデプロイ作業の状況を離れた場所からでも確認できます。

Cloud Runサービスの環境変数を更新するシェル関数#

次に、Cloud Runサービスの環境変数を更新するための関数update_env_for_cloud_run_serviceを見ていきましょう。

Terminal window展開する折りたたむ

1
function update_env_for_cloud_run_service() {
2
  # ローカル変数に関数名を設定
3
  local FUNC_NAME="${FUNCNAME[0]}"
4
  send_discord_notification "サービスの環境変数を更新するよ！"
5

6
  # --help オプションが指定された場合、利用方法を表示して終了
7
  if [[ "$1" == "--help" ]]; then
8
    echo "[INFO] ${FUNC_NAME}: Usage: ${FUNC_NAME} -n SERVICE_NAME -p PROJECT -r REGION -f FILE_PATH"
9
    echo "[INFO] ${FUNC_NAME}: Example: ${FUNC_NAME} -s my-service -p project_id -r us-central1 -f env.yml"
10
    echo "[INFO] ${FUNC_NAME}:"
11
    echo "[INFO] ${FUNC_NAME}: Notice: API reference URL: <https://cloud.google.com/sdk/gcloud/reference/run/services/update>"
12
    return 0
13
  fi
14

15
  # 必要な変数の初期化
16
  local service=""
17
  local project=""
18
  local region=""
19
  local file_path="env.yml"
20

21
  # 引数の解析
22
  while [[ $# -gt 0 ]]; do
23
    case "$1" in
24
      -n|--service)
25
        service="$2"
26
        shift 2
27
        ;;
28
      -p|--project)
29
        project="$2"
30
        shift 2
31
        ;;
32
      -r|--region)
33
        region="$2"
34
        shift 2
35
        ;;
36
      -f|--file)
37
        file_path="$2"
38
        shift 2
39
        ;;
40
      --help)
41
        echo "[INFO] ${FUNC_NAME}: Usage: ${FUNC_NAME} -n SERVICE_NAME -p PROJECT -r REGION -f FILE_PATH"
42
        echo "[INFO] ${FUNC_NAME}: Example: ${FUNC_NAME} -s my-service -p project_id -r us-central1 -f env.yml"
43
        return 0
44
        ;;
45
      *)
46
        echo "[ERROR] ${FUNC_NAME}: Unknown parameter: $1"
47
        echo "[INFO] ${FUNC_NAME}: Usage: ${FUNC_NAME} -n SERVICE_NAME -p PROJECT -r REGION -f FILE_PATH"
48
        return 1
49
        ;;
50
    esac
51
  done
52

53
  # 必須パラメータのチェック
54
  if [[ -z "$service" || -z "$project" || -z "$region" ]]; then
55
    echo "[ERROR] ${FUNC_NAME}: Missing required parameter(s)."
56
    echo "[INFO] ${FUNC_NAME}: Usage: ${FUNC_NAME} -n SERVICE_NAME -p PROJECT -r REGION -f FILE_PATH"
57
    return 1
58
  fi
59

60
  # file_path の存在チェック
61
  if [ ! -f "./$file_path" ]; then
62
    echo "[Error] ${FUNC_NAME}: Error: 現在のディレクトリに ${file_path} が見つかりません。" >&2
63
    return 1
64
  fi
65

66
  # gcloud コマンドの実行
67
  echo "[INFO] ${FUNC_NAME}: Updating service '${service}' with environment variables from file '${file_path}'..."
68
  echo ""
69
  echo "======= Deployments on Google Cloud ========================================================================"
70
  gcloud run services update "$service" \\
71
    --project "$project" \\
72
    --region "$region" \\
73
    --env-vars-file="$file_path";
74
  echo "============================================================================================================"
75
  echo ""
76
  local ret_code=$?
77

78
  if [[ $ret_code -eq 0 ]]; then
79
    send_discord_notification_about_gcloud_run "更新したよ！" "サービスの環境変数を更新したよ！" "green"
80
    echo "[INFO] ${FUNC_NAME}: Service '${service}' updated successfully."
81
  else
82
    send_discord_notification_about_gcloud_run "失敗…" "サービスの環境変数を更新できなかったよ…" "red"
83
    echo "[ERROR] ${FUNC_NAME}: Failed to update service '${service}'."
84
    return $ret_code
85
  fi
86
}

展開する折りたたむ

この関数は以下のような特徴を持っています。

1. 名前付き引数のサポート#

-n, -p, -r, -fなどの名前付き引数を使用することで、引数の順序を気にせずに使用できます。これにより、関数の使い勝手が向上します。

2. ヘルプ機能#

--helpオプションを指定すると、関数の使い方と例が表示されます。

3. 引数のバリデーション#

必須パラメータ（サービス名、プロジェクトID、リージョン）が指定されているかチェックします。

4. ファイルの存在チェック#

環境変数ファイルが存在するかどうかをチェックします。これにより、ファイルが見つからない場合のエラーを事前に防止できます。

5. Discord通知機能#

環境変数の更新開始時と完了時（成功/失敗）にDiscordに通知を送信します。

使用例#

これらの関数を実際に使用する例を見てみましょう。

deploy_cloud_run_containerの使用例#

Terminal window

1
# 基本的な使用方法
2
deploy_cloud_run_container "test-container" "test-project" "us-central1"
3

4
# タイムアウトとサービスアカウントを指定する場合
5
deploy_cloud_run_container "test-container" "test-project" "us-central1" "60m" "service-account@test-project.iam.gserviceaccount.com"
6

7
# ヘルプを表示
8
deploy_cloud_run_container --help

update_env_for_cloud_run_serviceの使用例#

Terminal window

1
# 基本的な使用方法
2
update_env_for_cloud_run_service -n "test-container" -p "test-project" -r "us-central1"
3

4
# 環境変数ファイルを指定する場合
5
update_env_for_cloud_run_service -n "test-container" -p "test-project" -r "us-central1" -f "custom-env.yml"
6

7
# ヘルプを表示
8
update_env_for_cloud_run_service --help

環境変数ファイルの形式#

update_env_for_cloud_run_service関数で使用する環境変数ファイルは、YAMLフォーマットで記述します。以下は例です。

1
API_KEY: "your-api-key"
2
DEBUG_MODE: "true"
3
DATABASE_URL: "postgresql://user:password@host:port/dbname"

このファイルをデフォルトではenv.ymlという名前で保存し、関数実行時に-fオプションで別のファイル名を指定することもできます。

関数の改善ポイント#

これらの関数はすでに便利ですが、さらに以下のような改善ができます。

1. エラーハンドリングの強化#

現在もエラーチェックは行っていますが、より詳細なエラーメッセージを表示したり、特定のエラーに対して自動的に対処する機能を追加できます。

2. ログ機能の拡張#

現在はコンソールに情報を出力していますが、ログファイルに記録する機能を追加すると、過去のデプロイ履歴を確認しやすくなります。

3. 並列デプロイのサポート#

複数のサービスを同時にデプロイする機能を追加すると、大規模なシステムのデプロイ時間を短縮できます。

まとめ#

この記事では、Cloud Runでコンテナを稼働させるために必要なgcloudコマンドをシェル関数化する方法を紹介しました。

deploy_cloud_run_container関数とupdate_env_for_cloud_run_service関数を使うことで、以下のメリットが得られます。

使い回すことが出来る
引数のバリデーションやエラーハンドリングが自動化される
Discordへの通知機能により、デプロイ状況を離れた場所からでも確認できる
ヘルプ機能により、gcloudコマンドや関数の使い方を簡単に確認できる

これらの関数を自分の環境に合わせてカスタマイズし、日々のCloud Run操作を効率化することが出来るかもしれませんね。

おしまい#

リサちゃん

助かる

135ml

他のコマンドもまとめてしまいたいな。

以上になります！

今年食ったサバ缶をまとめるためのPythonスクリプト

Tue, 15 Apr 2025 00:00:00 GMT

はじまり#

リサちゃん

なんだこれ？

135ml

サバ缶だ。

Pythonでtsvをまとめて記事にする。#

僕は、個人的に日常的に食べているサバ缶をGoogleスプレッドシートに記録しています。そんな書き溜めてきたサバ缶のレビュー記事を楽に作ろうと思いました。

そこで、PythonのPandas等でデータを整理して、レビュー記事を出力するスクリプトを作る過程を紹介したいと思います。

ちなみに、2024年版のサバ缶のまとめの記事はこちらになります。

2024年に筆者が食べたサバ缶、イワシ缶、サンマ缶などを紹介します。個人的な美味しさ、DHAおよびEPAの含有量の目安なども掲載しています。

今年食ったサバ缶のまとめ（2024年版）

Append block children - Notion Docs

スプレッドシートにあるデータをtsvにする。#

まずは、スプレッドシートにあるデータをtsvファイルにします。スプレッドシートからコピーしたデータをメモ帳に貼り付けると、基本的にはtsv形式で貼り付けられるので、そのままメモ帳の内容をtsvファイルとして保存します。

Google Colabで開発する。#

今回のPythonの開発には、まずはGoogle Colabを使いました。Colabに先程保存したtsvファイルをアップロードします。

そして、Google Colab上にGeminiだかGemmaだか分かりませんが何かいるので、スクリプトを作ってもらいます。

Google Colabにいる生成AIは、tsvファイルの中身を全く確認していないようです。不整合な部分を自分で直します。

とりあえず動きそうです。

Pandasで整理する。#

今回は、Pandasを使ってtsv形式のデータをデータフレームとして整理していきます。

そして、このように整理しました。dates.tsvにはmackerelのフィールドが最低限必要です。

1
# prompt: dates.tsvからmackerelの一覧を取得して、mackerels.tsvにある情報を付け加えて、サバ缶のレビュー記事を書きたい。
2
from typing import Union
3
import pandas as pd
4

5
# load data from dates.tsv
6
dates_df = pd.read_csv("dates.tsv", sep="\t")
7

8
# load data from mackrels.tsv
9
mackerels_df = pd.read_csv("mackerels.tsv", sep="\t")
10
mackerels_df = mackerels_df.rename(columns={"No": "mackerel"})
11
print(dates_df)
12
print(mackerels_df)
13

14
# mackerelの情報を取得
15
dates_df = dates_df.query("mackerel != 0")
16
dates_df.drop_duplicates(subset="mackerel")
17
dates_df.dropna(subset=["mackerel"], inplace=True)
18
mackerel_info = pd.merge(dates_df, mackerels_df, on="mackerel", how="left")
19

20
# Create Heading 2
21
def generate_h2(row: Union[pd.Series, pd.DataFrame]) -> str:
22
    """
23
     Generates a level 2 heading for a mackerel review article.
24

25
    :param row: A pandas Series containing the data for the review.
26
                It should have columns "number_for_article", "品名", and "メーカー".
27
    :type row: pd.Series
28
    :raises TypeError: if row is not a pd.Series
29
    :raises KeyError: if row is missing any of the required columns
30
    :returns: The level 2 heading string.
31
    :rtype: str
32

33
    :Example:
34
    >>> generate_h2(pd.Series({'number_for_article': 1, '品名': 'サバ缶', 'メーカー': 'メーカーA'}))
35
    '## 1. サバ缶（メーカーA）'
36
    """
37
    if not isinstance(row, pd.Series):
38
        raise TypeError("row must be a pandas Series")
39
    number_for_article = row["number_for_article"]
40
    name = row["品名"]
41
    brand = row["メーカー"]
42
    return f"## {number_for_article}. {name}（{brand}）"
43

44
# レビューを作成
45
def generate_review(row: Union[pd.Series, pd.DataFrame]) -> str:
46
    """Generates a review article for canned mackerel.
47

48
    :param row: Data used to create the review article.
49
    :type row: Union[pd.Series, pd.DataFrame]
50
    :raises TypeError: if row is not a pd.Series or pd.DataFrame
51
    :returns: The review article.
52
    :rtype: str
53

54
    :Example:
55
    >>> generate_review(pd.Series({'date': '2023-10-27', 'name': 'Canned Mackerel', 'brand': 'Maker'}))
56
    '## 1. Canned Mackerel (Maker)\\n\\n![]()\\n\\nEaten on 2023-10-27, "Canned Mackerel" made by Maker.\\nThe fish is...\\n'
57
    """
58
    if not isinstance(row, (pd.Series, pd.DataFrame)):
59
        raise TypeError("row must be a pandas Series or DataFrame")
60
    date = row["date"]
61
    name = row["品名"]
62
    brand = row["メーカー"]
63
    fish_category = row["魚種"]
64
    flavor = row["風味"]
65
    can_color = row["缶の色"]
66
    delicious = row["美味さ"]
67
    dha = row["DHA_content(mg)"]
68
    epa = row["EPA_content(mg)"]
69
    ease_of_open = "開けやすい" if row["開け易い"] else "開けにくい"
70
    comment = row["コメント"]
71

72
    review = f"{date}に食べた{brand}製の「{name}」です。\n魚は{fish_category}で、{flavor}な風味と{can_color}の缶の色が特徴です。{delicious}で、缶は{ease_of_open}です。\nオメガ3脂肪酸の含有量の目安としては、DHAが{dha}mgで、EPAが{epa}mgでした。\n{comment}"
73
    h2 = row["h2"]
74
    image = "![]()"
75
    review = f"{h2}\n\n{image}\n\n{review}"
76
    return review
77

78

79
mackerel_info["number_for_article"] = range(1, len(mackerel_info.index) + 1)
80
mackerel_info["h2"] = mackerel_info.apply(generate_h2, axis=1)
81
mackerel_info["review"] = mackerel_info.apply(generate_review, axis=1)
82
mackerel_info["md_item"] = mackerel_info.apply(generate_review, axis=1)
83

84
# 結果を出力
85
print("micsellanious info of mackerel_info is the following...")
86
print(mackerel_info[["number_for_article", "date", "name", "h2", "review"]])
87
print("mackerel_info_image is the following...")
88
print(mackerel_info["画像"])

展開する折りたたむ

レビュー記事の内容をNotionに投稿する。#

レビュー記事の内容が出来上がったら、次にその内容を簡単に貼り付けられるようにします。

Markdownのまま（Markdownの文字列）で貼り付けても、Heading 2の要素に出来なかったりするので、Notionの Append block children APIを使って全ての要素を貼り付けられるようにします。

Notion Docs

Creates and appends new children blocks to the parent block_id specified. Blocks can be parented by other blocks, pages, or databases.

developers.notion.com

そして、Notion から WordPress のエディタの方に貼り付けて下記の記事が出来上がりました。

2024年に筆者が食べたサバ缶、イワシ缶、サンマ缶などを紹介します。個人的な美味しさ、DHAおよびEPAの含有量の目安なども掲載しています。

今年食ったサバ缶のまとめ（2024年版）

まとめ#

今回は、Googleスプレッドシート上にあるデータをtsvファイルにして、PythonとPandasでtsvデータを整理して、Notionのページに反映する処理を実装しました。

今回作った処理を完全に自動化して、月次の記事も作れるようにしてみたいですね。

おしまい#

リサちゃん

この量が一瞬で書けちゃったなあ

135ml

貯めてきた甲斐があった・・・

以上になります！

【YouTubeなど】動画の更新状況_2025年03月

Mon, 14 Apr 2025 00:00:00 GMT

はじまり#

ペンギン

先月の動画の更新状況です。

リサちゃん

何を上げたのかなあ？

2025年3月に投稿した動画の一覧#

投稿した動画の数：7

【Satisfactory】スタン鉄筋と爆砕鉄筋で作るプルトニウムセルで原子力発電！ #53 | 未知の設備でゆっくり工業化【ゆっくり実況】#

動画投稿日：2025/03/03

【Satisfactory】トカゲイヌと一緒にブループリント展示場を作る！ #54 | 未知の設備でゆっくり工業化【ゆっくり実況】#

動画投稿日：2025/03/07

【おかめおちょぼ口のモンハンワイルズ】オープニング・ムービー#

動画投稿日：2025/03/10

【おかめおちょぼ口のモンハンワイルズ】護竜オドガロン亜種、シーウー初見#

動画投稿日：2025/03/14

【おかめおちょぼ口のモンハンワイルズ】飯を食べるシーン#

動画投稿日：2025/03/17

【おかめおちょぼ口のモンハンワイルズ】ゾ・シア初見#

動画投稿日：2025/03/21

【おかめおちょぼ口のモンハンワイルズ】狂竜化ネルスキュラ初見#

動画投稿日：2025/03/24

kinkingame24bitのYouTubeチャンネル#

よろしければ、チャンネルのご登録お願い致します。

Python 3をインストールしUbuntu 20.04サーバーにプログラミング環境を設定する方法 | DigitalOcean

おしまい#

ペンギン

先月は7本か。

リサちゃん

よければ視聴してみて下さい。

以上になります！

【Python】死ぬほどモックで沼ってたのでその過程でClaude君が出してくれた対策を並べた

Sat, 12 Apr 2025 00:00:00 GMT

はじまり#

リサちゃん

これ何時になったら終わるの？？

135ml

沼のようだ。

なんでこんなに沼っているんだ#

何時まで経っても解決できない僕とClaude君。最初はClineにソースを読ませて解決しようとしたんですけど、読ませるにはファイルがすくすくとデカく育っていたもので、初回のデバッグの失敗を機に、Claude君と直接チャットしながらコードペタペタして解決に挑みました。しかし・・・、大体4時間ぐらい沼っていましたかね。それでも全然解決しなくて、まあ結局解決しなくて、最終的にはメソッドをモック対象のメソッドと同じファイル内に置いて終わらせたんですけど。うーん、結局何が原因だったんだろう？こいつも原因の一つだったのだろうか・・・。デコレータァァァ！！

1
@wrap_with_debug_log
2
def fetch_notion(self, endpoint: str, method: str, payload: dict) -> requests.Response:
3
    """
4

5
    """
6
    func_name = "notion_util.fetch_notion"
7
    args = [endpoint, method, payload]
8
    result_to_print_1 = f" with args: {args}"
9
    print(f"[DEBUG] {func_name}: Entering function with args: {args}")
10

11
    if endpoint is None:
12
        raise ValueError("'endpoint' must not be None.")
13
    if method is None:
14
        raise ValueError("'method' must not be None.")
15
    if payload is None:
16
        raise ValueError("'payload' must not be None.")
17
    if endpoint == "":
18
        raise ValueError("'endpoint' must not be empty.")
19
    if method == "":
20
        raise ValueError("'method' must not be empty.")
21
    if payload.__class__.__name__ != "dict":
22
        raise TypeError("'payload' must be dict type.")
23
    pprint("information to request Notion API...")
24
    pprint(endpoint)
25
    pprint(method)
26
    pprint(payload)
27

28
    headers = {
29
        "Notion-Version": "2022-06-28",
30
        "Authorization": f"Bearer {self.get_notion_integration_token()}",
31
        "Content-Type": "application/json"
32
    }
33
    pprint(f"requesting to Notion API...")
34
    if method == "GET":
35
        response = requests.request(
36
            method=method,
37
            url=endpoint,
38
            headers=headers,
39
            timeout=60
40
        )
41
    else:
42
        response = requests.request(
43
            method=method,
44
            url=endpoint,
45
            headers=headers,
46
            data=json.dumps(payload),
47
            timeout=60
48
        )
49
    if not response.ok:
50
        print(f"Error: with HTTP status code: {response.status_code} - {response.text}")
51
    response.raise_for_status()
52
    # response.encoding = response.apparent_encoding
53
    # response.encoding = "Shift_JIS"
54
    response.encoding = "utf-8"
55
    pprint(f"received response.")
56
    # pprint(response.text)
57
    pprint(response.status_code)
58
    pprint(response.encoding)
59
    print(f"[DEBUG] {func_name}: Exiting function{result_to_print_1}")
60

61
    return response

展開する折りたたむ

メソッドの名前の上にチョコンと付いているグルグルが座っていた所為で4時間も意味のない時間が過ぎ去っていたのかもしれません・・・。まあ、ログを出力するために書いたんですけどね。APIリクエストの結果のログって大事ですから。ということで今回は、そんな意味がなかった4時間を少しでも意味のあるものにするために、Claude君がその4時間の中でプリプリ出してくれたモックの手法を並べてみることにしました。まあ、途中で出してくれた手法によって、デコレータがモックの邪魔をしていたことが分かりましたからね。あっ、ちなみに本記事には、デコレータを付けたメソッドのモックの仕方は載っていません。試しに一回、Claude君にプリッと出してもらいましたが、そのプリッでは出来ませんでした。4時間も沼っていてもう疲れたのでそれ以上の探求はしませんでした。それでは並べていきましょう。

今回の沼の元#

今回、沼っていたソースコードを貼り付けます。概要としては、とあるファイルから特定のNotionのデータベースにAPIリクエストをする別のファイルに書いてあるメソッドを呼び出して（沼の元：その1）、そのメソッドが別のファイルに書いてあるクラスのメソッドを呼び出して（沼の元：その2）、そのメソッドにデコレータが付いていたわけです。（沼の元：その3）沼の元：その1です。クラスは名前空間としての役割を作るためだけに作りました。

1
class NotionDailyPropertyGenerator():
2
    def __init__(self):
3
        pass
4

5
    def retrieve_pages_on_notion_tasks(self, requests_once: bool = True, retrieves_from_cache: bool = False) -> Union[list[dict], None]:
6
        notion_model = NotionModels.TASK.value
7
        na = NotionAPI()
8
        pages = na.retrieve_pages_of_notion_db(notion_model, requests_once, retrieves_from_cache)
9
        return pages

沼の元：その2です。このクラスも名前空間としての役割を作るためだけに作りました。

1
class NotionAPI:
2
    def __init__(self):
3
        pass
4

5
    @wrap_with_debug_log
6
    def fetch_notion(self, endpoint: str, method: str, payload: dict) -> requests.Response:
7
        if endpoint is None:
8
            raise ValueError("'endpoint' must not be None.")
9
        if method is None:
10
            raise ValueError("'method' must not be None.")
11
        if payload is None:
12
            raise ValueError("'payload' must not be None.")
13
        if endpoint == "":
14
            raise ValueError("'endpoint' must not be empty.")
15
        if method == "":
16
            raise ValueError("'method' must not be empty.")
17
        if payload.__class__.__name__ != "dict":
18
            raise TypeError("'payload' must be dict type.")
19
        pprint("information to request Notion API...")
20
        pprint(endpoint)
21
        pprint(method)
22
        pprint(payload)
23

24
        headers = {
25
            "Notion-Version": "2022-06-28",
26
            "Authorization": f"Bearer {self.get_notion_integration_token()}",
27
            "Content-Type": "application/json"
28
        }
29
        pprint(f"requesting to Notion API...")
30
        if method == "GET":
31
            response = requests.request(
32
                method=method,
33
                url=endpoint,
34
                headers=headers,
35
                timeout=60
36
            )
37
        else:
38
            response = requests.request(
39
                method=method,
40
                url=endpoint,
41
                headers=headers,
42
                data=json.dumps(payload),
43
                timeout=60
44
            )
45
        if not response.ok:
46
            print(f"Error: with HTTP status code: {response.status_code} - {response.text}")
47
        response.raise_for_status()
48
        response.encoding = "utf-8"
49
        pprint(f"received response.")
50
        pprint(response.status_code)
51
        pprint(response.encoding)
52

53
        return response

展開する折りたたむ

沼の元：その3です。これが今回の根本の原因だったデコレータです。

1
def wrap_with_debug_log(func) -> callable:
2
    def wrapper(*args, **kwargs):
3
        # Get the caller function's name (which is now the wrapped function)
4
        func_name = func.__name__
5
        result_to_print_1 = f" with args: {args}"
6
        result_to_print_2 = f" and kwargs: {kwargs}"
7
        if len(str(args)) > 500:
8
            result_to_print_1 = " with args: ..."
9
        if len(str(kwargs)) > 500:
10
            result_to_print_2 = " and kwargs: ..."
11
        print(f"[DEBUG] {func_name}: Entering function with args: {args} and kwargs: {kwargs}")
12

13
        # Execute the wrapped function and capture the result
14
        result = func(*args, **kwargs)
15
        result_to_print_1 = f" with result: {result}"
16
        if len(str(result)) > 500:
17
            result_to_print_1 = " with result: ..."
18
        print(f"[DEBUG] {func_name}: Exiting function{result_to_print_1}")
19
        return result
20
    return wrapper

展開する折りたたむ

沼の元：その4です。その1のためのテストコードになります。

ディレクトリ構成はこんな感じの抜粋です。

1
my_project/
2
|
3
|
4

5
...
6

7
| |
8
|--src
9
| |
10
| |--notion_daily_property.py  # 沼の元：その1
11
| |--notion_template_page.py
12
| |--notion_util.py            # 沼の元：その2
13
| |--util.py                   # 沼の元：その3
14
|--tests
15
| |
16
| |--test_notion_daily_property.py  # 沼の元：その4
17
| |--test_notion_template_page.py
18
| |--test_notion_util.py
19
| |--test_util.py

展開する折りたたむ

Claudeのプリプリッ。#

Claudeがプリプリッと出した対策を並べていきます。下記のプロンプトから全てが始まりました。こちらのコードを参考にさせていただきました。

1
以下のpythonのテストコードのmockerはどう宣言すればいい？
2
---
3
*# tests/lambda_test.py (抜粋)* from lambda_function import lambda_handler def test_lambda_handler(mocker): *# インスタンス化* mock_instance = mocker.MagicMock() mocker.patch("lambda_function.ExampleClass", return_value=mock_instance) *# インスタンスメソッド* mock_instance.instance_method_example.return_value = "instance_method_2" *# クラスメソッド* mocker.patch( "lambda_function.ExampleClass.class_method_example", return_value="class_method_2", ) *# スタティックメソッド* mocker.patch( "lambda_function.ExampleClass.static_method_example", return_value="static_method_2", ) *# プロパティ* type(mock_instance).name = mocker.PropertyMock(return_value="property_2")

Claudeのプリッ：その1#

Pytestでモックを使用するためには、pytest-mockプラグインを利用する必要があります。このテストコードではmockerをテスト関数の引数として使用していますが、これを正しく動作させるためには以下の方法があります：

pytest.fixtureとしてmockerを宣言する必要はありません。pytest-mockプラグインをインストールすると、mockerフィクスチャが自動的に利用可能になります。
テストファイルの先頭に以下のインポートが必要です：

1
import pytest

テストを実行する前に、pytest-mockプラグインをインストールしておく必要があります：

Terminal window

1
pip install pytest-mock

完全なテストファイル例：

tests/lambda_test.py展開する折りたたむ

1
import pytest
2
from lambda_function import lambda_handler
3

4
def test_lambda_handler(mocker):
5
    # インスタンス化
6
    mock_instance = mocker.MagicMock()
7
    mocker.patch("lambda_function.ExampleClass", return_value=mock_instance)
8

9
    # インスタンスメソッド
10
    mock_instance.instance_method_example.return_value = "instance_method_2"
11

12
    # クラスメソッド
13
    mocker.patch(
14
        "lambda_function.ExampleClass.class_method_example",
15
        return_value="class_method_2",
16
    )
17

18
    # スタティックメソッド
19
    mocker.patch(
20
        "lambda_function.ExampleClass.static_method_example",
21
        return_value="static_method_2",
22
    )
23

24
    # プロパティ
25
    type(mock_instance).name = mocker.PropertyMock(return_value="property_2")
26

27
    # テスト対象の関数を呼び出し
28
    result = lambda_handler(event={}, context={})
29

30
    # アサーションをここに追加
31
    # assert result == expected_result

展開する折りたたむ

pytest-mockプラグインをインストールしていれば、特別な宣言なしでmocker引数を使用できます。これはpytestが自動的に提供するフィクスチャなので、別途宣言する必要はありません。なるほど、pytest-mockというパッケージをインストールしておかなければならんのか。うんまあ、入ってたからヨシ。先に進もう。

Claudeのプリッ：その2#

ダメだ。動かん。

1
テストクラスの中で使いたい。

テストクラスの中で mocker フィクスチャを使用する場合、クラスベースのテストスタイルに適した形で記述する必要があります。以下の方法があります：

1
import pytest
2

3
class TestLambdaFunction:
4
    def test_lambda_handler(self, mocker):
5
        # インスタンス化
6
        mock_instance = mocker.MagicMock()
7
        mocker.patch("lambda_function.ExampleClass", return_value=mock_instance)
8

9
        # インスタンスメソッド
10
        mock_instance.instance_method_example.return_value = "instance_method_2"
11

12
        # クラスメソッド
13
        mocker.patch(
14
            "lambda_function.ExampleClass.class_method_example",
15
            return_value="class_method_2",
16
        )
17

18
        # スタティックメソッド
19
        mocker.patch(
20
            "lambda_function.ExampleClass.static_method_example",
21
            return_value="static_method_2",
22
        )
23

24
        # プロパティ
25
        type(mock_instance).name = mocker.PropertyMock(return_value="property_2")
26

27
        # テスト対象の関数を呼び出し
28
        from lambda_function import lambda_handler
29
        result = lambda_handler(event={}, context={})
30

31
        # アサーション
32
        # assert result == expected_result

展開する折りたたむ

クラスベースのテストでも、テストメソッドの引数として mocker を渡すことで、pytest-mock プラグインが提供する機能をそのまま使用できます。特別な初期化や宣言は不要です。pytest がテスト実行時に自動的に mocker フィクスチャを注入します。ふむふむ、先に進もう。

Claudeのプリッ：その3#

動きません。「assert mocker.call」はモックがテスト中に呼び出されていればTrueになります。

1
モックされない。「assert mocker.call」ではアサーションエラーにならないのに。

モックが正しく機能していない問題について調査しましょう。assert mocker.callでアサーションエラーにならないというのは、通常、モックが呼び出されていないか、正しく設定されていないことを示しています。テストクラス内でモックを正しく動作させるための一般的な問題と解決策をいくつか挙げます：

pytestのスコープ問題：クラスメソッド内でのモックは、そのメソッドのスコープ内でのみ有効です。
autouse=Trueのフィクスチャを使用する：

1
import pytest
2
from unittest.mock import MagicMock, patch
3

4
class TestLambdaFunction:
5
    @pytest.fixture(autouse=True)
6
    def setup_mocks(self, mocker):
7
        # クラス全体で使えるモックをセットアップ
8
        self.mock_instance = mocker.MagicMock()
9
        self.patcher = mocker.patch("lambda_function.ExampleClass", return_value=self.mock_instance)
10

11
        # インスタンスメソッド
12
        self.mock_instance.instance_method_example.return_value = "instance_method_2"
13

14
        # クラスメソッド
15
        self.class_method_patcher = mocker.patch(
16
            "lambda_function.ExampleClass.class_method_example",
17
            return_value="class_method_2"
18
        )
19

20
        # スタティックメソッド
21
        self.static_method_patcher = mocker.patch(
22
            "lambda_function.ExampleClass.static_method_example",
23
            return_value="static_method_2"
24
        )
25

26
        # プロパティ
27
        type(self.mock_instance).name = mocker.PropertyMock(return_value="property_2")
28

29
        yield
30
        # テスト後のクリーンアップ
31
        self.patcher.stop()
32
        self.class_method_patcher.stop()
33
        self.static_method_patcher.stop()
34

35
    def test_lambda_handler(self):
36
        from lambda_function import lambda_handler
37
        result = lambda_handler(event={}, context={})
38

39
        # モックが呼ばれたことを確認
40
        assert "lambda_function.ExampleClass" in str(self.patcher.call_args_list)
41
        # または明示的に
42
        self.mock_instance.instance_method_example.assert_called_once()

展開する折りたたむ

importの問題: lambda_functionモジュールをテスト内でインポートする時点が重要です。モックパッチを適用した後にインポートする必要があります:

1
import pytest
2

3
class TestLambdaFunction:
4
    def test_lambda_handler(self, mocker):
5
        # パッチを適用
6
        mock_instance = mocker.MagicMock()
7
        mocker.patch("lambda_function.ExampleClass", return_value=mock_instance)
8

9
        # ここでインポート（パッチ適用後）
10
        from lambda_function import lambda_handler
11

12
        # テスト実行
13
        result = lambda_handler(event={}, context={})
14

15
        # アサーション
16
        mock_instance.instance_method_example.assert_called_once()

展開する折りたたむ

モジュールパスの問題: モックするパスが正確であることを確認してください。lambda_function.pyが別のディレクトリにある場合、パスを調整する必要があります。
pytest-mockのバージョン確認: 最新版のpytest-mockを使用していることを確認:

Terminal window

1
pip install --upgrade pytest-mock

上記の解決策を試しても問題が解決しない場合は、lambda_function.pyの内容と実際のテストコードを共有していただけると、より具体的なアドバイスができます。インポートを途中から呼び出すやつだな。やりますか。

Claudeのプリッ：その4#

またダメだ。モックが呼び出されませんでした。

1
モック出来ない。「assert "notion_util.NotionAPI" in str(self.patcher.call_args_list)」でアサーションエラーになる。

問題を解決するために、モックが正しく適用されていない原因を分析しましょう。エラーの原因として、モックのパス指定が間違っている可能性が高いです。"src.notion_util.NotionAPI" というパスでモックを適用していますが、実際のインポートパスと一致していない可能性があります。以下の解決策を試してみてください：

インポートパスの確認: モックされるべきクラスが実際にどのようにインポートされているか確認します。コードの中でどのように NotionAPI をインポートしているかを確認してください。
モックパスの修正: setup_test メソッドのモックの設定を修正します：

1
@pytest.fixture(autouse=True)
2
def setup_test(self, mocker: MockFixture, monkeypatch):
3
    # 現在のパス
4
    self.mocker_for_notion_api = mocker.MagicMock()
5
    # このパスが正しいか確認
6
    self.patcher = mocker.patch("src.notion_util.NotionAPI", return_value=self.mocker_for_notion_api)
7

8
    # 他の可能性のあるパスも試してみる
9
    # self.patcher = mocker.patch("notion_util.NotionAPI", return_value=self.mocker_for_notion_api)
10
    # または
11
    # from src.notion_util import NotionAPI
12
    # self.patcher = mocker.patch.object(NotionAPI, "__new__", return_value=self.mocker_for_notion_api)
13

14
    self.mocker_for_notion_api.fetch_notion.return_value = self.get_test_data_for_test_retrieve_pages_on_notion_tasks_01_01()
15
    # ...

展開する折りたたむ

インポート順序の問題: モジュールのインポートがモックの設定前に行われている可能性があります。以下の方法を試してみてください：

1
def test_retrieve_pages_on_notion_tasks_01_01(self, mocker):
2
    # テスト前にモジュールを再ロードしてみる
3
    import importlib
4
    import src.notion_util
5
    importlib.reload(src.notion_util)
6

7
    # または、テスト内で明示的にインポート
8
    from src.notion_daily_property import NotionDailyPropertyGenerator
9

10
    instance = self.property_generator()
11
    notion_database_id = "mock_database_id"
12
    requests_once = True
13

14
    pages = instance.retrieve_pages_on_notion_tasks(notion_database_id, requests_once)
15

16
    # アサーション
17
    assert "NotionAPI" in str(self.patcher.call_args_list)
18
    # または
19
    self.mocker_for_notion_api.fetch_notion.assert_called_once()

展開する折りたたむ

モック方法の変更: クラスではなく関数として直接モックを設定する方法も試してみてください：

1
@pytest.fixture(autouse=True)
2
def setup_test(self, mocker: MockFixture, monkeypatch):
3
    # 直接関数をモック
4
    self.mocker_for_notion_api = mocker.MagicMock()
5
    self.mocker_for_notion_api.fetch_notion.return_value = self.get_test_data_for_test_retrieve_pages_on_notion_tasks_01_01()
6

7
    # retrieve_pages_on_notion_tasks内で使用される関数を直接モック
8
    self.patcher = mocker.patch("src.notion_daily_property.NotionAPI", return_value=self.mocker_for_notion_api)
9
    # ...

NotionDailyPropertyGeneratorのコード確認: もし可能であれば、NotionDailyPropertyGenerator クラスの実装、特に retrieve_pages_on_notion_tasks メソッドの実装を確認して、実際に NotionAPI がどのように使われているかを見ることができれば、より具体的な解決策を提供できます。

これらの方法を試しても解決しない場合は、src.notion_daily_property モジュールのコード（特に retrieve_pages_on_notion_tasks メソッド）を確認して、NotionAPI がどのように使用されているかの詳細を教えていただければ幸いです。うーん・・・。

Claudeのプリッ：その5#

全然出来ないので、業を煮やした僕はコードを貼り付ける。

1
「self.patcher = mocker.patch.object(NotionAPI, "__new__", return_value=self.mocker_for_notion_api)」を
2
試したら、アサーションエラーにはなったが実際の値が変わった。
3
変える前は2100（モックが当たらない時に取れる実際の値）となっていたが、変えたら0になっていた。
4
NotionDailyPropertyGeneratorのコードを添付する。
5
---
6
class NotionDailyPropertyGenerator():
7
    def **init**(self):
8
        pass
9
    def get_title_of_notion_daily_report_page(self, date: Union[datetime, None]=None):
10
        """
11
        Generate the title of the Notion daily report page for a specific date.
12
        Args:
13
            date (datetime): The date to generate the title for.
14
        Returns:
15
            str: The formatted page title.
16
        """
17
        if date is None:
18
            date = get_datetime_now(is_jst=True)
19
        cfg = notion_config()
20
        prefix = cfg.DAILY_PAGE_PREFIX
21
        date_str = date.strftime("%Y-%m-%d(%a)")
22
        return f"{prefix}_{date_str}"
23
def retrieve_pages_on_notion_tasks(self, requests_once: bool = True, retrieves_from_cache: bool = False) -> Union[list[dict], None]:
24
        notion_model = "task"
25
        na = NotionAPI()
26
        pages = na.retrieve_pages_of_notion_db(notion_model, requests_once, retrieves_from_cache)
27
        return pages

展開する折りたたむ

問題の原因がわかりました。モックのパスに問題があったと考えられます。mocker.patch.object(NotionAPI, "__new__", return_value=self.mocker_for_notion_api) を試したときに値が変わった（2100から0になった）という結果は進展を示しています。 NotionDailyPropertyGenerator の retrieve_pages_on_notion_tasks メソッドを見ると、以下のコードがあります：

1
def retrieve_pages_on_notion_tasks(self, requests_once: bool = True, retrieves_from_cache: bool = False) -> Union[list[dict], None]:
2
    notion_model = "task"
3
    na = NotionAPI()
4
    pages = na.retrieve_pages_of_notion_db(notion_model, requests_once, retrieves_from_cache)
5
    return pages

ここで NotionAPI() をインスタンス化しています。これをモックするためには、以下のように修正してみましょう：

1
@pytest.fixture(autouse=True)
2
def setup_test(self, mocker: MockFixture, monkeypatch):
3
    # モックのセットアップ
4
    self.mocker_for_notion_api = mocker.MagicMock()
5

6
    # NotionAPIをインポート
7
    from src.notion_util import NotionAPI
8

9
    # NotionAPIクラスそのものをモック
10
    self.patcher = mocker.patch("src.notion_daily_property.NotionAPI", return_value=self.mocker_for_notion_api)
11

12
    # モックの戻り値を設定
13
    self.mocker_for_notion_api.retrieve_pages_of_notion_db.return_value = self.get_test_data_for_test_retrieve_pages_on_notion_tasks_01_01()["results"]
14

15
    # 他の設定
16
    self.magic_mock = MagicMock()
17
    self.monkey_patch = monkeypatch
18

19
    self.set_env_vars(self.get_test_data())
20
    yield
21
    # teardown
22
    self.remove_env_vars(self.get_test_data())
23
    self.patcher.stop()

展開する折りたたむ

変更点のポイント：

NotionAPIのパスを src.notion_daily_property.NotionAPI に変更しています。これは、retrieve_pages_on_notion_tasks メソッド内でインポートしているクラスをモックするために必要です。
モックの戻り値を retrieve_pages_of_notion_db メソッドに設定しています。コードを見ると、実際に呼び出されているメソッドは fetch_notion ではなく retrieve_pages_of_notion_db です。
戻り値として self.get_test_data_for_test_retrieve_pages_on_notion_tasks_01_01()["results"] を設定しています。これは実際のJSONレスポンスに合わせて、results キーの値を返すようにするためです。

これらの変更を行った後、テストを再度実行してみてください。モックが正しく適用され、assert "NotionAPI" in str(self.patcher.call_args_list) が成功するはずです。また、テストメソッド内でのアサーションも以下のように変更するとより明確になります：

1
def test_retrieve_pages_on_notion_tasks_01_01(self, mocker):
2
    instance = self.property_generator()
3
    notion_database_id = "mock_database_id"
4
    requests_once = True
5

6
    pages = instance.retrieve_pages_on_notion_tasks(notion_database_id, requests_once)
7

8
    # モックが呼ばれたことを確認
9
    self.patcher.assert_called_once()
10

11
    # retrieve_pages_of_notion_dbメソッドが呼ばれたことを確認
12
    self.mocker_for_notion_api.retrieve_pages_of_notion_db.assert_called_once_with("task", notion_database_id, requests_once)
13

14
    # 結果の確認
15
    assert len(pages) == 2

展開する折りたたむ

この方法でモックが正しく適用されるはずです。おいおい原因が分かったって！？　それは本当かぃぃ！？

Claudeのプリッ：その6#

ダメだ・・・。

「self.mocker_for_notion_api.fetch_notion.assert_called_once_with(“task”, notion_database_id, requests_once)」の処理で、「AssertionError: Expected ‘fetch_notion’ to be called once. Called 0 times.」というアサーションエラーが表示されました。

fetch_notion メソッドが呼ばれていないというエラーが出ていますね。これは、実際のコードで使用されているメソッド名と、モックで設定したメソッド名が一致していないことを示しています。コードを見ると、NotionDailyPropertyGenerator.retrieve_pages_on_notion_tasks メソッドでは：

1
def retrieve_pages_on_notion_tasks(self, requests_once: bool = True, retrieves_from_cache: bool = False) -> Union[list[dict], None]:
2
    notion_model = "task"
3
    na = NotionAPI()
4
    pages = na.retrieve_pages_of_notion_db(notion_model, requests_once, retrieves_from_cache)
5
    return pages

na.retrieve_pages_of_notion_db メソッドを呼び出していることがわかります。しかし、テストでは fetch_notion メソッドが呼ばれるとアサートしています。修正方法としては、以下のようにアサーションを変更してください：

1
def test_retrieve_pages_on_notion_tasks_01_01(self, mocker):
2
    instance = self.property_generator()
3
    notion_database_id = "mock_database_id"
4
    requests_once = True
5

6
    pages = instance.retrieve_pages_on_notion_tasks(requests_once)
7

8
    # モックが呼ばれたことを確認
9
    self.patcher.assert_called_once()
10

11
    # retrieve_pages_of_notion_dbメソッドが呼ばれたことを確認
12
    self.mocker_for_notion_api.retrieve_pages_of_notion_db.assert_called_once_with("task", requests_once, False)
13

14
    # 結果の確認
15
    assert len(pages) == 2

展開する折りたたむ

また、setup_test メソッドでのモックの設定も次のように変更してください：

1
@pytest.fixture(autouse=True)
2
def setup_test(self, mocker: MockFixture, monkeypatch):
3
    # モックのセットアップ
4
    self.mocker_for_notion_api = mocker.MagicMock()
5

6
    # NotionAPIクラスをモック
7
    self.patcher = mocker.patch("src.notion_daily_property.NotionAPI", return_value=self.mocker_for_notion_api)
8

9
    # retrieve_pages_of_notion_dbメソッドの戻り値を設定
10
    self.mocker_for_notion_api.retrieve_pages_of_notion_db.return_value = self.get_test_data_for_test_retrieve_pages_on_notion_tasks_01_01()["results"]
11

12
    # 他の設定
13
    self.magic_mock = MagicMock()
14
    self.monkey_patch = monkeypatch
15

16
    self.set_env_vars(self.get_test_data())
17
    yield
18
    # teardown
19
    self.remove_env_vars(self.get_test_data())
20
    self.patcher.stop()

展開する折りたたむ

重要なポイント：

fetch_notion ではなく retrieve_pages_of_notion_db メソッドをモックして戻り値を設定
アサーションも retrieve_pages_of_notion_db メソッドが呼ばれることを確認するように変更
パラメータの順序と名前を正確に合わせる（notion_model, requests_once, retrieves_from_cache）

また、オリジナルのコードでは notion_database_id を引数として渡していますが、実際のメソッド定義ではこのパラメータは使用されていないようです。そのため、テストでも notion_database_id を引数として渡さないように修正しました。ふむふむ、モックする対象を変えると来たか・・・・・・うん？

Claudeのプリッ：その7#

通った！！　・・・けど、実際に使いたい関数自体をモックしてしまっているから、全くもってテストとしての役割を果たしていない。

1
その実装でモック出来るようにはなったんですけど、テストカバレッジを上げたいです。
2
なので、fetch_notionをモックしたい。

fetch_notion をモックしたいということですね。NotionAPI クラス内の retrieve_pages_of_notion_db メソッドが内部で fetch_notion を呼び出しているのであれば、そこまで深くモックすることでカバレッジを向上させることができます。以下のようにモックを設定してみましょう：

1
@pytest.fixture(autouse=True)
2
def setup_test(self, mocker: MockFixture, monkeypatch):
3
    # NotionAPIのインスタンスのモック
4
    self.mocker_for_notion_api = mocker.MagicMock()
5

6
    # NotionAPIクラス自体をモック
7
    self.patcher = mocker.patch("src.notion_daily_property.NotionAPI", return_value=self.mocker_for_notion_api)
8

9
    # fetch_notionメソッドのモック設定
10
    self.mocker_for_notion_api.fetch_notion.return_value = self.get_test_data_for_test_retrieve_pages_on_notion_tasks_01_01()
11

12
    # retrieve_pages_of_notion_dbメソッドも引き続きモック
13
    # 実際のNotionAPIクラスの実装に従って結果を返す
14
    self.mocker_for_notion_api.retrieve_pages_of_notion_db.return_value = self.get_test_data_for_test_retrieve_pages_on_notion_tasks_01_01()["results"]
15

16
    # 他の設定
17
    self.magic_mock = MagicMock()
18
    self.monkey_patch = monkeypatch
19

20
    self.set_env_vars(self.get_test_data())
21
    yield
22
    # teardown
23
    self.remove_env_vars(self.get_test_data())
24
    self.patcher.stop()

展開する折りたたむ

そして、テストメソッドでは両方のメソッドが呼ばれたことを確認します：

1
def test_retrieve_pages_on_notion_tasks_01_01(self, mocker):
2
    instance = self.property_generator()
3
    requests_once = True
4

5
    pages = instance.retrieve_pages_on_notion_tasks(requests_once)
6

7
    # NotionAPIクラスがインスタンス化されたことを確認
8
    self.patcher.assert_called_once()
9

10
    # retrieve_pages_of_notion_dbメソッドが呼ばれたことを確認
11
    self.mocker_for_notion_api.retrieve_pages_of_notion_db.assert_called_once_with("task", requests_once, False)
12

13
    # 内部でfetch_notionが呼ばれたかを確認したい場合
14
    # ただし、この部分はretrieve_pages_of_notion_dbの内部実装に依存するため、
15
    # 実際の挙動に合わせて調整が必要かもしれません
16
    # self.mocker_for_notion_api.fetch_notion.assert_called()
17

18
    assert len(pages) == 2

展開する折りたたむ

もし NotionAPI クラスの内部実装をより深くテストしたい場合は、NotionAPIクラスそのものをモックするのではなく、そのメソッドのみをモックする方法も検討できます：

1
@pytest.fixture(autouse=True)
2
def setup_test(self, mocker: MockFixture, monkeypatch):
3
    # NotionAPIのfetch_notionメソッドのみをモック
4
    self.fetch_notion_mock = mocker.patch("src.notion_util.NotionAPI.fetch_notion")
5
    self.fetch_notion_mock.return_value = self.get_test_data_for_test_retrieve_pages_on_notion_tasks_01_01()
6

7
    # 実際のretrieve_pages_of_notion_dbメソッドを実行してfetch_notionを呼び出すようにする
8

9
    # 他の設定
10
    self.magic_mock = MagicMock()
11
    self.monkey_patch = monkeypatch
12

13
    self.set_env_vars(self.get_test_data())
14
    yield
15
    # teardown
16
    self.remove_env_vars(self.get_test_data())

展開する折りたたむ

この方法では、NotionAPI クラス自体はモックせず、そのメソッド fetch_notion のみをモックするため、retrieve_pages_of_notion_db の実際のコードが実行され、内部で fetch_notion が呼び出されたときにモックの結果が返されます。ただし、この方法が機能するかどうかは、NotionAPI クラスの実際の実装に依存します。NotionAPI クラスのコードを確認し、retrieve_pages_of_notion_db メソッドが内部でどのように fetch_notion を呼び出しているかを把握することが重要です。よしよし、深くモックするかぁぁ・・・・・・retrieve_pages_of_notion_db？

Claudeのプリッ：その8#

だから、その実装ではテストする意味が無いのだ・・・。

1
`NotionAPI` クラスの内部実装を介した返り値をテストしたいです。その場合、以下の実装ではモック出来ませんでした。
2
---
3
@pytest.fixture(autouse=True)
4
def setup_test(self, mocker: MockFixture, monkeypatch):
5
    # NotionAPIのfetch_notionメソッドのみをモック
6
    self.fetch_notion_mock = mocker.patch("src.notion_util.NotionAPI.fetch_notion")
7
    self.fetch_notion_mock.return_value = self.get_test_data_for_test_retrieve_pages_on_notion_tasks_01_01()
8

9
    # 実際のretrieve_pages_of_notion_dbメソッドを実行してfetch_notionを呼び出すようにする
10

11
    # 他の設定
12
    self.magic_mock = MagicMock()
13
    self.monkey_patch = monkeypatch
14
    self.set_env_vars(self.get_test_data())
15
    yield
16
    # teardown
17
    self.remove_env_vars(self.get_test_data())

展開する折りたたむ

内部実装を介した返り値をテストする場合、インスタンス化の順序や、モックの適用先が重要になります。NotionAPI.fetch_notion をモックする場合、以下の点に注意する必要があります。まず、モックの設定方法を修正してみましょう：

1
@pytest.fixture(autouse=True)
2
def setup_test(self, mocker: MockFixture, monkeypatch):
3
    # NotionAPIクラスのfetch_notionメソッドのみをモック
4
    # インポートを明示的に行う
5
    from src.notion_util import NotionAPI
6

7
    # パッチを作成する前に、モジュールをリロードして確実に最新の状態を使用
8
    import importlib
9
    import src.notion_util
10
    importlib.reload(src.notion_util)
11

12
    # fetch_notionメソッドをパッチ
13
    self.fetch_notion_mock = mocker.patch.object(NotionAPI, 'fetch_notion')
14
    self.fetch_notion_mock.return_value = self.get_test_data_for_test_retrieve_pages_on_notion_tasks_01_01()
15

16
    # 環境変数の設定
17
    self.magic_mock = MagicMock()
18
    self.monkey_patch = monkeypatch
19
    self.set_env_vars(self.get_test_data())
20
    yield
21
    # teardown
22
    self.remove_env_vars(self.get_test_data())

展開する折りたたむ

次に、テストメソッドを以下のように修正します：

1
def test_retrieve_pages_on_notion_tasks_01_01(self, mocker):
2
    # インポートを明示的に行う
3
    from src.notion_util import NotionAPI
4

5
    # インスタンスを生成
6
    instance = self.property_generator()
7
    requests_once = True
8

9
    # テスト実行
10
    pages = instance.retrieve_pages_on_notion_tasks(requests_once)
11

12
    # fetch_notionが呼ばれたことを確認
13
    self.fetch_notion_mock.assert_called()
14

15
    # 結果の確認
16
    assert len(pages) == 2

展開する折りたたむ

さらに、モジュールの依存関係により、以下のようなアプローチも試してみる価値があります： モック対象のパスを確認： NotionAPIがどこからインポートされているか確認し、正確なパスでモックします。

1
# NotionDailyPropertyGeneratorのコードをデバッグプリントして確認
2
def test_debug_imports(self):
3
    from src.notion_daily_property import NotionDailyPropertyGenerator
4
    import inspect
5
    code = inspect.getsource(NotionDailyPropertyGenerator.retrieve_pages_on_notion_tasks)
6
    print(f"コード:\n{code}")
7

8
    # 実際に使用されているNotionAPIのインポート元を確認
9
    import src.notion_util
10
    print(f"NotionAPIのパス: {src.notion_util.NotionAPI}")

強制的にモックを適用： patch.multiple を使用して、複数のパスに同時にモックを適用します。

1
@pytest.fixture(autouse=True)
2
def setup_test(self, mocker: MockFixture, monkeypatch):
3
    # 複数の可能性のあるパスに同時にモックを適用
4
    mock_data = self.get_test_data_for_test_retrieve_pages_on_notion_tasks_01_01()
5
    patcher = mocker.patch.multiple(
6
        "src.notion_util.NotionAPI",
7
        fetch_notion=mocker.MagicMock(return_value=mock_data)
8
    )
9

10
    # 別の可能性のあるパスにもモックを適用
11
    mocker.patch.multiple(
12
        "src.notion_daily_property.NotionAPI",
13
        fetch_notion=mocker.MagicMock(return_value=mock_data)
14
    )
15

16
    self.magic_mock = MagicMock()
17
    self.monkey_patch = monkeypatch
18
    self.set_env_vars(self.get_test_data())
19
    yield
20
    self.remove_env_vars(self.get_test_data())

展開する折りたたむ

インスタンス生成を確認： NotionAPI のコンストラクタをモックして、インスタンス生成時に特定のモックインスタンスを返すようにします。

1
@pytest.fixture(autouse=True)
2
def setup_test(self, mocker: MockFixture, monkeypatch):
3
    # モックインスタンスを作成
4
    mock_instance = MagicMock()
5
    mock_instance.fetch_notion.return_value = self.get_test_data_for_test_retrieve_pages_on_notion_tasks_01_01()
6

7
    # NotionAPIのコンストラクタをモック
8
    patcher = mocker.patch("src.notion_daily_property.NotionAPI", return_value=mock_instance)
9
    self.mock_instance = mock_instance
10

11
    # 環境変数設定
12
    self.magic_mock = MagicMock()
13
    self.monkey_patch = monkeypatch
14
    self.set_env_vars(self.get_test_data())
15
    yield
16
    self.remove_env_vars(self.get_test_data())
17
    patcher.stop()

展開する折りたたむ

これらの方法を順に試して、どれが実際の実装に適しているか確認してみてください。NotionAPIクラスの正確なインポートパスと使用方法を特定することが重要です。またちょっと毛色が変わったな・・・。おっ・・・？

Claudeのプ・・・なんだこれ？？#

先ほどClaude君が出してくれたinspectパッケージを使った手法ですね。このパッケージを使うとですね、ソースコードをターミナルに出力することが出来ます。そして、fetch_notionに対して実行すると、こんなコードが出てきた。

1
コード:
2
    def wrapper(*args, **kwargs):
3
        # Get the caller function's name (which is now the wrapped function)
4
        func_name = func.__name__
5
        result_to_print_1 = f" with args: {args}"
6
        result_to_print_2 = f" and kwargs: {kwargs}"
7
        if len(str(args)) > 500:
8
            result_to_print_1 = " with args: ..."
9
        if len(str(kwargs)) > 500:
10
            result_to_print_2 = " and kwargs: ..."
11
        print(f"[DEBUG] {func_name}: Entering function with args: {args} and kwargs: {kwargs}")
12

13
        # Execute the wrapped function and capture the result
14
        result = func(*args, **kwargs)
15
        result_to_print_1 = f" with result: {result}"
16
        if len(str(result)) > 500:
17
            result_to_print_1 = " with result: ..."
18
        print(f"[DEBUG] {func_name}: Exiting function{result_to_print_1}")
19
        return result
20

21
NotionAPIのパス: <class 'src.notion_util.NotionAPI'>

展開する折りたたむ

あああ～・・・。

Claudeのプリッ：その9#

報告します。（ちなみにフィクスチャは関数の上に付けるグルグルしたアットマークのヤツのこと。デコレータは任意の関数の前後で処理をするヤツのこと。今回はフィクスチャを使ってデコレータを呼んでいました。）

1
NotionAPI.fetch_notionメソッドは、以下の関数を呼ぶフィクスチャが付いていました。
2
---
3
def wrapper(*args, **kwargs):
4
        # Get the caller function's name (which is now the wrapped function)
5
        func_name = func.__name__
6
        result_to_print_1 = f" with args: {args}"
7
        result_to_print_2 = f" and kwargs: {kwargs}"
8
        if len(str(args)) > 500:
9
            result_to_print_1 = " with args: ..."
10
        if len(str(kwargs)) > 500:
11
            result_to_print_2 = " and kwargs: ..."
12
        print(f"[DEBUG] {func_name}: Entering function with args: {args} and kwargs: {kwargs}")
13
        # Execute the wrapped function and capture the result
14
        result = func(*args, **kwargs)
15
        result_to_print_1 = f" with result: {result}"
16
        if len(str(result)) > 500:
17
            result_to_print_1 = " with result: ..."
18
        print(f"[DEBUG] {func_name}: Exiting function{result_to_print_1}")
19
        return result

展開する折りたたむ

デバッグ用のラッパー関数が NotionAPI.fetch_notion メソッドに付いていることがわかりました。これはメソッドをデコレートして、呼び出し時の引数と戻り値を出力するためのものですね。このようなラッパー関数がある場合、モックの設定には追加の考慮が必要です。デコレーターを適用されたメソッドをモックする方法として、以下のアプローチを試してみましょう：

1
@pytest.fixture(autouse=True)
2
def setup_test(self, mocker: MockFixture, monkeypatch):
3
    # モックデータを取得
4
    mock_data = self.get_test_data_for_test_retrieve_pages_on_notion_tasks_01_01()
5

6
    # NotionAPIをインポート
7
    from src.notion_util import NotionAPI
8

9
    # 実際のインスタンスを作成し、そのメソッドをモック
10
    # これにより、デコレーターが適用された後のメソッドをモックできる
11
    self.real_instance = NotionAPI()
12

13
    # monkeypatchを使用して、インスタンスメソッドを直接置き換え
14
    def mock_fetch_notion(*args, **kwargs):
15
        print(f"[MOCK] fetch_notion called with args: {args}, kwargs: {kwargs}")
16
        return mock_data
17

18
    # インスタンスのメソッドを直接モック
19
    monkeypatch.setattr(self.real_instance, 'fetch_notion', mock_fetch_notion)
20

21
    # NotionAPIのコンストラクタをモックして、モック済みのインスタンスを返す
22
    self.patcher = mocker.patch('src.notion_daily_property.NotionAPI', return_value=self.real_instance)
23

24
    # 環境変数の設定
25
    self.magic_mock = MagicMock()
26
    self.monkey_patch = monkeypatch
27
    self.set_env_vars(self.get_test_data())
28
    yield
29
    # teardown
30
    self.remove_env_vars(self.get_test_data())
31
    self.patcher.stop() if hasattr(self, 'patcher') else None

展開する折りたたむ

あるいは、デコレーターを回避してモックする方法も試してみましょう：

1
@pytest.fixture(autouse=True)
2
def setup_test(self, mocker: MockFixture, monkeypatch):
3
    # モックデータを取得
4
    mock_data = self.get_test_data_for_test_retrieve_pages_on_notion_tasks_01_01()
5

6
    # モックインスタンスを作成
7
    mock_instance = mocker.MagicMock()
8

9
    # fetch_notionの戻り値を設定
10
    mock_fetch_notion = mocker.MagicMock(return_value=mock_data)
11
    mock_instance.fetch_notion = mock_fetch_notion
12

13
    # retrieve_pages_of_notion_dbの戻り値も設定
14
    mock_instance.retrieve_pages_of_notion_db.return_value = mock_data["results"]
15

16
    # NotionAPIクラスのコンストラクタをモックして、このモックインスタンスを返す
17
    self.patcher = mocker.patch('src.notion_daily_property.NotionAPI', return_value=mock_instance)
18

19
    # テスト用に参照を保持
20
    self.mock_instance = mock_instance
21
    self.mock_fetch_notion = mock_fetch_notion
22

23
    # 環境変数の設定
24
    self.magic_mock = MagicMock()
25
    self.monkey_patch = monkeypatch
26
    self.set_env_vars(self.get_test_data())
27
    yield
28
    # teardown
29
    self.remove_env_vars(self.get_test_data())
30
    self.patcher.stop() if hasattr(self, 'patcher') else None

展開する折りたたむ

そして、テストメソッドでは次のように確認します：

1
def test_retrieve_pages_on_notion_tasks_01_01(self, mocker):
2
    instance = self.property_generator()
3
    requests_once = True
4

5
    pages = instance.retrieve_pages_on_notion_tasks(requests_once)
6

7
    # NotionAPIがインスタンス化されたことを確認
8
    self.patcher.assert_called_once()
9

10
    # モックメソッドが呼ばれたことを確認
11
    if hasattr(self, 'mock_fetch_notion'):
12
        # 第二のアプローチの場合
13
        self.mock_fetch_notion.assert_called()
14
    else:
15
        # 第一のアプローチの場合
16
        # ここでは明示的なアサーションができないが、
17
        # デバッグ出力から呼び出しを確認できる
18
        pass
19

20
    # 結果の確認
21
    assert len(pages) == 2

展開する折りたたむ

デコレーターが複雑なモックの問題を引き起こしている場合、テスト専用の環境変数を設定して、デバッグ用のデコレーターを無効化するという方法も検討する価値があります。例えば、TEST_MODE=True のような環境変数を設定し、デコレーターの適用を条件付きにすることができれば、テスト時のモックがより簡単になります。よしよし、少し進展したか・・・。

Claudeのプリッ：その10#

ダメだ。デコレータを看過できない。

1
デコレーターの適用を条件付きにする方法を教えて

デコレーターの適用を条件付きにするには、デコレーターの実装時に環境変数を確認し、テスト環境では適用しないようにする方法が有効です。以下に実装例を示します。 条件付きデコレーターの実装方法

1
import os
2
import functools
3

4
def debug_decorator(func):
5
    @functools.wraps(func)
6
    def wrapper(*args, **kwargs):
7
        # 環境変数 TEST_MODE が "True" の場合はデコレーターをスキップ
8
        if os.environ.get("TEST_MODE") == "True":
9
            # テスト時は元の関数をそのまま実行
10
            return func(*args, **kwargs)
11

12
        # 通常時はデバッグログを出力
13
        func_name = func.__name__
14
        result_to_print_1 = f" with args: {args}"
15
        result_to_print_2 = f" and kwargs: {kwargs}"
16
        if len(str(args)) > 500:
17
            result_to_print_1 = " with args: ..."
18
        if len(str(kwargs)) > 500:
19
            result_to_print_2 = " and kwargs: ..."
20
        print(f"[DEBUG] {func_name}: Entering function{result_to_print_1}{result_to_print_2}")
21

22
        # 元の関数を実行して結果を取得
23
        result = func(*args, **kwargs)
24

25
        result_to_print = f" with result: {result}"
26
        if len(str(result)) > 500:
27
            result_to_print = " with result: ..."
28
        print(f"[DEBUG] {func_name}: Exiting function{result_to_print}")
29
        return result
30

31
    return wrapper

展開する折りたたむ

テストでの使用方法 テスト実行前に環境変数 TEST_MODE を設定します：

1
@pytest.fixture(autouse=True)
2
def setup_test(self, mocker: MockFixture, monkeypatch):
3
    # テストモードを有効にして、デコレーターをスキップ
4
    monkeypatch.setenv("TEST_MODE", "True")
5

6
    # モックの設定
7
    mock_data = self.get_test_data_for_test_retrieve_pages_on_notion_tasks_01_01()
8

9
    # ここでは元のメソッドに直接モックを設定できる
10
    self.fetch_notion_mock = mocker.patch("src.notion_util.NotionAPI.fetch_notion")
11
    self.fetch_notion_mock.return_value = mock_data
12

13
    # 残りの設定...
14
    self.set_env_vars(self.get_test_data())
15
    yield
16
    # teardown
17
    self.remove_env_vars(self.get_test_data())

展開する折りたたむ

すでに適用されたデコレーターがある場合 すでにコードベースにデコレーターが適用されていて変更できない場合は、テスト用の差し替えモジュールを作成する方法もあります：

テスト用のモジュールを作成（例: test_notion_util.py）
本番コードと同じクラスやメソッドを持ちますが、デコレーターなしで実装
テスト時にモジュールのインポートパスを書き換える

1
# テスト内でのモジュールパス書き換え
2
@pytest.fixture(autouse=True)
3
def setup_test(self, mocker: MockFixture, monkeypatch):
4
    # テスト用モジュールをインポートパスに挿入
5
    import sys
6
    import test_notion_util
7
    sys.modules['src.notion_util'] = test_notion_util
8

9
    # 以降のモック設定...

このアプローチはより侵襲的ですが、既存のコードを変更せずにテストを可能にします。どの方法を選ぶかは、プロジェクトの状況やテストの目的によって異なります。条件付きデコレーターの実装が最も簡単で推奨される方法です。その方法だと、既にデコレータを呼んでしまっているのでダメじゃないですか？

結局、分からなかった。#

ダメだ。こんなにも出したのに。

お疲れ様。それでは今回の反省と行こうではないか。#

あー疲れました・・・。反省します。

一部のソースを貼り漏らした。#

fetch_notion自体のソースを貼らなかったので、AIにデコレータを気付いてもらえなかったのかもしれません。ですがしかし、Cline君に最初見てもらった時は全てのファイルを見てもらった上で、デコレータの指摘は無くて見当違いの修正をされたので、シード値によって解析結果にムラがあります。しかし、ソースを全部見てもらった方が確度は上がると思います。なので、Cline君をもっと使いたかったですが如何せん金が掛かり過ぎる・・・。これはClaude DesktopをWindows上で動かしてWSLにあるファイルを見れるかどうかを試す時が来たのかもしれない。

クリーンアーキテクチャやらSOLID原則を使う。#

全く考えてなかったですからね、このNotionツールを作り始めた頃は・・・。クリーンアーキテクチャに則ったディレクトリ構成にすれば、おそらくMagicMockとかmonkeypatchとかを使わなくてもモック出来るはずです。なので、依存性逆転、依存の注入、ビジネスロジックの引数には抽象を使う。システム開発は最初が肝心ですね。ディレクトリ構成をリファクタリングするには厳しいコード量になってしまった・・・。

まとめ#

今回の内容のまとめです。

pytest-mockをインストールしてテスト関数にmocker引数を渡すと、pytest がテスト実行時に自動的に mocker フィクスチャを注入する。
inspectパッケージを使ってソースコードをターミナルに表示出来る。
そもそもプロジェクトのアーキテクチャ設計で依存を排除すれば沼らない。

本気でクリーンアーキテクチャをモノにしなければ・・・。（プリプリ言ってる場合じゃない。）

おしまい#

リサちゃん

オオッ・・・！テストが一気に流れていくぞ・・・！

135ml

川のようだ。

以上になります！

最近WSLでVSCodeを触ってイラッとしたこと

Tue, 01 Apr 2025 00:00:00 GMT

はじまり#

リサちゃん

なんか変なところがチラホラあるよなあ

135ml

私も困ることがあります。

まずはWSLのインストール#

ここは本題ではないので殴り書きしておきます。

「スタートメニュー」→「PowerShell」と入力→右クリック→「管理者として実行」
wsl --installを実行。
PCを再起動。
Ubuntuを起動する。Ubuntuが起動されなければ、コントロールパネルを開いて、「プログラムのアンインストールまたは変更」＞「Windowsの機能の有効化または無効化」＞「Linux用Windowsサブシステム」にチェック＞再起動。「スタートメニュー」→「PowerShell」と入力→右クリック→「管理者として実行」→wsl --install -d Ubuntu-24.04を実行してディストロをインストールする。
Ubuntuのユーザー名とパスワードを設定する。
これで基本的なWSL2のインストールは完了。

WSLのバージョンを確認してみよう#

まずは自分の環境を確認しておきましょう。WSLのバージョンは wsl --version コマンドで確認できます。

1
WSL バージョン: 2.4.12.0
2
カーネル バージョン: 5.15.167.4-1
3
WSLg バージョン: 1.0.65
4
MSRDC バージョン: 1.2.5716
5
Direct3D バージョン: 1.611.1-81528511
6
DXCore バージョン: 10.0.26100.1-240331-1435.ge-release
7
Windows バージョン: 10.0.26100.3476

ふ～ん。

なるほど、WSL2を使っているわけですね。WSL2はHyper-Vベースの仮想化技術を使っているので、WSL1よりもパフォーマンスが良いと言われています。ただ、その分ファイルシステムの扱いなどで思わぬ落とし穴があったりするんですよね…。

Ubuntuのバージョンも確認しておこう#

続いて、Ubuntu自体のバージョンも確認しておきましょう。cat /etc/os-release コマンドで確認できます。

1
PRETTY_NAME="Ubuntu 24.04.2 LTS"
2
NAME="Ubuntu"
3
VERSION_ID="24.04"
4
VERSION="24.04.2 LTS (Noble Numbat)"
5
VERSION_CODENAME=noble
6
ID=ubuntu
7
ID_LIKE=debian
8
HOME_URL="https://www.ubuntu.com/"
9
SUPPORT_URL="https://help.ubuntu.com/"
10
BUG_REPORT_URL="https://bugs.launchpad.net/ubuntu/"
11
PRIVACY_POLICY_URL="https://www.ubuntu.com/legal/terms-and-policies/privacy-policy"
12
UBUNTU_CODENAME=noble
13
LOGO=ubuntu-logo

最新のUbuntu 24.04.2 LTS（Noble Numbat）を使っているようですね。LTSなので長期サポートがあり、安定していると言われています。ただ、最新版だからこそ、まだ情報が少なくて困ることもあるかもしれません…。

権限の管理が面倒すぎる問題#

さて、本題に入りましょう。WSLでVSCodeを使っていて最初にイラッとしたのが、権限管理の問題です。WSLとWindowsの間でファイルをやり取りすると面倒なことになることがある。

VSCodeを立ち上げるドライブには気を付けるべき#

WSLでVSCodeを使う場合、どのドライブからVSCodeを立ち上げるかが重要になります。例えば、WSLのドライブから立ち上げたワークスペースをCドライブに保存したりすると、ユーザの権限が無くなってファイルを保存できなくなることがあります。

私の場合は、Cドライブにgit cloneしたリポジトリをWSLに移動して、VSCode上で触ろうとしたら引っ掛かりました。

Terminal window

1
# こんな感じでWindowsのCドライブからクローンしたリポジトリを移動します。
2
git clone <https://github.com/example/repo.git> /mnt/c/Users/username/projects/repo

移動したファイルをVSCodeで編集した後にctrl + Sなりを押すんですが、保存できなくなるんですよね。なので、その事象に気付かずに編集し続けた内容が保存できずに立ち往生してしまう・・・。

対策#

基本的には、WSL内で作業する場合は、WSLのファイルシステム内（/home/username/以下）からその編集したいファイルに関する作業を始めるのがベストな気がします。Windowsに召喚してしまったファイルは、WindowsからWSL上のLinuxに移動するのではなく、Linuxに直接呼び起こすようにする。

例えば、Gitリポジトリなどを扱う場合は、最初からWSL内にクローンするか、Windowsのファイルシステム上で完結させるかを決めておく。

改行コードがいつの間にかCRLFになっている恐怖#

次に大きな問題が、改行コードの問題です。これがかなり面倒くさかった・・・。Linuxの改行コードであるLFが、いつの間にかCRLFになっていて、シェルスクリプトが動かなくなったりする問題です。

改行コード問題の発見#

この問題は、PowerShellファイルを弄る時にもたまに遭遇する事象です。（もしかしたら、先程の権限問題で権限を割り当てる的な処理をしたのですがそれが原因なのか・・・？　うーんまあよく分かりませんが、原因の深掘りはしませんでした・・・。）

この事象のせいで、ShellスクリプトファイルからコピペしたコードをBash上に貼り付けて実行することは可能ですが、Shellスクリプトファイル自体から実行することができなくなります。

Web上で、Claude 3.7 Sonnetからこんな感じのコードをファイルから実行して問題の切り分けをするように提案されましたが、この内容だと改行コードをパースしないので当該エラーを導き出すことができませんでした。（ClineとかCursorとかClaude Desktopだったら見つけられたのかなぁ？）

1
#!/bin/bash
2

3
# テスト用の簡単なエイリアス
4
alias test='echo "テスト成功"'

改行コード問題の発見方法#

この改行コード問題に気付けたのは、以下のように全ての処理をコメントアウトして実行したからです。改行コードをパースすると、「: command not found」というエラーになります。ちなみにそのエラーはコメントアウトを外しても同様に発生していました。例えば以下の内容を「crlf.bash」というファイルで改行コードがCRLFの状態で実行するとエラーになりました。

Terminal window展開する折りたたむ

1
# #!/bin/bash
2

3
# #==============================================================#
4
# ##         New Commands                                      ##
5
# #==============================================================#
6
# function getpids() {
7
#   echo `ps x | grep $1 | awk '{print $1}'`
8
# }
9

10
# function du-ah() {
11
#   # e.g. du-ah / 20
12
#   du -ah $1 | sort -rh | head -n $2
13
# }
14

15
# function git-erase() {
16
#   # e.g. git-erase credential.json
17
#   git filter-branch --force --index-filter "git rm --cached --ignore-unmatch $1" -- --all
18
# }
19

20
# ...

展開する折りたたむ

Terminal window

1
source ./crlf.bash

そして、この改行コード問題はどこで発生したのかが分からないのですが、私の場合は全てのファイルで発生していました。Gitの差分が100件以上になっていたので絶対おかしいとは思っていましたが、まさか全てのファイルの改行コードがCRLFになっているとは思わなかったので・・・。パッと見では分かりませんし。

改行コード問題の影響#

そしてそして、このGitの差分100件をコミットしてリモートにプッシュしてCIを回した時にエラーが発生しました。いつも発生しない場所かつ編集していないファイルでエラーが発生していたので、改行コードだと悟りました・・・。Bash実行時に改行コードで詰まると以下のようなエラーメッセージが出ますね。

1
env: 'bash\\r': No such file or directory
2
env: use -[v]S to pass options in shebang lines

あーー・・・・・・、これは見覚えのあるエラーメッセージです。\\rという文字が入っているということは、まさにCRLF問題ですね。

改行コード問題の解決策#

そのため、全てのファイルをCRLF改行コードからLF改行コードに変更しました。WSLにすればバラ色のLinux開発環境をWindows上で堪能することができると思ったのですが・・・、そんなに世の中うまく行かないようです・・・。

以下のコマンドで自分のdotfilesリポジトリのファイルを全てLF改行コードに直しました。

Terminal window

1
sudo apt-get install dos2unix # for Ubuntu
2
function change_carriage_return() {
3
  # 'change_carriage_return' changes the line feed code to the carriage return code.
4
  # e.g. change_carriage_return dir_1
5
  find $1 -type f -exec dos2unix {} \\;
6
}
7
change_carriage_return ./dotfiles

これで一応解決しましたが、根本的な原因が分からないので、また同じ問題が発生する可能性があります・・・。VSCodeの設定で改行コードをLFに固定するなどの対策が考えられますね。

「Could not resolve host: github.com」という謎のエラー#

次に遭遇した問題は、GitHubに接続できなくなる問題です。ブラウザではGitHubにアクセスできるのに、WSL上のgitコマンドだけ繋がらないという謎の現象です。発生したりしなかったりして再現性を掴めていません。

事象#

例えば、git clone https://github.com/XXX/YYYYを実行したら、Could not resolve host: github.comというエラーメッセージが表示されました・・・。

Terminal window

1
git clone <https://github.com/example/repo.git>
2
# Cloning into 'repo'...
3
# fatal: unable to access '<https://github.com/example/repo.git/>': Could not resolve host: github.com

解決策#

結論：Windowsを再起動したら直りました・・・。原因は未だに分かりません。ブラウザではGitHubにアクセスできていたので、WSL上での名前解決ができなかったんですかねぇ。

プロキシサーバを経る過程で何かしらの問題が起きていることもあるらしいです。以下のコマンドを打ったら直ることもありました。

Terminal window

1
# プロキシ設定を確認
2
env | grep -i proxy
3

4
# プロキシ設定を一時的に解除
5
unset http_proxy
6
unset https_proxy

また、以下の対処法も試してみましたが、Windows 11では多分できません。私は試しましたが出来ませんでした。（LxssManagerというサービスが見つからないらしい。）

Terminal window

1
wsl --shutdown
2
Get-Service LxssManager | Restart-Service

次回、同じようなことが起きたら、以下のコマンドを実行してみることに決めました。これでWindowsを再起動しないで済むなら嬉しいのですが・・・。（実際にこの後試してみて・・・、結局出来ませんでした）。

Terminal window

1
wsl --shutdown
2
Get-Service WSLService | Restart-Service

その他諸々の、イラッとしなかった作業#

ここからは、イラッとまではしなかったものの、WSLでVSCodeを使う上で行った設定や遭遇した問題について紹介します。

Gitの更新をVSCodeのGUI上で見れない問題#

これは、Gitリポジトリなどのディレクトリをワークスペースとして追加した際に発生します。1つのワークスペース内で作業を完結させる場合は問題ないのですが、ワークスペースとして追加した方が可視性が上がるっていうメリットもあるからなぁ・・・。一長一短ですか。

VSCodeの右下に表示される「Manage unsafe repositories」をクリックすると、Gitの更新をVSCode上で管理することができます。別ドライブで動いている分、権限周りがとりあえず面倒くさいですね。

これは、WSLとWindowsの間でのセキュリティ上の問題で、WSL内のGitリポジトリをVSCodeが「安全でない」と判断しているためです。一度許可すれば問題なく使えるようになりますが、新しいリポジトリごとに毎回この操作が必要になるのは少し面倒です。

Python 3がプリインストールされている場合がある#

さて、開発および実行環境としてまずはPythonをインストールしようとしました。その際に、以下の記事を参考にさせて頂きました。

www.digitalocean.com

このチュートリアルでは、Ubuntu 20.24 サーバーでPython 3のプログラミング環境をセットアップする方法を学びます。サーバーでのプログラミングには多くの利点があり、開発プロジェクト間のコラボレーションをサポートします。このチュートリアルの一般原則はDebian Linuxのディストリビューションに適…

www.digitalocean.com

Pythonをインストールしようとしましたが、Ubuntuの場合は、遅くてもUbuntu 20.04からPython 3がプリインストールされているらしいです。なので、Pythonをインストールする前に、Pythonのバージョンを確認しましょう。

Terminal window

1
sudo apt update
2
sudo apt -y upgrade
3

4
python3 -V
5
# いつも使っているのはpythonなのでalias
6
alias python='python3'

しかし、pipがなぜか入っていなかったので、以下を実行しました。

Terminal window

1
sudo apt install -y python3-pip
2
pip -V

venvも入っていなかったので、以下を実行しました。

Terminal window

1
sudo apt install python3.12-venv

これで、Python環境の基本的なセットアップは完了です。WSLの良いところは、このようにLinuxネイティブの開発環境をすぐに構築できることですね。それは良いことです。

Goもインストールしたい#

次に、Goも使いたかったので、まずはGoがインストールされているかどうかを確認します。

Terminal window

1
go version

Goのchange listを確認します。

Terminal window

1
snap info go

Goをインストールしようとしました。（snapは、色々なLinuxディストロに使えるパッケージリストらしいです。aptは、Debian系専用ですけど。）

Terminal window

1
sudo snap install go

しかし、以下のエラーが表示されて、インストール出来ませんでした。クラシックなGoならインストール出来るらしいですけども。

1
error: This revision of snap "go" was published using classic confinement and thus may perform
2
       arbitrary system changes outside of the security sandbox that snaps are usually confined to,
3
       which may put your system at risk.
4

5
       If you understand and want to proceed repeat the command including --classic.

今回は素直に、aptのgolang-goにしておくことにしました。

Terminal window

1
sudo apt install golang-go
2
go version

これでインストール完了です。

VSCodeでGoの静的チェック（フォーマッタ）を動かす問題#

Goをインストール出来たのは良かったのですが、その後、VSCodeでGoの静的チェック（フォーマッタ）を動かす、つまりGoの拡張機能を動かすことができませんでした・・・。

Goの拡張機能がちゃんと動いていないと、こんなエラーメッセージが表示されました。

Error loading workspace folders (expected 1, got 0) failed to load view for file:////wsl.localhost/Ubuntu-24.04/wsl.localhost/Ubuntu-24.04/home/user-name/my-repository/mypkg: failed to get workspace configuration from client (file:////wsl.localhost/Ubuntu-24.04/wsl.localhost/Ubuntu-24.04/home/user-name/my-repository/mypkg): Request workspace/configuration failed with message: [UriError]: If a URI does not contain an authority component, then the path cannot begin with two slash characters (”//”)

以下、Goの拡張機能をアクティブにするために試してみたことを記します。

settings.jsonを編集する際に、以下の機能を設定する時にリポジトリにある資料を参考にしました。

tools/gopls/doc/settings.md at master · golang/tools

[mirror] Go Tools. Contribute to golang/tools development by creating an account on GitHub.

Google Cloud 上でオンライン VM を簡単に作成して実行できます。ウェブサーバー、データベース、AI などの用途に応じて、事前設定されているマシンタイプまたはカスタムマシンタイプから選択します。

試したこと一覧です。1回しか作業しなかったので再現性は確認できていませんが、個人的に多分必要だと思ったことは強調しておきます。

VSCodeがインストールされているドライブにGoパッケージをインストールした。つまり、Windowsにインストールし直した。
VSCodeに「WSL」（identifier: ms-vscode-remote.remote-wsl）をインストール。（多分必要。）
VSCodeのsettings.jsonに後述のフィールドを記述する。（"gopls"は多分必要。）
VSCodeをUbuntu上で開き直す。「code .」をWSLコンソール上で実行し直します。（必要。）
すると、右下の方で「Reopen folder in WSL」的なニュアンスのメッセージが表示されるので、そのメッセージ内のボタンから、WSLでVSCodeを開いた。（必要。）
すると、WSLでVSCodeを開くので、そこでGoの拡張機能をインストールする。

VSCodeのsettings.jsonに記述したフィールドは下記のものになります。

1
...
2

3
"[go]": {
4
  "editor.suggest.snippetsPreventQuickSuggestions": false,
5
  "editor.defaultFormatter": "golang.go"
6
},
7
"go.formatTool": "gofmt",
8
"go.toolsEnvVars": {
9
  "GO111MODULE": "on"
10
},
11
"gopls": {
12
  "expandWorkspaceToModule": true
13
},
14

15
...

展開する折りたたむ

そうすると、フォーマッタが発動！　・・・嬉しいけど最小構成が不明だったので腑に落ちませんでした。

まとめ#

WSLでVSCodeを使うことで、Windows上でLinux環境を利用できるという素晴らしいメリットがありますが、いくつかの落とし穴もあることが分かりました。

権限管理の問題：WSLとWindowsの間でファイルをやり取りする際に権限が変わることがある
改行コードの問題：いつの間にかCRLFになっていて、シェルスクリプトが動かなくなる
GitHub接続の問題：突然GitHubに接続できなくなり、Windowsの再起動が必要になることがある。再起動しなくても直ることもある。
その他の設定問題：Gitの更新表示、Python/Goの環境設定など

これらの問題を把握し、適切に対処することで、WSL+VSCodeの環境をより快適に使うことが出来るでしょう。特に、改行コードの問題は気付きにくいので注意が必要です。

おしまい#

リサちゃん

ハイドラもクソ速いけど、その代わりに最初のチャージもクソ長かったんだよなぁ

135ml

エアライドですか？

以上になります！

【Google Compute Engine】SSH接続できるDebian VMを構築するシェル関数を作る

Fri, 28 Mar 2025 00:00:00 GMT

はじまり#

リサちゃん

う～ん、GUIメンドクサイ！

135ml

それではCLIで完結するようにしましょう。

Google Compute Engineとは？#

Google Compute Engine（GCE）は、Googleが提供するIaaSサービスで、仮想マシンをクラウド上で実行できるサービスです。様々なOSやマシンタイプを選択でき、必要に応じてスケールアップ・ダウンが可能な柔軟なサービスとなっています。

Google Cloud

Compute Engine

cloud.google.com

今回は、このGCE上にDebian VMを構築し、SSHですぐに接続できるようにするシェル関数を作成します。この作成したシェル関数が常用の関数やスニペット的な存在となり、開発環境やテスト環境を素早く立ち上げることができるようになります。

前提条件#

このシェル関数を使用するには、以下の準備が必要です。

Google Cloud SDKがインストールされていること。
CLI上で、gcloud auth loginでGCPアカウントにログインしていること。
対象のプロジェクトが作成済みであること。
Compute Engine APIが有効化されていること。

また、Google Chrome以外のブラウザでもChrome Remote Desktopを使える・・・？かもしれないので、その場合はChrome Remote Desktopの拡張機能を入れれば使える・・・？（Chrome以外で使ったことがないのでちょっと分かりません。）

とりあえずまあ、構築の方をやっていきましょう。

シェル関数の実装#

主要な関数の紹介#

今回のDebian VM構築の流れは以下のような感じです。以下のシェル関数で行っていきます。

VMインスタンスを作成して設定する - create_gce_instance_and_configure
ルーターとNATを作成する - create_gce_router_and_nat
ファイアウォール設定とSSH接続の設定を行う - setup_gce_firewall_and_ssh
SSH鍵をコピーする - copy_gce_ssh_key
インスタンスにSSH接続する - connect_gce_instance

それでは、各関数の詳細を見ていきましょう。

1. create_gce_instance_and_configure#

この関数は、GCEインスタンスを作成し、メタデータとスタートアップスクリプトを設定します。

Terminal window展開する折りたたむ

1
function create_gce_instance_and_configure() {
2
  local FUNC_NAME="create_gce_instance_and_configure"
3

4
  # --help オプションのチェック
5
  for arg in "$@"; do
6
    if [ "$arg" = "--help" ]; then
7
      echo "[INFO] Usage: ${FUNC_NAME} INSTANCE_NAME [ZONE] [MACHINE_TYPE] [YAML_FILE] [STARTUP_SCRIPT_FILE]"
8
      echo "  INSTANCE_NAME       : 作成するインスタンスの名前"
9
      echo "  ZONE                : インスタンスを作成するゾーン (デフォルト: us-central1-a)"
10
      echo "  MACHINE_TYPE        : マシンタイプ (デフォルト: e2-medium)"
11
      echo "  STARTUP_SCRIPT_FILE : スタートアップスクリプトのファイルパス (デフォルト: ./iac/gcloud/setup_scripts/startup-script.sh)"
12
      echo "  YAML_FILE           : metadata設定用のYAMLファイル (デフォルト: env.yml)"
13
      return 0
14
    fi
15
  done
16

17
  # 引数チェック：最低1つは INSTANCE_NAME を指定する必要があります
18
  if [ "$#" -lt 1 ]; then
19
    echo "[ERROR] ${FUNC_NAME}: Usage: ${FUNC_NAME} INSTANCE_NAME [ZONE] [MACHINE_TYPE] [STARTUP_SCRIPT_FILE] [YAML_FILE]" >&2
20
    return 1
21
  fi
22

23
  # パラメータの初期化（デフォルト値付き）
24
  local INSTANCE_NAME="$1"
25
  local ZONE="${2:-us-central1-a}"
26
  local MACHINE_TYPE="${3:-e2-medium}"
27
  local YAML_FILE="${4:-env.yml}"
28
  local STARTUP_FILE="${5:-./iac/gcloud/setup_scripts/startup-script.sh}"
29

30
  # 1. インスタンス作成
31
  if ! create_gce_instance "$INSTANCE_NAME" "$ZONE" "$MACHINE_TYPE"; then
32
    echo "[ERROR] ${funcName}: Failed to create instance '$INSTANCE_NAME'." >&2
33
    return 1
34
  fi
35

36
  # 2. YAMLファイルからmetadataの設定
37
  if ! set_gce_instance_metadata_from_yaml "$INSTANCE_NAME" "$ZONE" "$YAML_FILE"; then
38
    echo "[ERROR] ${FUNC_NAME}: インスタンス '$INSTANCE_NAME' のmetadata設定に失敗しました。" >&2
39
    return 1
40
  fi
41

42
  # 3. とスタートアップスクリプトの登録
43
  if ! add_startup_script_to_gce_instance "$INSTANCE_NAME" "$ZONE" "$FILE_PATH"; then
44
    echo "[ERROR] ${funcName}: Failed to add startup script to instance '$INSTANCE_NAME'." >&2
45
    return 1
46
  fi
47

48
  echo "[INFO] ${FUNC_NAME}: インスタンス '$INSTANCE_NAME' の作成、スタートアップスクリプト登録、metadata設定が正常に完了しました。"
49
  return 0
50
}

展開する折りたたむ

以下のコマンドは、以下のパラメータを使用してVMインスタンスを作成します：

Terminal window

1
create_gce_instance_and_configure instance-test us-central1-a e2-medium

インスタンス名: instance-test
ゾーン: us-central1-a
マシンタイプ: e2-medium

内部的には、create_gce_instance関数を呼び出してインスタンスを作成し、set_gce_instance_metadata_from_yaml関数でメタデータを設定し、add_startup_script_to_gce_instance関数でスタートアップスクリプトを登録します。

Terminal window展開する折りたたむ

1
function set_gce_instance_metadata_from_yaml() {
2
  local vm_name="$1"
3
  local zone="$2"
4
  local yaml_file="${3:-env.yml}"
5
  local fn_name="set_gce_instance_metadata_from_yaml"
6

7
  # ヘルプオプション
8
  if [[ "$1" == "--help" ]]; then
9
    echo "Usage: set_instance_metadata_from_yaml <VM_NAME> <ZONE> [YAML_FILE]"
10
    echo "Example: set_instance_metadata_from_yaml my-vm us-central1-a env.yml"
11
    echo "If YAML_FILE is not specified, 'env.yml' will be used by default."
12
    return 0
13
  fi
14

15
  # YAMLファイルの存在チェック
16
  if [[ ! -f "$yaml_file" ]]; then
17
    echo "Error: YAML file '$yaml_file' not found!"
18
    return 1
19
  fi
20

21
  # YAMLを key=value 形式に変換
22
  local metadata_args=""
23
  while IFS=":" read -r key value; do
24
    # 空白を除去
25
    key=$(echo "$key" | xargs)
26
    value=$(echo "$value" | xargs)
27

28
    # 空行やコメント行を無視
29
    if [[ -n "$key" && -n "$value" && "$key" != \#* ]]; then
30
      metadata_args+="$key=$value,"
31
    fi
32
  done < "$yaml_file"
33

34
  # 最後のカンマを削除
35
  metadata_args="${metadata_args%,}"
36

37
  if [[ -z "$metadata_args" ]]; then
38
    echo "[INFO] No valid metadata found in '$yaml_file'"
39
    return 0
40
  fi
41

42
  # gcloud compute instances add-metadata を実行
43
  gcloud compute instances add-metadata "$vm_name" --zone "$zone" --metadata "$metadata_args"
44

45
  local ret_code=$?
46

47
  if [ $ret_code -eq 0 ]; then
48
    echo "[INFO] ${fn_name}: Env variables of instance '${vm_name}' have set successfully."
49
  else
50
    echo "[ERROR] ${fn_name}: Failed to set env variables for instance '${vm_name}'."
51
    return $ret_code
52
  fi
53
}
54

55
function add_startup_script_to_gce_instance() {
56
  local funcName="add_startup_script_to_gce_instance"
57
  local DEFAULT_ZONE="us-central1-a"
58
  local DEFAULT_FILE_PATH="./shell/setup_scripts/startup-script.sh"
59

60
  # --help が指定された場合は利用方法を表示
61
  if [ "$1" = "--help" ]; then
62
    echo "[INFO] ${funcName}: Usage: ${funcName} VM_NAME ZONE [FILE_PATH]"
63
    echo "[INFO] ${funcName}: Example: ${funcName} my-vm ${DEFAULT_ZONE} ${DEFAULT_FILE_PATH}"
64
    echo "[INFO] ${funcName}: If ZONE is not provided, default value '${DEFAULT_ZONE}' is used."
65
    echo "[INFO] ${funcName}: If FILE_PATH is not provided, default value '${DEFAULT_FILE_PATH}' is used."
66
    return 0
67
  fi
68

69
  # 必須パラメータの数チェック (1～3個)
70
  if [ "$#" -lt 1 ] || [ "$#" -gt 3 ]; then
71
    echo "[ERROR] ${funcName}: Invalid number of parameters." >&2
72
    echo "[INFO] ${funcName}: Usage: ${funcName} VM_NAME [ZONE] [FILE_PATH]" >&2
73
    return 1
74
  fi
75

76
  local VM_NAME="$1"
77
  local ZONE="${2:-$DEFAULT_ZONE}"
78
  # 3番目の引数が未指定の場合はデフォルト値を使用
79
  local FILE_PATH="${3:-$DEFAULT_FILE_PATH}"
80

81
  # gcloud コマンドの実行
82
  if ! gcloud compute instances add-metadata "${VM_NAME}" --zone="${ZONE}" --metadata-from-file startup-script="${FILE_PATH}"; then
83
    echo "[ERROR] ${funcName}: Failed to add metadata from file '${FILE_PATH}' to instance '${VM_NAME}' in zone '${ZONE}'." >&2
84
    return 1
85
  fi
86

87
  echo "[INFO] ${funcName}: Successfully added metadata from file '${FILE_PATH}' to instance '${VM_NAME}' in zone '${ZONE}'."
88
  return 0
89
}

展開する折りたたむ

VMの起動時に特定のスクリプトを実行したい場合は、カスタムのスタートアップスクリプトを作成し、create_gce_instance_and_configure関数の第5引数として指定できます。

Terminal window

1
create_gce_instance_and_configure instance-test us-central1-a e2-medium env.yml /path/to/custom-startup-script.sh

スタートアップスクリプトに関しては後述します！

2. create_gce_router_and_nat#

この関数は、Cloud RouterとCloud NATを作成します。これにより、外部IPアドレスを持たないインスタンスからインターネットにアクセスできるようになります。

Terminal window展開する折りたたむ

1
function create_gce_router_and_nat() {
2
  local FUNC_NAME="create_gce_router_and_nat"
3

4
  # --help オプションのチェック
5
  for arg in "$@"; do
6
    if [ "$arg" = "--help" ]; then
7
      echo "[INFO] Usage: ${FUNC_NAME} ROUTER_NAME [REGION] [NETWORK] [NAT_NAME]"
8
      echo "  ROUTER_NAME : 作成するルーターの名前"
9
      echo "  REGION      : ルーターとNATを作成するリージョン (デフォルト: us-central1)"
10
      echo "  NETWORK     : ルーターを作成するネットワーク (デフォルト: default)"
11
      echo "  NAT_NAME    : 作成するNATの名前 (デフォルト: nat1)"
12
      return 0
13
    fi
14
  done
15

16
  # 引数チェック：最低1つはルーター名を指定する必要があります
17
  if [ $# -lt 1 ]; then
18
    echo "[ERROR] Usage: ${FUNC_NAME} ROUTER_NAME [REGION] [NETWORK] [NAT_NAME]" >&2
19
    return 1
20
  fi
21

22
  # パラメータの初期化（デフォルト値付き）
23
  local router_name="$1"
24
  local region="${2:-us-central1}"
25
  local network="${3:-default}"
26
  local nat_name="${4:-nat1}"
27

28
  # gcloud コマンドの存在確認
29
  if ! command -v gcloud >/dev/null 2>&1; then
30
    echo "[ERROR] Error: gcloud コマンドが見つかりません。Google Cloud SDKがインストールされているか確認してください。" >&2
31
    return 1
32
  fi
33

34
  # ルーター作成処理
35
  if ! gcloud compute routers create "$router_name" \\\\
36
    --region="$region" \\\\
37
    --network="$network"; then
38
    echo "[ERROR] Error: ルーター '$router_name' の作成に失敗しました。" >&2
39
    return 1
40
  fi
41

42
  # NAT作成処理
43
  if ! gcloud compute routers nats create "$nat_name" \\\\
44
    --router="$router_name" \\\\
45
    --region="$region" \\\\
46
    --auto-allocate-nat-external-ips \\\\
47
    --nat-all-subnet-ip-ranges; then
48
    echo "[ERROR] Error: NAT '$nat_name' の作成に失敗しました。" >&2
49
    return 1
50
  fi
51

52
  echo "ルーター '$router_name' と NAT '$nat_name' が正常に作成されました。"
53
}

展開する折りたたむ

以下のコマンドは、以下のパラメータを使用してCloud RouterとCloud NATを作成します。

Terminal window

1
create_gce_router_and_nat router1 us-central1 default nat1

ルーター名: router1
リージョン: us-central1
ネットワーク: default
NAT名: nat1

これにより、外部IPアドレスを持たないインスタンスからインターネットにアクセスできるようになります。

3. setup_gce_firewall_and_ssh#

この関数は、SSH接続に必要なファイアウォールルールを設定し、SSH鍵をコピーして、インスタンスにSSH接続します。

Terminal window展開する折りたたむ

1
function setup_gce_firewall_and_ssh() {
2
  local FUNC_NAME="setup_gce_firewall_and_ssh"
3

4
  # --help オプションのチェック
5
  for arg in "$@"; do
6
    if [ "$arg" = "--help" ]; then
7
      echo "[INFO] Usage: ${FUNC_NAME} INSTANCE_NAME [ZONE] [SSH_KEY_PATH]"
8
      echo "  INSTANCE_NAME : SSH 接続対象のインスタンス名 (例: crd1)"
9
      echo "  ZONE         : インスタンスのゾーン (デフォルト: us-central1-a)"
10
      echo "  SSH_KEY_PATH : SSH 秘密鍵ファイルのパス (デフォルト: \\\\$HOME/.ssh/google_compute_engine)"
11
      return 0
12
    fi
13
  done
14

15
  # 引数チェック：最低1つはインスタンス名を指定する必要があります
16
  if [ $# -lt 1 ]; then
17
    echo "[ERROR] Usage: ${FUNC_NAME} INSTANCE_NAME [ZONE] [SSH_KEY_PATH]" >&2
18
    return 1
19
  fi
20

21
  # パラメータの初期化（デフォルト値付き）
22
  local instance_name="$1"
23
  local zone="${2:-us-central1-a}"
24
  local ssh_key_path="${3:-$HOME/.ssh/google_compute_engine}"
25

26
  # 現在の日付 (YYYYMMDD) をサフィックスとして生成
27
  local today
28
  today=$(date +%Y%m%d)
29

30
  # gcloud コマンドの存在確認
31
  if ! command -v gcloud >/dev/null 2>&1; then
32
    echo "[ERROR] Error: gcloud コマンドが見つかりません。Google Cloud SDK がインストールされているか確認してください。" >&2
33
    return 1
34
  fi
35

36
  echo "【STEP 1】 IAP TCP 転送用の SSH ファイアウォールルールを作成中..."
37
  # 第一引数にルール名＋実行日付を渡す
38
  if ! create_gce_iap_ssh_firewall_rule "allow-ssh-ingress-from-iap-${today}"; then
39
    echo "[ERROR] Error: IAP 用ファイアウォールルールの作成に失敗しました。" >&2
40
    return 1
41
  fi
42

43
  echo "【STEP 2】 VPC 内 SSH 用のファイアウォールルールを作成中..."
44
  if ! create_gce_ingress_ssh_firewall_rule "allow-ingress-ssh-${today}"; then
45
    echo "[ERROR] Error: VPC 内 SSH 用ファイアウォールルールの作成に失敗しました。" >&2
46
    return 1
47
  fi
48

49
  echo "【STEP 3】 SSH 秘密鍵のコピーを実行中..."
50
  if ! copy_gce_ssh_key "$instance_name" "$zone"; then
51
    echo "[ERROR] Error: インスタンス '$instance_name' への SSH 秘密鍵のコピーに失敗しました。" >&2
52
    return 1
53
  fi
54

55
  echo "【STEP 4】 インスタンスへの SSH 接続を実行中..."
56
  if ! connect_gce_instance "$instance_name" "$zone"; then
57
    echo "[ERROR] Error: インスタンス '$instance_name' への SSH 接続に失敗しました。" >&2
58
    return 1
59
  fi
60

61
  echo "[INFO] ファイアウォール設定、SSH 秘密鍵のコピー、SSH 接続が正常に完了しました。"
62
}

展開する折りたたむ

以下のコマンドは、以下の処理を行います。

Terminal window

1
setup_gce_firewall_and_ssh instance-test

IAP TCP転送用のSSHファイアウォールルールを作成
VPC内SSH用のファイアウォールルールを作成
SSH秘密鍵のコピーを実行
インスタンスへのSSH接続を実行

ファイアウォールルール名に日付を追加することで、同じ名前のルールが既に存在する場合でも、新しいルールを作成できます。

Terminal window

1
local today=$(date +%Y%m%d)
2
create_gce_iap_ssh_firewall_rule "allow-ssh-ingress-from-iap-${today}"

4. copy_gce_ssh_key#

この関数は、ローカルのSSH鍵をGCEインスタンスにコピーします。

Terminal window展開する折りたたむ

1
function copy_gce_ssh_key() {
2
  local FUNC_NAME="copy_gce_ssh_key"
3

4
  # --help オプションのチェック
5
  for arg in "$@"; do
6
    if [ "$arg" = "--help" ]; then
7
      echo "[INFO] Usage: ${FUNC_NAME} INSTANCE_NAME [ZONE] [SSH_KEY_PATH]"
8
      echo "  INSTANCE_NAME : SSH 秘密鍵をコピーする対象のインスタンス名"
9
      echo "  ZONE         : インスタンスのゾーン (デフォルト: us-central1-a)"
10
      echo "  SSH_KEY_PATH : SSH 秘密鍵ファイルのパス (デフォルト: \\\\$HOME/.ssh/google_compute_engine)"
11
      return 0
12
    fi
13
  done
14

15
  # 引数チェック: インスタンス名は必須
16
  if [ $# -lt 1 ]; then
17
    echo "[ERROR]  Usage: ${FUNC_NAME} INSTANCE_NAME [ZONE] [SSH_KEY_PATH]" >&2
18
    return 1
19
  fi
20

21
  local instance_name="$1"
22
  local zone="${2:-us-central1-a}"
23
  local ssh_key_path="${3:-$HOME/.ssh/google_compute_engine}"
24

25
  # gcloud コマンドの存在確認
26
  if ! command -v gcloud >/dev/null 2>&1; then
27
    echo "[ERROR] Error: gcloud コマンドが見つかりません。Google Cloud SDK がインストールされているか確認してください。" >&2
28
    return 1
29
  fi
30

31
  # SSH 秘密鍵のコピー処理
32
  if ! gcloud compute scp "$ssh_key_path" "${instance_name}:/tmp" \\\\
33
      --zone="$zone" \\\\
34
      --tunnel-through-iap; then
35
    echo "Error: インスタンス '$instance_name' への SSH 秘密鍵のコピーに失敗しました。" >&2
36
    return 1
37
  fi
38

39
  echo "[INFO] SSH 秘密鍵 '$ssh_key_path' がインスタンス '$instance_name' の /tmp に正常にコピーされました。"
40
}

展開する折りたたむ

以下のコマンドは、ローカルのSSH鍵をローカルからGCEインスタンスにコピーします。コピーする際に、キーフレーズを適当に長く入力する鍵ファイルを作成する必要がありますね。

setup_gce_firewall_and_ssh関数内で既に実行されているため、通常は個別に実行する必要はありませんが、必要に応じて使用できます。

Terminal window

1
copy_gce_ssh_key instance-test

5. connect_gce_instance#

この関数は、GCEインスタンスにSSH接続します。

Terminal window展開する折りたたむ

1
function connect_gce_instance() {
2
  local FUNC_NAME="connect_gce_instance"
3

4
  # --help オプションのチェック
5
  for arg in "$@"; do
6
    if [ "$arg" = "--help" ]; then
7
      echo "[INFO] Usage: ${FUNC_NAME} INSTANCE_NAME [ZONE]"
8
      echo "  INSTANCE_NAME : SSH 接続するインスタンスの名前"
9
      echo "  ZONE         : インスタンスが存在するゾーン (デフォルト: us-central1-a)"
10
      return 0
11
    fi
12
  done
13

14
  # 引数チェック: 少なくともインスタンス名は必須
15
  if [ $# -lt 1 ]; then
16
    echo "[ERROR] Usage: ${FUNC_NAME} INSTANCE_NAME [ZONE]" >&2
17
    return 1
18
  fi
19

20
  local instance_name="$1"
21
  local zone="${2:-us-central1-a}"
22

23
  # gcloud コマンドの存在確認
24
  if ! command -v gcloud >/dev/null 2>&1; then
25
    echo "[ERROR] Error: gcloud コマンドが見つかりません。Google Cloud SDK がインストールされているか確認してください。" >&2
26
    return 1
27
  fi
28

29
  echo ""
30
  echo "[INFO] **Notice**: Setup Chrome Remote Desktop on your ssh connection and [Remote Desktop Service](<https://remotedesktop.google.com/headless>) if you want."
31
  echo ""
32

33
  # インスタンスへの SSH 接続処理
34
  if ! gcloud compute ssh "$instance_name" \\\\
35
      --zone="$zone" \\\\
36
      --tunnel-through-iap; then
37
    echo "[ERROR] Error: インスタンス '$instance_name' への SSH 接続に失敗しました。" >&2
38
    return 1
39
  fi
40

41
  echo "[INFO] インスタンス '$instance_name' への SSH 接続が正常に完了しました。"
42
}

展開する折りたたむ

このコマンドは、GCEインスタンスにSSH接続します。setup_gce_firewall_and_ssh関数内で既に実行されているため、通常は個別に実行する必要はありませんが、既存のインスタンスに接続する場合などに使用できます。

以下のコマンドは、以下の処理を行います。

Terminal window

1
connect_gce_instance instance-test

IAP（Identity-Aware Proxy）の設定により、Google Cloud Identity-Aware Proxy（IAP）を使用してSSH接続します。IAPを使用すると、外部IPアドレスを持たないインスタンスにも安全にアクセスできます。

Terminal window

1
gcloud compute scp "$ssh_key_path" "${instance_name}:/tmp" \
2
  --zone="$zone" \
3
  --tunnel-through-iap

そんなこんなで、先程適当に長く入力したキーフレーズを再び入力すれば、GCEインスタンスにSSH接続が出来ます。このリンクからChromeリモートデスクトップにアクセスして、その「SSH経由でセットアップする」からパソコンを設定します。その過程でPINを設定すれば、その後はリモデでアクセス出来ます。

実際の使用方法#

これらの関数を組み合わせて、SSH接続できるDebian VMを構築する手順は以下の通りです。

Terminal window

1
# 1. VMインスタンスを作成して設定する
2
create_gce_instance_and_configure instance-test us-central1-a e2-medium
3

4
# 2. ルーターとNATを作成する
5
create_gce_router_and_nat router1 us-central1 default nat1
6

7
# 3. ファイアウォール設定とSSH接続の設定を行う
8
setup_gce_firewall_and_ssh instance-test
9

10
# 4. SSH鍵をコピーする（必要に応じて）
11
copy_gce_ssh_key instance-test
12

13
# 5. インスタンスにSSH接続する
14
connect_gce_instance instance-test

その他の詳細#

1. スタートアップスクリプトをカスタマイズする。#

VMの起動時に特定のスクリプトを実行したい場合は、カスタムのスタートアップスクリプトを作成してVMに反映します。今回は、create_gce_instance_and_configure関数の第5引数として指定していたスタートアップスクリプトを、以下のような内容で反映しています。

1
#!/bin/bash -x
2
#
3
# Startup script to install Chrome remote desktop and a desktop environment.
4
#
5
# See environmental variables at then end of the script for configuration
6
#
7

8
function send_discord_notification() {
9
  # --helpオプションの確認
10
  if [ "$1" == "--help" ] || [ "$1" == "-h" ]; then
11
    cat <<EOF
12
Usage: ${FUNCNAME[0]} <通知テキスト> <Embedのテキスト> <Embedのフッターテキスト> <EmbedのアイコンのURL> <Embedの色> [DISCORD_WEBHOOK_URL]
13

14
Parameters:
15
  通知テキスト           : 通知内容のテキスト
16
  Embedのテキスト        : Embedメッセージの内容
17
  Embedのフッターテキスト : Embedフッターに表示するテキスト
18
  EmbedのアイコンのURL   : Embedフッターに表示するアイコンのURL
19
  Embedの色             : Embedの色（10進数の数値または以下の文字列指定が可能）
20
  DISCORD_WEBHOOK_URL    : (任意) DiscordのWebhook URL。省略した場合は環境変数DISCORD_WEBHOOK_URLを使用します。
21

22
Color Samples:
23
  green     : 4569935   (0x45BB4F)
24
  red       : 16711680  (0xFF0000)
25
  sky_blue  : 52479     (0x00CCFF)
26
  orange    : 14177041  (0xD85311)
27
  white     : 16777215  (0xFFFFFF)
28
  blue      : 39423     (0x0099FF)
29
  yellow    : 16770560  (0xFFE600)
30
  pink      : 16711833  (0xFF0099)
31
  purple    : 10494192  (0xA020F0)
32
  gray_blue : 9212588   (0x8C92AC)
33
  black     : 3355443   (0x333333)
34

35
Examples:
36
  # Using environment variable DISCORD_WEBHOOK_URL (5 arguments)
37
  ${FUNCNAME[0]} "通知テキスト" "Embedのテキスト" "Embedのフッターテキスト" "https://example.com/footer_icon.png" green
38

39
  # Explicitly specifying DISCORD_WEBHOOK_URL as the last argument (6 arguments)
40
  ${FUNCNAME[0]} "通知テキスト" "Embedのテキスト" "Embedのフッターテキスト" "https://example.com/footer_icon.png" red "https://discord.com/api/webhooks/your_webhook_id/your_webhook_token"
41
EOF
42
    return 0
43
  fi
44

45
  local message embed_text embed_footer_text embed_icon_url embed_color webhook_url
46

47
  # Embedなし
48
  # 引数の個数チェック
49
  if [ "$#" -eq 1 ]; then
50
    message="$1"
51
    webhook_url="${DISCORD_WEBHOOK_URL}"
52
    # JSONペイロードの作成
53
    local payload=$(cat <<EOF
54
{
55
  "content": "$message"
56
}
57
EOF
58
    )
59
    # curlでDiscordのWebhookにPOSTリクエストを送信
60
    curl -H "Content-Type: application/json" \
61
      -X POST \
62
      -d "$payload" \
63
      "$webhook_url"
64
    return 0
65
  fi
66

67
  # Embedあり
68
  # 引数の個数チェック
69
  if [ "$#" -eq 5 ]; then
70
    message="$1"
71
    embed_text="$2"
72
    embed_footer_text="$3"
73
    embed_icon_url="$4"
74
    embed_color="$5"
75
    webhook_url="${DISCORD_WEBHOOK_URL}"
76
  elif [ "$#" -eq 6 ]; then
77
    message="$1"
78
    embed_text="$2"
79
    embed_footer_text="$3"
80
    embed_icon_url="$4"
81
    embed_color="$5"
82
    webhook_url="$6"
83
  else
84
    echo "Error: 引数の数が正しくありません。"
85
    cat <<EOF
86
Usage: ${FUNCNAME[0]} <通知テキスト> <Embedのテキスト> <Embedのフッターテキスト> <EmbedのアイコンのURL> <Embedの色> [DISCORD_WEBHOOK_URL];
87
EOF
88
    return 1
89
  fi
90

91
  # いずれかの引数が空文字だった場合のエラーハンドリング
92
  if [ -z "$message" ] || [ -z "$embed_text" ] || [ -z "$embed_icon_url" ] || [ -z "$embed_color" ] || [ -z "$webhook_url" ]; then
93
    echo "Error: 引数に空文字が含まれています。"
94
    cat <<EOF
95
Usage: ${FUNCNAME[0]} <通知テキスト> <Embedのテキスト> <Embedのフッターテキスト> <EmbedのアイコンのURL> <Embedの色> [DISCORD_WEBHOOK_URL];
96
EOF
97
    return 1
98
  fi
99

100
  # Embedの色が文字列の場合、対応する10進数の値に変換
101
  case "$embed_color" in
102
    green)
103
      embed_color=4569935
104
      ;;
105
    red)
106
      embed_color=16711680
107
      ;;
108
    sky_blue)
109
      embed_color=52479
110
      ;;
111
    orange)
112
      embed_color=14177041
113
      ;;
114
    white)
115
      embed_color=16777215
116
      ;;
117
    blue)
118
      embed_color=39423
119
      ;;
120
    yellow)
121
      embed_color=16770560
122
      ;;
123
    pink)
124
      embed_color=16711833
125
      ;;
126
    purple)
127
      embed_color=10494192
128
      ;;
129
    gray_blue)
130
      embed_color=9212588
131
      ;;
132
    black)
133
      embed_color=3355443
134
      ;;
135
    *)
136
      # 数値が直接入力されているものとみなす
137
      ;;
138
  esac
139

140
  # JSONペイロードの作成
141
  local payload=$(cat <<EOF
142
{
143
  "content": "$message",
144
  "embeds": [
145
    {
146
      "description": "$embed_text",
147
      "color": $embed_color,
148
      "timestamp": "$(date -u +"%Y-%m-%dT%H:%M:%SZ")",
149
      "footer": {
150
          "text": "$embed_footer_text",
151
          "icon_url": "$embed_icon_url"
152
      }
153
    }
154
  ]
155
}
156
EOF
157
  )
158

159
  # curlでDiscordのWebhookにPOSTリクエストを送信
160
  curl -H "Content-Type: application/json" \
161
    -X POST \
162
    -d "$payload" \
163
    "$webhook_url"
164
}
165

166
function send_discord_notification_about_gce() {
167
  # 第一引数以降のパラメータは send_discord_notification と同じ順序
168
  # 通知テキストに [GCE] プレフィックスを追加する例
169
  local message="$1"
170
  local embed_text="$2"
171
  local embed_color="$3"
172
  local embed_footer_text="GoogleComputeEngine"
173
  local embed_icon_url=$GCE_ICON_URL
174
  local webhook_url=$DISCORD_WEBHOOK_URL
175

176
  # webhook_url が空でないかチェックし、あれば最後の引数として渡す
177
  if [ -n "$webhook_url" ]; then
178
    send_discord_notification "$message" "$embed_text" "$embed_footer_text" "$embed_icon_url" "$embed_color" "$webhook_url"
179
  else
180
    send_discord_notification "$message" "$embed_text" "$embed_footer_text" "$embed_icon_url" "$embed_color"
181
  fi
182
}
183

184
function set_env_var_from_custom_metadata() {
185
  local key=$1
186
  local MY_CUSTOM_VALUE=$(curl -s -H "Metadata-Flavor: Google" \
187
    http://metadata.google.internal/computeMetadata/v1/instance/attributes/$key)
188
  export $key="$MY_CUSTOM_VALUE"
189
}
190

191
function install_chrome_remote_desktop() {
192
  curl https://dl.google.com/linux/linux_signing_key.pub \
193
    | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/chrome-remote-desktop.gpg
194
  echo "deb [arch=amd64] https://dl.google.com/linux/chrome-remote-desktop/deb stable main" \
195
    | sudo tee /etc/apt/sources.list.d/chrome-remote-desktop.list
196
  sudo apt-get update
197
  sudo DEBIAN_FRONTEND=noninteractive \
198
    apt-get install --assume-yes chrome-remote-desktop
199
  echo "[INFO] Setup for Chrome Remote Desktop completed successfully."
200
}
201

202
function install_xfce_desktop_env() {
203
  # Xfce デスクトップ環境の導入
204
  sudo DEBIAN_FRONTEND=noninteractive \
205
    apt install --assume-yes xfce4 desktop-base dbus-x11 xscreensaver
206
  # Xfce デスクトップ環境をデフォルトへ設定
207
  sudo bash -c 'echo "exec /etc/X11/Xsession /usr/bin/xfce4-session" > /etc/chrome-remote-desktop-session'
208
  # Chrome ブラウザをインストール
209
  curl -L -o google-chrome-stable_current_amd64.deb \
210
  https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb
211
  sudo apt install --assume-yes --fix-broken ./google-chrome-stable_current_amd64.deb
212
  # Color Manager を停止
213
  sudo systemctl stop colord
214
  sudo systemctl disable colord
215
  echo "[INFO] Setup for Xfce (X Windows System Desktop Environment) completed successfully."
216
}
217

218
function install_desktop_env_with_xfce() {
219
  install_chrome_remote_desktop
220
  install_xfce_desktop_env
221
}
222

223
function install_lxqt_desktop_env() {
224
  # LXQt デスクトップ環境の導入
225
  sudo DEBIAN_FRONTEND=noninteractive \
226
    apt install --assume-yes lxqt dbus-x11
227
  # LXQt デスクトップ環境をデフォルトへ設定
228
  echo "exec startlxqt" > /etc/chrome-remote-desktop-session
229
  # Chrome ブラウザをインストール
230
  curl -L -o google-chrome-stable_current_amd64.deb \
231
    https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb
232
  sudo apt install --assume-yes --fix-broken ./google-chrome-stable_current_amd64.deb
233
  # Color Manager を停止
234
  sudo systemctl stop colord 2>/dev/null
235
  sudo systemctl disable colord 2>/dev/null
236
  echo "[INFO] Setup for LXQt (X Windows System Desktop Environment) completed successfully."
237
}
238

239
function install_desktop_env_with_lxqt() {
240
  install_chrome_remote_desktop
241
  install_lxqt_desktop_env
242
}
243

244
function download_and_install { # args URL FILENAME
245
  if [[ -e "$2" ]] ; then
246
    echo "cannot download $1 to $2 - file exists"
247
    return 1;
248
  fi
249
  curl -L -o "$2" "$1" && \
250
    apt-get install --assume-yes --fix-broken "$2" && \
251
    rm "$2"
252
}
253

254
function is_installed {  # args PACKAGE_NAME
255
  dpkg-query --list "$1" | grep -q "^ii" 2>/dev/null
256
  return $?
257
}
258

259
function install_japanese_locale() {
260
  # install japanese locale
261
  sudo apt -y install locales
262
  sudo localectl set-locale LANG=ja_JP.UTF-8 LANGUAGE="ja_JP:ja"
263
  source /etc/default/locale
264
  echo $LANG
265

266
  # install japanese locale for desktop
267
  sudo apt -y install task-japanese-desktop
268
}
269

270
function setup_japanese_timezone() {
271
  sudo chmod 777 /etc/timezone
272
  sudo rm /etc/localtime
273
  echo Asia/Tokyo > /etc/timezone
274
  sudo chmod 644 /etc/timezone
275
  sudo dpkg-reconfigure -f noninteractive tzdata
276
}
277

278
function install_japanese_input_method() {
279
  # install input methods
280
  sudo apt update
281
  sudo apt install fcitx5-mozc -y
282

283
  touch ~/.profile
284
  inserting=$(cat <<EOF
285
while true; do
286
  dbus-update-activation-environment --systemd DBUS_SESSION_BUS_ADDRESS DISPLAY XAUTHORITY 2> /dev/null && break
287
done
288

289
export GTK_IM_MODULE=fcitx
290
export QT_IM_MODULE=fcitx
291
export XMODIFIERS="@im=fcitx"
292
if [ $SHLVL = 1 ] ; then
293
  (fcitx5 --disable=wayland -d --verbose '*'=0 &)
294
  xset -r 49  > /dev/null 2>&1
295
fi
296
EOF
297
  )
298
  echo $inserting >> ~/.profile
299

300
  im-config -n fcitx5
301
}
302

303
function setup_dev_resources() {
304
  # Setup development resources
305
  # local home_dir="$DEV_HOME"
306
  sudo apt update
307
  sudo apt install git -y
308
}
309

310
function setup_vscode() {
311
  # Install VSCode
312
  wget -qO- https://packages.microsoft.com/keys/microsoft.asc | gpg --dearmor > packages.microsoft.gpg
313
  sudo install -D -o root -g root -m 644 packages.microsoft.gpg /etc/apt/keyrings/packages.microsoft.gpg
314
  sudo sh -c 'echo "deb [arch=amd64,arm64,armhf signed-by=/etc/apt/keyrings/packages.microsoft.gpg] https://packages.microsoft.com/repos/code stable main" > /etc/apt/sources.list.d/vscode.list'
315
  rm -f packages.microsoft.gpg
316
  sudo apt install apt-transport-https
317
  sudo apt update
318
  sudo apt install code
319
}
320

321
# Configure the following environmental variables as required:
322
INSTALL_XFCE=yes
323
INSTALL_CINNAMON=yes
324
INSTALL_CHROME=yes
325
INSTALL_FULL_DESKTOP=yes
326

327
# Any additional packages that should be installed on startup can be added here
328
EXTRA_PACKAGES="less bzip2 zip unzip tasksel wget"
329

330
set_env_var_from_custom_metadata VSC_PROFILE_URL
331
set_env_var_from_custom_metadata DISCORD_WEBHOOK_URL
332
set_env_var_from_custom_metadata GCE_ICON_URL
333
send_discord_notification "VMのカスタムメタデータを環境変数に反映したよ！"
334

335
send_discord_notification "VMのスタートアップスクリプトを実行するよ！"
336

337
apt-get update
338

339
# Install X Windows desktop system
340
if ! is_installed chrome-remote-desktop; then
341
  # install_desktop_env_with_xfce
342
  install_desktop_env_with_lxqt
343
fi
344

345
# install_desktop_env_with_xfce
346
# install_desktop_env_with_lxqt
347
send_discord_notification "VMのデスクトップ環境の設定が完了したよ！"
348

349
# [[ "$INSTALL_CHROME" = "yes" ]] && ! is_installed google-chrome-stable && \
350
#   download_and_install \
351
#     https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb \
352
#     /tmp/google-chrome-stable_current_amd64.deb
353

354
echo "[INFO] Chrome remote desktop installation completed"
355
send_discord_notification "VMのChromeリモデの設定が完了したよ！"
356

357
install_japanese_locale
358
echo "[INFO] Install japanese locale completed"
359
send_discord_notification "VMのロケールの設定が完了したよ！"
360

361
setup_japanese_timezone
362
echo "[INFO] Setup timezone completed"
363
send_discord_notification "VMのタイムゾーンの設定が完了したよ！"
364

365
install_japanese_input_method
366
echo "[INFO] Pre-installation of japanese input methods completed"
367
send_discord_notification "VMのIMEの設定が完了したよ！"
368

369
setup_dev_resources
370
echo "[INFO] Setup development resources completed"
371
send_discord_notification "VMの開発リソースの設定が完了したよ！"
372

373
setup_vscode
374
echo "[INFO] Setup for VSCode completed"
375
send_discord_notification "VMのVSCodeの設定が完了したよ！"
376
send_discord_notification_about_gce "終わった！" "VMのスタートアップスクリプトが完了したよ！" "green"

展開する折りたたむ

まだ、細かいところが整備途中ですが、これでLXQtデスクトップ環境が立ち上がります。スタートアップスクリプトの実行が完了すると、自分のDiscordチャンネルにWebhookを介して通知が飛ぶようにもなっています。

2. メタデータを設定する。#

そのDiscordのWebhookのURLを設定するために、VMのメタデータを設定する必要があります。

VMのメタデータを設定したい場合は、YAMLファイルを作成し、create_gce_instance_and_configure関数の第4引数として指定できます。

Terminal window

1
create_gce_instance_and_configure instance-test us-central1-a e2-medium /path/to/custom-metadata.yml

3. Chrome Remote Desktopを設定する。#

connect_gce_instance関数は、SSH接続時にChrome Remote Desktopの設定を促すメッセージを表示します。これを利用して、GUIが必要な作業も行えるようになります。

Terminal window

1
echo "[INFO] **Notice**: Setup Chrome Remote Desktop on your ssh connection and [Remote Desktop Service](<https://remotedesktop.google.com/headless>) if you want."

4. リモデで接続した後。#

リモデしてVM内のデスクトップから実行しないと設定できない事柄があったりもします。例えば、日本語キーボード配列に変更することです。

Terminal window

1
function update_japanese_input_method() {
2
  # Set keyboard layout
3
  setxkbmap -model jp109a -layout jp
4

5
  fcitx5 &
6
  fcitx5-configtool
7
}

トラブルシューティング#

1. SSH接続ができない場合。#

IAPを使用したSSH接続ができない場合は、以下を確認してください。

ファイアウォールルールが正しく設定されているか。
インスタンスが実行中であるか。
適切なIAM権限が付与されているか。

2. 権限エラーが発生する場合。#

必要なIAM権限が付与されているか確認してください。最低限、以下の権限が必要です。

compute.instances.create
compute.instances.get
compute.instances.list
compute.zones.get
compute.routers.create
compute.routers.update
compute.networks.updatePolicy

3. クォータ制限に達した場合#

GCPプロジェクトには、リージョンごとにVMインスタンスの数やCPUコアの数などのクォータ制限があります。クォータ制限に達した場合は、Google Cloudのコンソールからクォータの引き上げをリクエストしてください。

まとめ#

今回は、Google Compute Engine上にSSH接続できるDebian VMを簡単に構築するためのシェル関数を作成しました。この関数を使えば、コマンド一つでVMを作成し、SSH上でChromeリモートデスクトップのPINコードを作成すれば、すぐにSSH接続することができます。

以下の処理を紹介しました。

GCEインスタンスを立ち上げる。
メタデータを設定する。
スタートアップスクリプトを配置する。
ルーターを設定する。
NATを設定する。
ファイアウォールルールを設定する。
SSH 秘密鍵を設定して、GCEインスタンス内にコピーする。
GCEインスタンスにSSH接続する。

開発環境やテスト環境の素早い構築に役立つだけでなく、このシェル関数をベースにして、より複雑な環境構築のための関数を作成することもできます。例えば、特定のソフトウェアが自動的にインストールされるVMや、特定の設定が適用されたVMなど、用途に応じてカスタマイズしてみてください。

おしまい#

リサちゃん

よーし、Enterキーで立ち上がるぞぉ

135ml

すぐにDebianを立ち上げられます。

以上になります！

【Notion API】100個以上のブロックをページに追加するためのPythonスクリプト

Thu, 27 Mar 2025 00:00:00 GMT

はじまり#

リサちゃん

あー、入れたいブロックが多過ぎる・・・

135ml

ちゃんとチャンクを分けよう。

Notion APIのブロック数制限とは？#

Notion APIを使ってページにブロックを追加する際、一度のリクエストで追加できるブロック数は最大100個に制限されています。この制限を超えるとエラーが発生してしまいます。

例えば、マークダウンから変換した200個のブロックを一度に追加しようとすると・・・、

1
# これはエラーになる例
2
response = notion.blocks.children.append(
3
    block_id=page_id,
4
    children=blocks_list  # 200個のブロックが含まれている
5
)

このコードを実行すると、以下のようなエラーが返されます。

1
Error: Request failed with status code 400
2
{"object":"error","status":400,"code":"validation_error","message":"children exceeds maximum size of 100 items"}

解決策：複数のリクエストに分割する#

この制限を突破するには、ブロックを100個以下のグループに分割して、複数のリクエストに分けて送信する必要があります。

ポイントは以下の2つです。

最初のリクエストでページを作成し、その後のリクエストでブロックを追加していく。
2回目以降のリクエストでは、前回追加したブロックの後に新しいブロックを追加する。

実装例：100個以上のブロックを追加するPythonスクリプト#

それでは、具体的な実装例を見ていきましょう。以下のコードは、Notion APIを使って100個以上のブロックをページに追加するためのPythonスクリプトです。

ちなみにこのコードは、実際に僕が書いた100個以上のブロックを追加する処理をAIに読ませて、AIに作ってもらったものです。（AIモデルはClaud 3.7 Sonnetです。3.5でも試したんですけど、そっちはCline上で僕のスクリプトを読んでくれず、さらにちゃんと実装できていませんでした。リクエストの回数が足りていなかったりしました。）

1
import json
2
import requests
3
from typing import Union
4

5
class NotionAPI:
6
    def __init__(self, token):
7
        self.token = token
8
        self.headers = {
9
            "Authorization": f"Bearer {token}",
10
            "Content-Type": "application/json",
11
            "Notion-Version": "2022-06-28"
12
        }
13
        self.base_url = "<https://api.notion.com/v1>"
14

15
    def fetch_notion(self, endpoint: str, method: str, payload: dict) -> requests.Response:
16
        """Notionへのリクエストを実行する関数"""
17
        url = f"{self.base_url}{endpoint}"
18

19
        if method == "GET":
20
            response = requests.request(
21
                method=method,
22
                url=url,
23
                headers=self.headers,
24
                timeout=60
25
            )
26
        else:
27
            response = requests.request(
28
                method=method,
29
                url=url,
30
                headers=self.headers,
31
                data=json.dumps(payload),
32
                timeout=60
33
            )
34

35
        return response
36

37
    def get_endpoint_to_retrieve_block_children(self, block_id: str) -> str:
38
        """ブロックの子要素を取得するためのエンドポイントを生成する関数"""
39
        return f"/blocks/{block_id}/children"
40

41
def add_blocks_over_threshold(notion_api: NotionAPI, blocks: list, page_id: str = None,
42
                             database_id: str = None, properties: dict = None,
43
                             threshold: int = 100) -> str:
44
    """
45
    100個以上のブロックをNotionページに追加する関数
46

47
    Args:
48
        notion_api: NotionAPIのインスタンス
49
        blocks: 追加するブロックのリスト
50
        page_id: 既存のページIDがある場合に指定
51
        database_id: 新規ページを作成する場合のデータベースID
52
        properties: 新規ページを作成する場合のプロパティ
53
        threshold: 一度に追加するブロックの最大数（デフォルト: 100）
54

55
    Returns:
56
        str: 作成または更新されたページのID
57
    """
58
    if not blocks:
59
        raise ValueError("ブロックリストが空です")
60

61
    # ブロックを閾値（デフォルト100個）ごとに分割
62
    block_chunks = [blocks[i:i + threshold] for i in range(0, len(blocks), threshold)]
63
    print(f"ブロックを{len(block_chunks)}つのチャンクに分割しました")
64

65
    # 最初のチャンク処理
66
    if page_id is None:
67
        # 新規ページ作成
68
        if database_id is None or properties is None:
69
            raise ValueError("新規ページ作成には database_id と properties が必要です")
70

71
        payload = {
72
            "parent": {"database_id": database_id},
73
            "properties": properties,
74
            "children": block_chunks[0]
75
        }
76

77
        response = notion_api.fetch_notion("/pages", "POST", payload)
78

79
        if not response.ok:
80
            print(f"エラー: {response.status_code} - {response.text}")
81
            return None
82

83
        response_data = response.json()
84
        page_id = response_data["id"]
85
        print(f"新規ページを作成しました: {page_id}")
86
    else:
87
        # 既存ページにブロックを追加
88
        endpoint = notion_api.get_endpoint_to_retrieve_block_children(page_id)
89
        payload = {"children": block_chunks[0]}
90

91
        response = notion_api.fetch_notion(endpoint, "PATCH", payload)
92

93
        if not response.ok:
94
            print(f"エラー: {response.status_code} - {response.text}")
95
            return None
96

97
        print(f"最初のブロックチャンクを追加しました")
98

99
    # 残りのチャンクを処理
100
    if len(block_chunks) > 1:
101
        for i, chunk in enumerate(block_chunks[1:], 1):
102
            # 最後に追加されたブロックのIDを取得
103
            endpoint = notion_api.get_endpoint_to_retrieve_block_children(page_id)
104
            response = notion_api.fetch_notion(endpoint, "GET", {})
105

106
            if not response.ok:
107
                print(f"エラー: {response.status_code} - {response.text}")
108
                continue
109

110
            response_data = response.json()
111
            results = response_data.get("results", [])
112

113
            if not results:
114
                print("前回追加したブロックが見つかりません")
115
                continue
116

117
            # 最後のブロックIDを取得
118
            last_block_id = results[-1]["id"]
119

120
            # 次のチャンクを追加（前回追加したブロックの後に追加）
121
            endpoint = notion_api.get_endpoint_to_retrieve_block_children(page_id)
122
            payload = {
123
                "children": chunk,
124
                "after": last_block_id
125
            }
126

127
            response = notion_api.fetch_notion(endpoint, "PATCH", payload)
128

129
            if not response.ok:
130
                print(f"エラー: {response.status_code} - {response.text}")
131
                continue
132

133
            print(f"ブロックチャンク {i+1}/{len(block_chunks)} を追加しました")
134

135
    return page_id
136

137
# 使用例
138
if __name__ == "__main__":
139
    # FIXME: Notion APIトークン
140
    token = "your_notion_api_token"
141
    notion_api = NotionAPI(token)
142

143
    # FIXME: データベースID
144
    database_id = "your_database_id"
145

146
    # FIXME: ページプロパティ: プロパティ名は各自編集してください。
147
    properties = {
148
        "Name": {
149
            "title": [
150
                {
151
                    "text": {
152
                        "content": "100個以上のブロックを持つページ"
153
                    }
154
                }
155
            ]
156
        },
157
        "タグ": {
158
            "select": {
159
                "name": "テスト"
160
            }
161
        }
162
    }
163

164
    # 追加するブロック（例として200個のパラグラフブロック）
165
    blocks = []
166
    for i in range(200):
167
        blocks.append({
168
            "object": "block",
169
            "type": "paragraph",
170
            "paragraph": {
171
                "rich_text": [
172
                    {
173
                        "type": "text",
174
                        "text": {
175
                            "content": f"これはテスト用のパラグラフ {i+1} です。"
176
                        }
177
                    }
178
                ]
179
            }
180
        })
181

182
    # 実行
183
    page_id = add_blocks_over_threshold(
184
        notion_api=notion_api,
185
        blocks=blocks,
186
        database_id=database_id,
187
        properties=properties
188
    )
189

190
    if page_id:
191
        print(f"すべてのブロックが正常に追加されました。ページID: {page_id}")
192
    else:
193
        print("ブロックの追加に失敗しました。")

展開する折りたたむ

こんなの書けちゃうんだなあ・・・。APIとのやり取りは苦手だと思ってたんですけど。

上記のスクリプトを動かすと、ターミナル上で以下のように出力されます。

1
ブロックを2つのチャンクに分割しました
2
新規ページを作成しました: xxxxxxxx-yyyy-81fb-zzzz-123456a87890
3
ブロックチャンク 2/2 を追加しました
4
すべてのブロックが正常に追加されました。ページID: xxxxxxxx-yyyy-81fb-zzzz-123456a87890

追加されたページはこんな感じでした。ちゃんと100個以上の新規ブロックがNotionのページに反映されています。（まあ、パラグラフブロックしか追加していませんが。）

実装のポイント解説#

このスクリプトの重要なポイントを詳しく解説します。

1. ブロックの分割#

まず、追加するブロックのリストを100個（または指定した閾値）ごとに分割します。これにより、Notion APIの制限を回避できます。

1
# ブロックを閾値（デフォルト100個）ごとに分割
2
block_chunks = [blocks[i:i + threshold] for i in range(0, len(blocks), threshold)]

2. 最初のチャンクの処理#

最初のチャンクは、新規ページを作成するか、既存のページにブロックを追加するかで処理が異なります。

1
# 新規ページ作成の場合
2
payload = {
3
    "parent": {"database_id": database_id},
4
    "properties": properties,
5
    "children": block_chunks[0]
6
}
7
response = notion_api.fetch_notion("/pages", "POST", payload)
8

9
# 既存ページにブロックを追加する場合
10
endpoint = notion_api.get_endpoint_to_retrieve_block_children(page_id)
11
payload = {"children": block_chunks[0]}
12
response = notion_api.fetch_notion(endpoint, "PATCH", payload)

3. 残りのチャンクの処理#

2回目以降のチャンクを追加する際は、前回追加したブロックの後に追加するために、afterパラメータを使用します。

1
# 最後に追加されたブロックのIDを取得
2
endpoint = notion_api.get_endpoint_to_retrieve_block_children(page_id)
3
response = notion_api.fetch_notion(endpoint, "GET", {})
4
response_data = response.json()
5
last_block_id = response_data.get("results", [])[-1]["id"]
6

7
# 次のチャンクを追加（前回追加したブロックの後に追加）
8
payload = {
9
    "children": chunk,
10
    "after": last_block_id
11
}
12
response = notion_api.fetch_notion(endpoint, "PATCH", payload)

このafterパラメータが重要で、これにより前回追加したブロックの直後に新しいブロックを追加できます。

実際のプロジェクトでの応用例#

実際のプロジェクトでは、より複雑な処理が必要になることがあります。例えば、別のプロジェクトでは以下のような実装が行われています。

ちなみに以下のコードは僕が書いたもので、繰り返しているのでコードの長さは短くはなっていますが、AIが実装したコードは繰り返していないので長めになっていました。しかし、AIが作ったコードの方が見やすかったりするかもしれない。

1
def fetch_notion_to_insert_task_page_over_threshold_of_block(self, payloads: list[dict], category_for_content: str) -> tuple[Union[str, None], bool, bool, str]:
2
    """複数のペイロードを使用してNotionページを作成・更新する関数"""
3
    # 入力検証（省略）
4

5
    is_duplicated = False
6
    is_updated = False
7
    inserted_page_url = None
8

9
    npg = NotionDailyPropertyGenerator()
10
    notion_product_url = notion_cfg.NOTION_PRODUCT_URL
11
    notion_db_id = notion_cfg.DB_ID_OF_TASKS
12
    notion_view_id = notion_cfg.VIEW_ID_MY_TASKS_POWERING_BOARD
13

14
    nc = NotifyingCategory()
15
    na = NotionAPI()
16
    category_for_content_modified = nc.CONTENT_FOR_NOTHING
17
    page_id = ""
18
    block_id = ""
19
    response = ""
20
    method = "POST"
21

22
    for i, payload in enumerate(payloads):
23
        print(f"Processing payload {i + 1}/{len(payloads)}")
24
        if i == 0:
25
            # 最初のペイロードは新規ページ作成
26
            endpoint = notion_cfg.ENDPOINT_OF_NOTION_API_PAGES
27
        else:
28
            # 2回目以降は既存ページにブロックを追加
29
            method = "PATCH"
30
            endpoint = notion_cfg.ENDPOINT_OF_NOTION_API_BLOCKS
31
            endpoint = na.get_endpoint_to_retrieve_block_children(page_id, endpoint)
32
            payload = {
33
                "children": payload["children"],
34
                "after": block_id
35
            }
36

37
        response = na.fetch_notion(endpoint, method, payload)
38

39
        if response.ok:
40
            # 成功時の処理（省略）
41
            if i == 0:
42
                # 最初のペイロード成功時、ページIDを取得
43
                page_id = npg.get_inserted_notion_page_id_from_response(response)
44
                category_for_content_modified = category_for_content
45
                is_updated = True
46
            else:
47
                # 2回目以降のペイロード成功時、最後のブロックIDを取得
48
                block_id = npg.get_inserted_notion_last_block_id_from_response(response)
49
                block_id = npg.reform_block_id_for_requesting(block_id)
50
                continue
51

52
            # 最後に追加されたブロックのIDを取得
53
            endpoint = notion_cfg.ENDPOINT_OF_NOTION_API_BLOCKS
54
            endpoint = na.get_endpoint_to_retrieve_block_children(page_id, endpoint)
55
            response = na.fetch_notion(endpoint, "GET", payload)
56

57
            if response.ok:
58
                block_id = npg.get_inserted_notion_last_block_id_from_response(response)
59
            else:
60
                print(f"Error: with HTTP status code: {response.status_code} - {response.text}")
61
        else:
62
            print(f"Error: with HTTP status code: {response.status_code} - {response.text}")
63
            inserted_page_url = None
64

65
    return inserted_page_url, is_duplicated, is_updated, category_for_content_modified

展開する折りたたむ

このコードは、複数のペイロードを順番に処理し、100個以上のブロックを持つページを作成します。

注意点とベストプラクティス#

Notion APIで大量のブロックを追加する際の注意点とノウハウ的なものをいくつか紹介します。

エラーハンドリングを適切に行う APIリクエストが失敗した場合に適切に対応できるよう、エラーハンドリングを実装しましょう。
レート制限に注意する Notion APIにはレート制限があります。短時間に大量のリクエストを送ると制限にかかる可能性があるため、必要に応じて遅延を入れましょう。
ブロック数を事前に確認する 追加するブロック数が閾値を超える場合のみ分割処理を行うようにすると、効率的です。
ネストされたブロックに注意する 見出しの中に子ブロックがネストされている場合、それらも合計ブロック数にカウントされます。
PATCHでリクエストする時のボディに注意する PATCHメソッドでリクエストする際に、リクエストボディにプロパティが不要な場合もあります。

まとめ#

Notion APIには一度に追加できるブロック数に100個という制限がありますが、適切な実装によってこの制限を回避し、100個以上のブロックを持つページを作成することができます。

ポイントは以下の通りです。

ブロックを100個以下のチャンクに分割する。
最初のチャンクでページを作成し、残りのチャンクは既存ページに追加する。
2回目以降のチャンクを追加する際は、afterパラメータを使用して前回追加したブロックの後に追加する。

この方法を使えば、Markdownから変換した大量のブロックや、プログラムで生成した複雑なページ構造も、Notion APIを使って簡単に作成できます。

おしまい#

リサちゃん

そうだよ、これが欲しかったんだよ

135ml

ちゃんとチャンクを分けよう。

以上になります！

【Document AI】確定申告のために為替差益の計算に必要なデータを抽出する

Wed, 26 Mar 2025 00:00:00 GMT

はじまり#

135ml

今年もアレの季節だな・・・

リサちゃん

アレだね

135ml

しかも昨年はアレをしたからな・・・

リサちゃん

アレをしたね

為替差益の計算を自動化したい#

昨年、円安前から貯め続けていた外貨を円に換えてしまいました・・・。

確定申告の際、為替取引による利益（為替差益）を計算する必要がありますが、取引履歴のPDFから必要なデータを手作業で抽出するのは時間がかかり、ミスも起こりやすいものです。

そこで今回は、Google Cloud の Document AI を使って、PDFからOCRで自動的にデータを抽出し、為替差益を計算する方法を紹介します。

Document AIとは？#

Document AIは、GoogleのCloud AI/MLサービスの1つで、PDFや画像から構造化されたデータを抽出できるサービスです。一般的なOCRとは異なり、以下のような特徴があります:

高度なデータ抽出
- 単なるテキスト認識だけでなく、表形式データの認識が可能
- フォームからの特定フィールドの抽出
- 請求書、領収書、契約書などの定型文書の処理
カスタマイズ可能
- カスタムプロセッサによる特定データの抽出
- 独自のトレーニングデータによる精度向上
- 多言語対応
実用的な機能
- 自動レイアウト分析
- エンティティ抽出
- テーブル構造の認識

Document AIは以下のような場面で特に威力を発揮します:

請求書処理の自動化
契約書からの重要情報抽出
金融取引データの分析
医療記録のデジタル化

今回は、この強力なツールを使って確定申告のための為替取引データ抽出を自動化してみましょう。

実装手順#

以下の流れで、為替差益の計算まで完了させたいと思います。

各証券口座から取引履歴PDFを収集する。
取引履歴PDFの前処理をする。
Document AIをセットアップする。
カスタムプロセッサの作成およびカスタムプロセッサに学習させる。
Pythonでカスタムプロセッサを使う機能を実装する。
為替差益を計算する。（今回は総平均法を使います。）

各証券口座から取引履歴PDFを収集する。#

まず、為替差益が発生した各証券口座から、その為替取引に関わる取引履歴を扱ったPDF文書を収集します。

これは各証券口座にログインして口座管理画面などからアクセスして集められるので操作としては単純ですが・・・。

何せ収集量が多い。

僕が昨年に発生させた為替差益は1箇所の証券口座のみでしたが、それでも4年分の外国証券の取引履歴、配当金に関する書類などを集める必要があったので、この作業だけでも2時間ぐらい掛かりました・・・。

取引履歴PDFの前処理をする。#

そしたら、PDFから必要なデータを抽出しやすくするための前処理を行います。

PDFの表示縮尺を調整してスクリーンショットを撮影する。
個人情報を省くためにトリミングする。

スクショのトリミングには、以前にPowerShellで実装したものを使います。実装した時の記事は以下にありますのでご参考程度に。

【PowerShell、HTML】画像の不要な部分を数値化して、その座標でトリミングする

HTMLとJavaScriptとPowerShellで画像を一気にトリミングする記事です。OutOfMemoryExceptionとExternalExceptionをWrite-Errorでやり過ごしたりします。

Document AI Workbench | Google Cloud

PowerShellにおけるトリミングの処理とは、簡潔に書くとざっと以下のようなイメージです。

Terminal window展開する折りたたむ

1
# PowerShellでトリミング処理を自動化
2
function Trim-Image {
3
  param(
4
    [string]$inputPath,
5
    [string]$outputPath,
6
    [int]$x,
7
    [int]$y,
8
    [int]$width,
9
    [int]$height
10
  )
11

12
  Add-Type -AssemblyName System.Drawing
13
  $image = [System.Drawing.Image]::FromFile($inputPath)
14
  $bitmap = New-Object System.Drawing.Bitmap($width, $height)
15
  $graphics = [System.Drawing.Graphics]::FromImage($bitmap)
16

17
  $graphics.DrawImage($image,
18
    (New-Object System.Drawing.Rectangle(0, 0, $width, $height)),
19
    (New-Object System.Drawing.Rectangle($x, $y, $width, $height)),
20
    [System.Drawing.GraphicsUnit]::Pixel)
21

22
  $bitmap.Save($outputPath)
23
  $graphics.Dispose()
24
  $bitmap.Dispose()
25
  $image.Dispose()
26
}

展開する折りたたむ

そんな感じの処理を実行して、以下のようなPNG画像を何枚か作ります。以下はDocument AIを使っている時のスクショです。

Document AIのセットアップと学習#

まず、Google Cloud Consoleで新しいプロジェクトを作成し、Document AI APIを有効化します。

Terminal window

1
# Google Cloud CLIでプロジェクトを設定
2
gcloud config set project your-project-id
3

4
# Document AI APIを有効化
5
gcloud services enable documentai.googleapis.com

以下の流れでDocument AIでカスタムプロセッサを作成していきます。各手順の詳細は後ほど記載していきます。

カスタムプロセッサを作成する。
トレーニングを開始します。ラベリングをしてスキーマを定義します。
「ビルド」＞「基盤モデルを呼び出す」を選択して、トレーニングさせるベースモデルを選びます。
「新しいバージョンを作成」で、学習させたモデルにバージョン名を設定してビルドする。
ビルド完了後、そのモデルをデプロイしてデフォルトのバージョンに設定する。

以下、Document AIをWebコンソール上で利用した際に感じた留意点です。

Document AIのUXは少し分かりづらいです
デプロイ状態の確認が不明確な場合があります
「1個のバージョンをデプロイしています。」というメッセージが表示されても、実際には使用可能な状態かもしれません

カスタムプロセッサを作成する。#

Document AI Workbenchに移動して、カスタムプロセッサを作成します。

Google Cloud

Document AI ワークベンチを使用すると、請求書の処理、フォームの処理、本人確認などのドキュメントワークフロー向けに ML モデルのトレーニングとアップトレーニングを行うことができます。

cloud.google.com

以下の項目をDocument AI上で入力します。

プロセッサ名：「test_extractor」
目的：取引履歴からの自動データ抽出

トレーニングを開始。ラベリングをする。#

そしたら早速トレーニングを開始します。

以下のようコンソール内のGUI上で、PNG画像の中でOCRさせたい箇所を選んでラベリングして、スキーマを定義していきます。

証券銘柄のシンボルは、学習元のAIが自動的にラベリングしてくれました。元々の能力が高いですね。

一旦これで1枚目のラベリングは完了しました。

2枚目からはラベリングした情報を元に、モデルが自動的にラベリングしてくれるようになります。その自動ラベリング結果を承認するかどうかはユーザ次第。

しかしながら、殆ど当たっていますね。これは少ない学習量で済みそう。5枚も要らなさそう。

「ビルド」＞「基盤モデルを呼び出す」#

ラベリングが終わったら、次に学習させるAIモデルを選んでいきます。

AIモデルは「基盤モデルを呼び出す」、「ファインチューニング」、「カスタムモデルのトレーニング」から選べますが、今回のような比較的単純なドキュメントを読み取る場合は、「基盤モデルを呼び出す」を選択すれば、トレーニングに必要なデータセットが少なく済みます。

今回は、「基盤を呼び出す」で作っていきます。

「新しいバージョンを作成」で学習させたモデルにバージョン名を設定してビルドする。#

適当にバージョン名を付けて、先ほどラベリングしたデータを選択したAIモデルに学習させて、そのモデルをビルドします。

学習させたモデルをデプロイする。#

ビルドが終わったら、「テストと評価」の項目に移ります。

しかし、「テストと評価」の作業を行うためには、その前に「デプロイと使用」を行わなければならないようです。（なんで工程の順番が逆なの？）

それでは、「デプロイと使用」で先ほどビルドしたバージョンを選択してデプロイします。バージョンを選択したらデプロイすることが出来ます。

デプロイが始まりました・・・。画面下の方に「1個のバージョンをデプロイしています。」といったメッセージが表示されて、何十分経っても表示されたままでしたが、とりあえずそのトレーニングさせたバージョンをデフォルトに設定して、実際にローカルから使っていきました。

これで、Document AI内での作業は完了です。

Pythonでの実装#

次に、先ほど作成したカスタムプロセッサを使って、ローカルに置いてある資料をOCRさせていきます。今回はPythonとColab Notebookを使いました。

GitHubにて公開されていたGoogle公式サンプルコードを参考に実装します:

1
# [START documentai_process_document]
2
from typing import Optional
3

4
from google.api_core.client_options import ClientOptions
5
from google.cloud import documentai  # type: ignore
6

7
# TODO(developer): Uncomment these variables before running the sample.
8
# project_id = "YOUR_PROJECT_ID"
9
# location = "YOUR_PROCESSOR_LOCATION" # Format is "us" or "eu"
10
# processor_id = "YOUR_PROCESSOR_ID" # Create processor before running sample
11
# file_path = "/path/to/local/pdf"
12
# mime_type = "application/pdf" # Refer to <https://cloud.google.com/document-ai/docs/file-types> for supported file types
13
# field_mask = "text,entities,pages.pageNumber"  # Optional. The fields to return in the Document object.
14
# processor_version_id = "YOUR_PROCESSOR_VERSION_ID" # Optional. Processor version to use
15

16
def process_document_sample(
17
    project_id: str,
18
    location: str,
19
    processor_id: str,
20
    file_path: str,
21
    mime_type: str,
22
    field_mask: Optional[str] = None,
23
    processor_version_id: Optional[str] = None,
24
) -> None:
25
    # You must set the `api_endpoint` if you use a location other than "us".
26
    opts = ClientOptions(api_endpoint=f"{location}-documentai.googleapis.com")
27

28
    client = documentai.DocumentProcessorServiceClient(client_options=opts)
29

30
    if processor_version_id:
31
        # The full resource name of the processor version, e.g.:
32
        # `projects/{project_id}/locations/{location}/processors/{processor_id}/processorVersions/{processor_version_id}`
33
        name = client.processor_version_path(
34
            project_id, location, processor_id, processor_version_id
35
        )
36
    else:
37
        # The full resource name of the processor, e.g.:
38
        # `projects/{project_id}/locations/{location}/processors/{processor_id}`
39
        name = client.processor_path(project_id, location, processor_id)
40

41
    # Read the file into memory
42
    with open(file_path, "rb") as image:
43
        image_content = image.read()
44

45
    # Load binary data
46
    raw_document = documentai.RawDocument(content=image_content, mime_type=mime_type)
47

48
    # For more information: <https://cloud.google.com/document-ai/docs/reference/rest/v1/ProcessOptions>
49
    # Optional: Additional configurations for processing.
50
    process_options = documentai.ProcessOptions(
51
        # Process only specific pages
52
        individual_page_selector=documentai.ProcessOptions.IndividualPageSelector(
53
            pages=[1]
54
        )
55
    )
56

57
    # Configure the process request
58
    request = documentai.ProcessRequest(
59
        name=name,
60
        raw_document=raw_document,
61
        field_mask=field_mask,
62
        process_options=process_options,
63
    )
64

65
    result = client.process_document(request=request)
66

67
    # For a full list of `Document` object attributes, reference this page:
68
    # <https://cloud.google.com/document-ai/docs/reference/rest/v1/Document>
69
    document = result.document
70

71
    # Read the text recognition output from the processor
72
    print("The document contains the following text:")
73
    print(document.text)
74

75
# [END documentai_process_document]
76

77
process_document_sample(
78
    project_id="000000000000",
79
    location="us",
80
    processor_id="xxxxxxxxxxxxxx ",
81
    file_path = "/content/drive/MyDrive/TemporarySave/ImagesForAgentWorking/スクリーンショット 2025-03-14 072159.png",
82
    mime_type="image/png",
83
)

展開する折りたたむ

Colab Notebook上で、Python実行前に必要かもしれない処理。

Terminal window

1
!gcloud auth application-default login
2

3
!gcloud auth application-default set-quota-project [project-id]
4

5
!pip install --upgrade google-genai
6

7
!pip install google-cloud-documentai==3.0.1

以下のように、Googleドライブに資料を格納して、Colab Notebookにドライブをマウントします。

1
The document contains the following text:
2
Document Al / プロセッサ / プロセッサ: xxxxxxxxxxxxxx / 始める
3
←
4
!i!
5
=フィルタ
6
テキストを入力して結果を
7
絞り込む
8
+ 新しいフィールドを作成
9
dvidend
10
3,946
11
rate_less
12
149.4900
13
rate_more
14
150.2600
15
ラベル付きとしてマーク
16
I>
17
52
18
Q
19
(国内源泉徴収税の明細)
20
配当金等支払日
21
国内支払日
22
現地基準日
23
銘柄コード
24
銘
25
柄名
26
2024/02/15
27
2024/02/16
28
2024/02/12
29
304-AAPL
30
アップル
31
分配通貨
32
外国源泉税率(%)
33
1単位あたり金額
34
決済方法
35
円貨決済用レート
36
口座区分
37
勘定設定年
38
備考
39
米国ドル
40
10.0
41
0.24
42
外貨決済
43
数量
44
配当金等金額
45
外国源泉
46
徴収税額
47
外国手数料
48
外国精算金額
49
国内源泉
50
徴収税額
51
国内手数料
52
消費税
53
受取金額
54
外貨
55
23.76
56
4.78
57
0.00
58
0.00
59
18.98
60
110
61
26.40
62
2.64
63
0.00
64
円貨
65
ラベル 「rate_more」を作成しました
66
X
67
申告レート基準日
68
為替レート基準日
69
申告レート
70
為替レート
71
配当金等金額(円)
72
外国源泉
73
徴収税額(円)
74
国内課税所得額(円)
75
所得税
76
地方税
77
国内源泉
78
徴収税額
79
2024/02/15
80
149.4900
81
外貨
82
3.61
83
1.17
84
4.78
85
2024/02/16
86
150.2600
87
3,946
88
394
89
3,552
90
円貨
91
543
92
177

展開する折りたたむ

取得できたデータをCSV形式などで出力して、スプレッドシート上に反映すれば、外国証券の売買履歴および配当金の授受履歴のデータが格納された、為替取引の計算シートの完成です！

これらのデータを元に計算すれば、為替差益による利益を確定申告書に入力することが出来ますね！

【参考】Document AI APIからのレスポンスの仕様#

Document AIでドキュメントを解析すると、ラベル付けした各項目は「エンティティ（entities）」として出力されます。（2025-03-26時点）つまり、データセットでラベル付けした部分の情報は、解析結果のJSONオブジェクト内のentities配列に格納されます。

エンティティの構造#

各エンティティには以下のような情報が含まれます：

type_（ラベルの種類） 例: 「請求書番号」「日付」「金額」など、あなたがラベル付けした名前が入ります。
mention_text（抽出されたテキスト） 実際に読み取った文字列がここに格納されます。
normalized_value（正規化された値） 日付や金額など、フォーマットが統一された値がある場合に利用できます。
confidence（信頼度） 解析結果の精度を表す数値です。
page_anchor ラベル付けしたテキストがどのページ、どの位置にあったかの情報です。

ラベル付け部分の値を取得する例（Python）#

以下は、解析済みのDocumentオブジェクトから各エンティティを取得し、ラベルとその値を表示するサンプルコードです。

1
from google.cloud import documentai_v1 as documentai
2

3
# 例として、既にDocument AIで処理されたdocumentオブジェクトがあるとする
4
document = client.process_document(request=request).document
5

6
# エンティティごとにループし、ラベルと抽出された値を出力
7
for entity in document.entities:
8
    print("ラベル:", entity.type_)
9
    print("抽出値:", entity.mention_text)
10
    # 正規化された値が存在する場合はそちらも利用可能
11
    if entity.normalized_value:
12
        print("正規化された値:", entity.normalized_value.text)
13
    print("信頼度:", entity.confidence)
14
    print("---")

このコードでは、document.entities に含まれる各エンティティから、ラベル（type_）、実際に読み取ったテキスト（mention_text）、および（存在すれば）正規化された値を取得しています。これにより、データセットでラベル付けした各部分の値をプログラム内で利用可能です。

カスタムプロセッサの場合#

もしカスタムラベルや独自のアノテーションを使用している場合は、各エンティティのtype_にカスタムで設定したラベル名が入るため、目的に合わせて条件分岐などで抽出することも可能です。

為替差益の計算方法#

今回は売却を任意の日で一括で行ったため、総平均法で計算しました。

売却を都度行っている場合は先入先出法の方がオトクかもしれませんね。

OCRに使ったコストと作業時間#

今回、カスタムプロセッサを作るために使ったAPIコストに関しては、80枚の画像処理で872円の料金が掛かりました。

まあまあ掛かった気がしますが、次回の為替差益の計算が楽になったので特に問題なく感じています。

まとめ#

今回はDocument AIを使って、確定申告のために必要なデータである為替差益に関する情報を、証券口座から受け取った書類からOCRして、スプレッドシートに一気に反映する方法を紹介しました。

以下が記事のまとめです。

Document AIでは、5枚以下の学習データで、証券取引の書類からデータを抽出出来るAIモデルを構築出来る。
Document AIでは、用途ごとにAIモデルを「基盤モデルを呼び出す」、「ファインチューニング」、「カスタムモデルのトレーニング」の中から選べる。
PythonからDocument AIのモデルから情報を取得する際には、document.entities に含まれる各エンティティから正規化された情報を取得出来る。
コストは80枚で872円ぐらい掛かった。

おしまい#

リサちゃん

結構漏れないな！

135ml

一つ大きな作業が減ったぞ。

以上になります！

今年食ったサバ缶のまとめ（2024年版）

Mon, 24 Mar 2025 00:00:00 GMT

はじまり#

リサちゃん

なんだコレ？

135ml

サバ缶だ。

今年食べた、サバ缶の一覧です。#

見ていきましょう。

1. AIKOCHAN_鰯_水煮（伊藤食品）#

2024/01/15に食べた伊藤食品製の「AIKOCHAN_鰯_水煮」です。魚は鰯で、水煮な風味と青の缶の色が特徴です。少し美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが未明で、EPAが未明でした。感想：腕立て伏せが30回しか出来なかったヤバい！

2. AIKOCHAN_鰯_水煮_食塩不使用（伊藤食品）#

2024/01/22に食べた伊藤食品製の「AIKOCHAN_鰯_水煮_食塩不使用」です。魚は鰯で、水煮な風味と水色の缶の色が特徴です。少し美味いで、缶は開けにくいです。オメガ3脂肪酸の含有量の目安としては、DHAが未明で、EPAが未明でした。感想：久しぶりのプログラミングは楽しい

3. AIKOCHAN_脂のり☆のりいわし_生姜☆パワー_醤油煮（伊藤食品）#

2024/02/02に食べた伊藤食品製の「AIKOCHAN_脂のり☆のりいわし_生姜☆パワー_醤油煮」です。魚は鰯で、醤油煮な風味と黄色の缶の色が特徴です。美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが未明で、EPAが未明でした。感想：徹夜明けにはコレが必要かもしれない

4. AIKOCHAN_鰯_醤油煮（伊藤食品）#

2024/02/06に食べた伊藤食品製の「AIKOCHAN_鰯_醤油煮」です。魚は鰯で、醤油煮な風味と赤の缶の色が特徴です。少し美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが未明で、EPAが未明でした。感想：今日食ったオリービオイルの賞味期限が8ヶ月前に切れてた不味かった…

5. AIKOCHAN_脂のり☆のりいわし_黒ごま☆パワー_味噌煮（伊藤食品）#

2024/02/13に食べた伊藤食品製の「AIKOCHAN_脂のり☆のりいわし_黒ごま☆パワー_味噌煮」です。魚は鰯で、味噌煮な風味と黒の缶の色が特徴です。美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが未明で、EPAが未明でした。感想：徹夜明けだからかは知らんがコレも結構美味いよ

6. マルハニチロ_さばみそ煮_ノルウェー産（マルハニチロ）#

2024/03/01に食べたマルハニチロ製の「マルハニチロ_さばみそ煮_ノルウェー産」です。魚は鯖で、味噌煮な風味と赤の缶の色が特徴です。少し美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが未明で、EPAが未明でした。感想：マイルドな味噌ですね

7. ニッスイ_SuiSuiオープン_さば水煮減塩（日本水産）#

2024/05/01に食べた日本水産製の「ニッスイ_SuiSuiオープン_さば水煮減塩」です。魚は鯖で、水煮な風味と白、青の缶の色が特徴です。少し美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが未明で、EPAが未明でした。感想：肉厚で、減塩テイストにしては美味い。

8. HOKO_日本のさんま味噌煮（宝幸）#

2024/05/05に食べた宝幸製の「HOKO_日本のさんま味噌煮」です。魚は秋刀魚で、味噌煮な風味と茶色、白の缶の色が特徴です。美味いで、缶は開けにくいです。オメガ3脂肪酸の含有量の目安としては、DHAが未明で、EPAが未明でした。感想：味噌煮というよりは普段食べてる煮付けのような味だった。

9. SuiSuiオープン_うまい！鯖匠_さばみそ煮（日本水産）#

2024/05/11に食べた日本水産製の「SuiSuiオープン_うまい！鯖匠_さばみそ煮」です。魚は鯖で、味噌煮な風味と橙色、白の缶の色が特徴です。美味いで、缶は開けにくいです。オメガ3脂肪酸の含有量の目安としては、DHAが未明で、EPAが未明でした。感想：紙のタブで開ける奇怪なタイプのフタです

10. HOKO_赤からさば（宝幸）#

2024/05/20に食べた宝幸製の「HOKO_赤からさば」です。魚は鯖で、辛いな風味と赤の缶の色が特徴です。あまり美味くないで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが未明で、EPAが未明でした。感想：思ったよりは辛くなかった。美味くはない。

11. Kanpy_さば水煮_ノルウェー産さば使用（福井缶詰）#

2024/05/25に食べた福井缶詰製の「Kanpy_さば水煮_ノルウェー産さば使用」です。魚は鯖で、水煮な風味と白、水色の缶の色が特徴です。美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが未明で、EPAが未明でした。感想：美味い感じはする。普段あんまり食べない感じの塩だな。

12. セブンプレミアム_国産いわし水煮_塩と生姜にこだわった（STIフードホールディングス）#

2024/05/29に食べたSTIフードホールディングス製の「セブンプレミアム_国産いわし水煮_塩と生姜にこだわった」です。魚は鰯で、水煮な風味と水色の缶の色が特徴です。少し美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが2380.0mgで、EPAが3080.0mgでした。感想：これ食ってセイレーン作戦を頑張ろう。

13. ニッスイ_SABA_さばみそ煮_日本産さば使用（日本水産）#

2024/06/04に食べた日本水産製の「ニッスイ_SABA_さばみそ煮_日本産さば使用」です。魚は鯖で、味噌煮な風味と橙色の缶の色が特徴です。少し美味いで、缶は開けにくいです。オメガ3脂肪酸の含有量の目安としては、DHAが未明で、EPAが未明でした。感想：蓋のプルタブが脆い感じがして、開けるのが怖かったです。

14. ニッスイ_SABA_さば水煮_日本産さば使用（日本水産）#

2024/06/10に食べた日本水産製の「ニッスイ_SABA_さば水煮_日本産さば使用」です。魚は鯖で、水煮な風味と青の缶の色が特徴です。少し美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが未明で、EPAが未明でした。感想：テトリスの穴を掘るのがなかなか速くならないクソォ。

15. Kanpy_さば醤油味付_ノルウェー産さば使用（福井缶詰）#

2024/06/17に食べた福井缶詰製の「Kanpy_さば醤油味付_ノルウェー産さば使用」です。魚は鯖で、煮付な風味と白、薄茶の缶の色が特徴です。美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが未明で、EPAが未明でした。感想：少し脂っこさは感じるが、美味い部類のサバ缶だ。

16. Norlake_さばの水煮_Saba_in_Brinc（ノルレェイク・インターナショナル）#

2024/06/24に食べたノルレェイク・インターナショナル製の「Norlake_さばの水煮_Saba_in_Brinc」です。魚は鯖で、水煮な風味と紺色の缶の色が特徴です。少し美味いで、缶は開けにくいです。オメガ3脂肪酸の含有量の目安としては、DHAが未明で、EPAが未明でした。感想：今日は暑くなってくる予感がする日だった。こんな時に是非とも栄養を摂って英気を養いたいですね。

17. セブンプレミアム_国産いわし生姜煮_千切生姜でさっぱりと（STIフードホールディングス）#

2024/06/28に食べたSTIフードホールディングス製の「セブンプレミアム_国産いわし生姜煮_千切生姜でさっぱりと」です。魚は鰯で、その他な風味と薄茶の缶の色が特徴です。美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが1470.0mgで、EPAが1910.0mgでした。感想：生姜が千切りだから食べやすいね。

18. 高木商店_国産_寒さば_味噌煮（高木商店）#

2024/07/03に食べた高木商店製の「高木商店_国産_寒さば_味噌煮」です。魚は鯖で、味噌煮な風味と橙色の缶の色が特徴です。少し美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが2305.0mgで、EPAが1096.0mgでした。感想：もし入院とかしてそれが長引いたら困るから、サバ缶を消費しておこう！

19. 駿河燻鯖_OIL_SABADINES_COTTONSEED_OIL（由比缶詰所）#

2024/07/07に食べた由比缶詰所製の「駿河燻鯖_OIL_SABADINES_COTTONSEED_OIL」です。魚は鯖で、オイルな風味と黒の缶の色が特徴です。美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが記載無しで、EPAが記載無しでした。感想：細かく刻まれていて食べやすい。味もスモークが効いていて美味い。

20. 高木商店_国産_寒さば_水煮（高木商店）#

2024/07/11に食べた高木商店製の「高木商店_国産_寒さば_水煮」です。魚は鯖で、水煮な風味と青の缶の色が特徴です。少し美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが1780.0mgで、EPAが887.0mgでした。感想：たぶん今、ピロリ菌のせいで消化能力が弱まっているので、なるべく魚とか消化に良さそうな食品でタンパク質を摂取しよう！

21. 駿河燻鯖_OIL_SABADINES_GARLIC（由比缶詰所）#

2024/07/18に食べた由比缶詰所製の「駿河燻鯖_OIL_SABADINES_GARLIC」です。魚は鯖で、オイルな風味と緑の缶の色が特徴です。美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが記載無しで、EPAが記載無しでした。感想：確かにガーリックのような背徳的な味がしました。

22. 銚子港・波崎港水揚げ_味噌と砂糖だけで作った_素材をそのまま_いわし醤油煮（高木商店）#

2024/07/24に食べた高木商店製の「銚子港・波崎港水揚げ_味噌と砂糖だけで作った_素材をそのまま_いわし醤油煮」です。魚は鰯で、味噌煮な風味と黄色の缶の色が特徴です。美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが記載無しで、EPAが記載無しでした。感想：食べやすい味噌煮です

23. 駿河燻鯖_OIL_SABADINES_BLACK_PEPPER（由比缶詰所）#

2024/08/06に食べた由比缶詰所製の「駿河燻鯖_OIL_SABADINES_BLACK_PEPPER」です。魚は鯖で、オイルな風味と茶色の缶の色が特徴です。美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが記載無しで、EPAが記載無しでした。感想：こんな暑い日にブラックペッパーを食べるとテンションが上りますな！

24. 駿河燻鯖_OIL_SABADINES_NATURAL（由比缶詰所）#

2024/08/22に食べた由比缶詰所製の「駿河燻鯖_OIL_SABADINES_NATURAL」です。魚は鯖で、オイルな風味と黄色の缶の色が特徴です。美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが記載無しで、EPAが記載無しでした。感想：ナチュラルに美味かったぞ。

25. 銚子港・波崎港水揚げ_醤油と砂糖だけで作った_素材をそのまま_いわし醤油煮（高木商店）#

2024/10/09に食べた高木商店製の「銚子港・波崎港水揚げ_醤油と砂糖だけで作った_素材をそのまま_いわし醤油煮」です。魚は鰯で、醤油煮な風味と朱色の缶の色が特徴です。美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが記載無しで、EPAが記載無しでした。感想：久し振りにサバ缶を食べた。思いの外、味が濃いんだな。

26. マーメイド_鯖水煮（福井缶詰）#

2024/10/17に食べた福井缶詰製の「マーメイド_鯖水煮」です。魚は鯖で、水煮な風味と水色の缶の色が特徴です。美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが3200.0mgで、EPAが5600.0mgでした。感想：塩味がかなりちゃんと効いているぞよ

27. 三陸気仙沼ほてい_鰯_いわし水煮（気仙沼ほてい）#

2024/10/19に食べた気仙沼ほてい製の「三陸気仙沼ほてい_鰯_いわし水煮」です。魚は鰯で、水煮な風味と白、水色の缶の色が特徴です。少し美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが2800.0mgで、EPAが1800.0mgでした。感想：Wallpaper Engineの良さを改めて感じている。

28. マルハニチロ_さば照焼き（マルハニチロ）#

2024/10/21に食べたマルハニチロ製の「マルハニチロ_さば照焼き」です。魚は鯖で、塩焼な風味と白、歌舞伎定式幕の缶の色が特徴です。美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが560.0mgで、EPAが630.0mgでした。感想：タレにしっかり浸かっていて美味かったよ。

29. 元祖ちようしたのかばやき_さんま（田原缶詰）#

2024/10/23に食べた田原缶詰製の「元祖ちようしたのかばやき_さんま」です。魚は秋刀魚で、蒲焼な風味と白、赤、紺の缶の色が特徴です。少し美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが1440.0mgで、EPAが670.0mgでした。感想：元祖は普通の味でした。

30. マルハニチロ_月花_いわし水煮（マルハニチロ）#

2024/10/25に食べたマルハニチロ製の「マルハニチロ_月花_いわし水煮」です。魚は鰯で、水煮な風味と赤、青の缶の色が特徴です。美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが3310.0mgで、EPAが5244.0mgでした。感想：鯖はあんまり美味くなかったが、鰯は悪くないな。

31. STI_STONE-ROLLS_金華さば_水煮_生詰め（STIフードホールディングス）#

2024/10/28に食べたSTIフードホールディングス製の「STI_STONE-ROLLS_金華さば_水煮_生詰め」です。魚は鯖で、水煮な風味と銀の缶の色が特徴です。少し美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが5890.0mgで、EPAが3230.0mgでした。感想：PowerShellでディレクトリ巡りは金輪際やりたくない。

32. STI_STONE-ROLLS_金華さば_みそ煮_数量限定（STIフードホールディングス）#

2024/10/30に食べたSTIフードホールディングス製の「STI_STONE-ROLLS_金華さば_みそ煮_数量限定」です。魚は鯖で、味噌煮な風味と金の缶の色が特徴です。少し美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが2907.0mgで、EPAが1520.0mgでした。感想：鯖よりも味噌で味を押している感じがする。

33. 信田缶詰_SABA_さば水煮_SIK（信田缶詰）#

2024/10/31に食べた信田缶詰製の「信田缶詰_SABA_さば水煮_SIK」です。魚は鯖で、水煮な風味と白、水色の缶の色が特徴です。美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが記載無しで、EPAが記載無しでした。感想：塩がしっかりしている。海っぽい味で、好みが分かれそう。

34. 信田缶詰_SABA_さばみそ煮_SIK（信田缶詰）#

2024/11/02に食べた信田缶詰製の「信田缶詰_SABA_さばみそ煮_SIK」です。魚は鯖で、味噌煮な風味と白、橙色の缶の色が特徴です。美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが記載無しで、EPAが記載無しでした。感想：PDF結合ツール開発疲れたぁぁぁ

35. マルハニチロ_北海道のいわし_水煮（マルハニチロ）#

2024/11/04に食べたマルハニチロ製の「マルハニチロ_北海道のいわし_水煮」です。魚は鰯で、水煮な風味と青の缶の色が特徴です。美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが2063.0mgで、EPAが3689.0mgでした。感想：そこまで塩っぱくないのが良いよね。

36. マルハニチロ_北海道のいわし_味付（マルハニチロ）#

2024/11/06に食べたマルハニチロ製の「マルハニチロ_北海道のいわし_味付」です。魚は鰯で、煮付な風味と黒の缶の色が特徴です。美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが1935.0mgで、EPAが2793.0mgでした。感想：今日は色々と食べたので煮付を食べる気分ではなかったな。

37. マルハニチロ_北海道のいわし_味噌煮（マルハニチロ）#

2024/11/08に食べたマルハニチロ製の「マルハニチロ_北海道のいわし_味噌煮」です。魚は鰯で、味噌煮な風味と白の缶の色が特徴です。美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが1845.0mgで、EPAが2505.0mgでした。感想：こういう味噌煮が良いですね。

38. Sardinillas en aceite de oliva 16/22 piezas（Vengarco）#

2024/11/12に食べたVengarco製の「Sardinillas en aceite de oliva 16/22 piezas」です。魚は鰯で、オイルな風味と青、紺の缶の色が特徴です。美味くないで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが記載無しで、EPAが記載無しでした。感想：スペインの企業が作った缶詰。ガリシア州リアス産の小さなイワシ。まあ、外国の缶詰だから期待はしていなかったが、魚が萎び過ぎていて食感が良くない。しょっぱい。なるべくならご飯を一緒に食べたいのだが、ホカホカのご飯ではダメだ。油が熱で揮発してあまり良くない匂いが鼻の方に漂ってくる。冷ましたご飯と一緒に撃退するのが良いと思う。

39. 高木商店_やまめ_ねぎ鯖醤油だれ（高木商店）#

2024/11/14に食べた高木商店製の「高木商店_やまめ_ねぎ鯖醤油だれ」です。魚は鯖で、醤油煮な風味と黒、白の缶の色が特徴です。かなり美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが記載無しで、EPAが記載無しでした。感想：すんげえ柔らかいネギが入っている。タレが染みていて美味いよ。

40. 高木商店_寒いわし蒲焼_数量限定品（高木商店）#

2024/11/19に食べた高木商店製の「高木商店_寒いわし蒲焼_数量限定品」です。魚は鰯で、蒲焼な風味と橙色の缶の色が特徴です。美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが2640.0mgで、EPAが3110.0mgでした。感想：徹夜明けでスゲエ眠かったけど、味わいを感じることは出来た。

41. MEIDI-YA_おいしい缶詰_国産真いわしと野菜のトマト煮（明治屋）#

2024/11/22に食べた明治屋製の「MEIDI-YA_おいしい缶詰_国産真いわしと野菜のトマト煮」です。魚は鰯で、その他な風味と青、白の缶の色が特徴です。かなり美味いで、缶は開けにくいです。オメガ3脂肪酸の含有量の目安としては、DHAが記載無しで、EPAが記載無しでした。感想：美味いんだけど開けづらいんだよなァァ・・・

42. 黄金の村_国産いわし_きとうゆずしお_オリーブオイルづけ（黄金の村）#

2024/11/24に食べた黄金の村製の「黄金の村_国産いわし_きとうゆずしお_オリーブオイルづけ」です。魚は鰯で、オイルな風味と青、白の缶の色が特徴です。美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが記載無しで、EPAが記載無しでした。感想：塩味の按配がちょうどいいです。

43. 高木商店_国産_焼き鯖のアヒージョ（高木商店）#

2024/11/26に食べた高木商店製の「高木商店_国産_焼き鯖のアヒージョ」です。魚は鯖で、オイルな風味と水色、白の缶の色が特徴です。美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが記載無しで、EPAが記載無しでした。感想：塩こしょうが効いていて美味いぞ。

44. 木の屋石巻水産_料理に活きる_サラダサバ_さば油漬け[あっさり塩味]（木の屋石巻水産）#

2024/11/28に食べた木の屋石巻水産製の「木の屋石巻水産_料理に活きる_サラダサバ_さば油漬け[あっさり塩味]」です。魚は鯖で、オイルな風味と青、黄色の缶の色が特徴です。少し美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが590.0mgで、EPAが300.0mgでした。感想：サッパリとした食感です。

45. VALUE_PLUS_国産さば使用_さば味噌煮（宝幸）#

2024/11/30に食べた宝幸製の「VALUE_PLUS_国産さば使用_さば味噌煮」です。魚は鯖で、味噌煮な風味と橙色の缶の色が特徴です。少し美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが記載無しで、EPAが記載無しでした。感想：今日は凄い忙しなく活動している気がする。

46. VALUE_PLUS_国産さば使用_さば水煮（宝幸）#

2024/12/02に食べた宝幸製の「VALUE_PLUS_国産さば使用_さば水煮」です。魚は鯖で、水煮な風味と水色の缶の色が特徴です。少し美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが記載無しで、EPAが記載無しでした。感想：麻婆豆腐を食った後に食べると落ち着くわ。

47. セブンプレミアム_バジルオリーブオイルさば_オイルごと使える_MCT中鎖脂肪酸（STIフードホールディングス）#

2024/12/04に食べたSTIフードホールディングス製の「セブンプレミアム_バジルオリーブオイルさば_オイルごと使える_MCT中鎖脂肪酸」です。魚は鯖で、オイルな風味と緑の缶の色が特徴です。かなり美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが2175.0mgで、EPAが1470.0mgでした。感想：けっこう合いますねえ。

48. 黄金の村_国産いわし_きとうゆずしおバター（黄金の村）#

2024/12/06に食べた黄金の村製の「黄金の村_国産いわし_きとうゆずしおバター」です。魚は鰯で、オイルな風味と黄色、白の缶の色が特徴です。かなり美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが記載無しで、EPAが記載無しでした。感想：バターって珍しいよな。そして美味いんだよなあ。

49. AIKOCHAN_伊藤食品_美味しい鯖_味噌煮（伊藤食品）#

2024/12/10に食べた伊藤食品製の「AIKOCHAN_伊藤食品_美味しい鯖_味噌煮」です。魚は鯖で、味噌煮な風味と金色の缶の色が特徴です。少し美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが710.0mgで、EPAが160.0mgでした。感想：金色だからスゴイ美味そうに見えるがそうでもないこの一品。

50. セブンプレミアム_国産さばみそ煮_塩こうじでまろやか_MCT中鎖脂肪酸（STIフードホールディングス）#

2024/12/14に食べたSTIフードホールディングス製の「セブンプレミアム_国産さばみそ煮_塩こうじでまろやか_MCT中鎖脂肪酸」です。魚は鯖で、味噌煮な風味と橙色、茶色の缶の色が特徴です。少し美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが3173.0mgで、EPAが2318.0mgでした。感想：そうでもありませんでした。

51. 高木商店_国産_焼きいわしのアヒージョ（高木商店）#

2024/12/16に食べた高木商店製の「高木商店_国産_焼きいわしのアヒージョ」です。魚は鰯で、オイルな風味と橙色、白の缶の色が特徴です。美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが記載無しで、EPAが記載無しでした。感想：コイツも美味かったな。

52. AIKOCHAN_伊藤食品_美味しい鯖_水煮（伊藤食品）#

2024/12/19に食べた伊藤食品製の「AIKOCHAN_伊藤食品_美味しい鯖_水煮」です。魚は鯖で、水煮な風味と銀色の缶の色が特徴です。少し美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが1060.0mgで、EPAが240.0mgでした。感想：銀色だからスゴイ美味そうに見えるがそうでもないこの一品。まあ水煮だもんな。

53. SABA_サバカリー_本格麻辣仕立て（SSK、新宿中村屋）#

2024/12/21に食べたSSK、新宿中村屋製の「SABA_サバカリー_本格麻辣仕立て」です。魚は鯖で、辛いな風味と赤の缶の色が特徴です。少し美味いで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが2305.0mgで、EPAが1680.0mgでした。感想：少し辛い。

54. いなば_日本産いわし100%_ひと口いわし_味付（‎いなば食品）#

2024/12/24に食べた‎いなば食品製の「いなば_日本産いわし100%_ひと口いわし_味付」です。魚は鰯で、煮付な風味と橙色の缶の色が特徴です。あまり美味くないで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが470.0mgで、EPAが460.0mgでした。感想：一口目を食べた瞬間には、サバよりは不味くないなと思ったが、生姜を食べたら少し不味かった。どうしたもんかねえ。

55. SABA_サバ・トマレモ_トマト&レモン味（SSK）#

2024/12/26に食べたSSK製の「SABA_サバ・トマレモ_トマト&レモン味」です。魚は鯖で、その他な風味と朱色の缶の色が特徴です。あまり美味くないで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが2730.0mgで、EPAが2030.0mgでした。感想：最近なんだか暑すぎるぞ

56. 木の屋石巻水産_印度カリー子監修のカレー缶詰_丸ごといわし（木の屋石巻水産）#

2024/12/29に食べた木の屋石巻水産製の「木の屋石巻水産_印度カリー子監修のカレー缶詰_丸ごといわし」です。魚は鰯で、辛いな風味と黄色、茶色の缶の色が特徴です。あまり美味くないで、缶は開けやすいです。オメガ3脂肪酸の含有量の目安としては、DHAが記載無しで、EPAが記載無しでした。感想：開け易すぎて開け難い事案かもしれない。鰯とカレーが微妙に合わないな・・・。

おしまい#

リサちゃん

なんだコレ・・・

135ml

サバ缶でした。

以上になります！

【YouTubeなど】動画の更新状況_2025年02月

Sun, 23 Mar 2025 00:00:00 GMT

はじまり#

ペンギン

先月の動画の更新状況です。

リサちゃん

何を上げたのかなあ？

2025年2月に投稿した動画の一覧#

投稿した動画の数：8

【Palworld】セッションタイムアウト攻撃を放つ武装ヘリを発見しました！（大規模オイルリグ）【ゆっくり実況】#

動画投稿日：2025/02/03

【Palworld】パルソウル+60にしたベイントール50体でボルドラゴ極をボコボコにする（鬼神ブリザードスパイクバージョン）【ゆっくり実況】#

動画投稿日：2025/02/07

【Palworld】ボルドラゴ10連戦～レーザーガトリングガンを携えて～【ゆっくり実況】#

動画投稿日：2025/02/10

【Palworld】パルソウル+60にしたベイントール50体でボルドラゴ極をボコボコに…てアレ？（吸血鬼バージョン）【ゆっくり実況】#

動画投稿日：2025/02/14

【Palworld】ベイントールでボルドラゴ自動迎撃システムが出来上がってしまった…#

動画投稿日：2025/02/17

【Palworld】パルソウル+60にしたベイントール100体でゼノドラン極を何が何でも倒す！【ゆっくり実況】#

動画投稿日：2025/02/21

【Palworld】ベイントールと一緒に塔ボスハードを廻る【ゆっくり実況】#

動画投稿日：2025/02/24

【アズールレーン】通商破壊でウィダーとアミティを放置して勝利#

動画投稿日：2025/02/28

kinkingame24bitのYouTubeチャンネル#

よろしければ、チャンネルのご登録お願い致します。

おしまい#

ペンギン

先月は8本か。

リサちゃん

よければ視聴してみて下さい。

以上になります！

【Go、Docker】「api」という名前のパッケージを作るとビルド出来なくなる

Sat, 15 Mar 2025 00:00:00 GMT

はじまり#

リサちゃん

う～ん、これはどうなっているんだ？？

135ml

デプロイが出来ないな。

まず、何が起きてるんだ#

最近、Goを使ってGinベースのWebアプリケーションを開発していました。このアプリケーションをCloud Runにデプロイしようとしたところ、奇妙な現象に遭遇しました。

今回使っていたGoのバージョンは、1.23.5です。

まあ、例えばこんな感じのディレクトリ構造になっているとします。

1
/home/user/my-module
2
|--.dockerignore
3
|--.gcloudignore
4
|--.git
5
| |--COMMIT_EDITMSG
6
| |--FETCH_HEAD
7

8
...
9

10
|--api
11
| |--handlers
12
| | |--user.go
13
| |--logger.go
14
| |--logger_test.go
15
| |--middleware
16
| | |--auth.go
17
| | |--rate_limiter.go
18
| |--router.go
19
| |--router_test.go
20
| |--swagger.go
21
| |--swagger_test.go
22
| |--util.go
23
| |--util_test.go
24
|--coverage.html
25
|--coverage.out
26
|--db_pc_stats
27
| |--domain.go
28
| |--domain_test.go
29
| |--model.go
30
| |--model_error_test.go
31
| |--model_test.go
32
| |--util.go
33

34
...

展開する折りたたむ

Cloud Runにデプロイする時に使ったコマンドは普通にこんな感じです。

Terminal window

1
gcloud run deploy <image_name> --source . --project=<project_id> --region=<region> --allow-unauthenticated --timeout=60s

そして今回、そのサービスのデプロイが失敗して、Cloud Buildのログの中に以下のようなエラーメッセージが表示されたのです。

1
main.go:9:2: no required module provides package github.com/user/my-module/api; to add it:
2
  go get github.com/user/my-module/api
3
The command '/bin/sh -c go build -v -o main' returned a non-zero code: 1
4
ERROR
5
ERROR: build step 0 "gcr.io/cloud-builders/docker" failed: step exited with non-zero status: 1

エラーが発生している箇所は、以下のようなインポート文でした。

1
api "github.com/user/my-module/api"

あれ・・・？

ローカル環境ではgo build -v -o mainを実行すると問題なくビルド出来ていました。しかし、Dockerコンテナ内で同じコマンドを実行するとエラーになるなんて・・・。これは一体どういうことでしょうか？

今回、アプリケーションの構造として、APIのルーティングやSwagger UIの実装を「api」というパッケージに配置していました。しかし、このディレクトリ構造の状態で、ローカル環境では問題なくビルドできていたのですが、Dockerコンテナ内でビルドすると失敗する。・・・という謎の現象が発生したのです。

原因を探る。#

最初は、開発中にgo.modのモジュール名を変更したことが原因かと思いました。しかし、他のプロジェクトでは同様のディレクトリ構成でもデプロイできていました。モジュール名も「my-project」や「github.com/username/mymodule」のような形式でも問題なくデプロイできていました。

次に、Dockerfileを見てみました。「RUN go build -v -o main」のレイヤーでエラーになりました。このレイヤーの前にgo mod tidyやgo mod editを入れても相変わらずエラーになりました。

1
# Build stage
2
FROM debian:11 AS builder
3
WORKDIR /app
4
# 依存関係をダウンロード（go.mod, go.sumがある場合）
5
RUN apt-get update && apt-get upgrade -y && apt-get install -y curl gcc
6
COPY go.mod go.sum ./
7
RUN curl -OL <https://go.dev/dl/go1.23.7.linux-amd64.tar.gz> &&\\\\
8
    tar -C /usr/local -xzf go1.23.7.linux-amd64.tar.gz &&\\\\
9
    rm -rf go1.23.7.linux-amd64.tar.gz
10
ENV PATH $PATH:/usr/local/go/bin
11
RUN go mod download
12
# ソースコードをコピー
13
COPY . .
14
# ↓↓ アプリケーションのビルド ↓↓ <------------------------------- HERE!!
15
RUN go build -v -o main
16

17
# Final stage: 軽量な実行環境
18
# FROM gcr.io/distroless/base-debian10
19
FROM debian:11 AS deploy
20
WORKDIR /
21
RUN apt-get update && apt-get upgrade -y
22
RUN apt-get install -y openssl ca-certificates
23
# ビルドしたバイナリをコピー
24
COPY --from=builder /app/main .
25
# Cloud Runのためにポート8080を公開
26
EXPOSE 8080
27
# コンテナ起動時に実行されるコマンド
28
CMD ["./main"]

展開する折りたたむ

原因が判明する#

そんなこんなで、色々と試しながら30分ぐらい経った頃でしょうか・・・、試行錯誤の末、ついに「api」ディレクトリの名前を「app」に変更したところ、デプロイが成功しました。その箇所だけ変更してデプロイし直すと結果が違ったので、たぶん間違いないかと。

ええっ・・・、そんなことってあるの・・・？？

「api」っていう名前のパッケージで、Dockerコンテナ内でGoモジュールがビルド出来なくなる・・・？？

Goのプロジェクトモジュールのディレクトリ構造の参考として、「golang-standards/project-layout」というものがあります。

GitHub - golang-standards/project-layout: Standard Go Project Layout

Standard Go Project Layout. Contribute to golang-standards/project-layout development by creating an account on GitHub.

Waiting for api.github.com...

その「golang-standards/project-layout」のリポジトリで紹介されているようなプロジェクトレイアウトのサンプルでは「api」ディレクトリがあるけど、それはどういうことなの？　・・・とも思いましたが、このディレクトリの中のREADMEを見ると、「OpenAPI/Swagger specs, JSON schema files, protocol definition files.」と書かれているので、おそらくこの「api」ディレクトリにはGoファイルは格納されないんだと思います。そう考えれば、今回の事象の原因の反例にはならない。

でも、「api」ディレクトリが原因ならば、その旨をエラーメッセージに出して欲しいんだけどなぁ・・・。

考えられる理由#

なぜ「api」という名前のパッケージがDockerコンテナ内でビルドに失敗するのでしょうか？いくつかの可能性が考えられます。

名前の衝突: 「api」という名前が、Goの標準ライブラリや内部的な何かと衝突している可能性があります。
特別な扱い: 「api」ディレクトリは、OpenAPIなどのAPI仕様書を格納するための特別なディレクトリとして認識されている可能性があります。
環境の違い: ローカル環境とDockerコンテナ環境の微妙な違いにより、同じコードでも挙動が異なる可能性があります。

うーん、でも今回事象が発生したプロジェクトでは「api」ディレクトリでAPIのルーティングをしてるし、SwaggerUIを作る部分もこの中でやってるから、「api」という名前のGoパッケージにしたかったのだが・・・。そうかぁ・・・。

まとめ#

今回のまとめです。

Goでアプリケーションを開発する際、パッケージ名には注意が必要です。特に「api」という名前は、ローカル環境では問題なくても、Dockerコンテナ内でビルドする際に問題を引き起こす可能性がありました。

そして、「api」ディレクトリを「app」に変更することで問題が解決しました。APIのルーティングやSwagger UIの実装は「app」パッケージ内で行うことにしました。

そしてまあ、今回のような問題に遭遇した場合に解決した流れは以下の通りです。

パッケージ名の変更: 「api」という名前を避け、「app」「apiserver」「endpoints」など別の名前に変更する。
モジュール構造の見直し: プロジェクトのモジュール構造を見直し、標準的なレイアウトに合わせる。
ビルド環境のテスト: デプロイ前に、Dockerコンテナ内でのビルドテストを行い、問題を早期に発見する。

また、Goのプロジェクト構造については、golang-standards/project-layoutのような標準的なレイアウトを参考にすると良いでしょう。まあ、個人開発の水準としては、丸写しするにはかなり手が込んでいますが・・・。（このリポジトリでも留意事項に同じようなことが書いてありました。）

おしまい#

リサちゃん

また変なところで沼ったなああ

135ml

分かってよかったです。

以上になります！

【Go】日付計算とかWeb検索とかするMCPサーバを手に入れた

Fri, 14 Mar 2025 00:00:00 GMT

はじまり#

リサちゃん

うわああああ・・・

135ml

出来てしまったようだな。

MCPサーバでさらに色んなことが・・・#

最近巷で話題になっているMCPサーバをGoで組んでみたので、途中まで作成したものを紹介がてら、どんなことが出来るのかを紹介していきます。

本当にスゴイです。チャット画面の中でしか動けなかったAI君が画面を飛び出して色々なところから情報を拾ってくるようになります。楽しくなってきます。

MCPサーバとは？#

Model Context Protocol（MCP）は、AnthropicのClaudeなどのAIモデルが外部のデータソースやツールと安全に対話するための標準化されたプロトコルです。MCPサーバを使うことで、AIアシスタントは以下のようなことができるようになります。

ファイルシステムへのアクセス
データベースへの問い合わせ
Web検索の実行
日時計算の実行
HTTPリクエストの送信

つまり、AIアシスタントが「外の世界」とやり取りするための窓口となるわけです。これにより、AIの能力が大幅に拡張され、より実用的なタスクをこなせるようになります。

例えば、足し算とか引き算などの算術演算の処理に対して、大規模言語モデルは当たり前のように間違えてしまいますよね。しかし、算術演算用のMCPサーバを設置してしまえばそんなことは無くなります。

MCPサーバを立てるためのSDKは、Model Context Protocolという組織の公式リポジトリで公開されていて、そのパッケージを使ったサンプルコードも紹介されているのですが、使用している言語は、Python、TypeScript、C#、Java、Kotlinだけなんですよね。（2025-03-30時点）

modelcontextprotocol

python-sdk

00K

Waiting...

しかし今回、MCPサーバを実装するのに使った言語は、Goです。なぜわざわざGoにしたのかと言うと、Pythonと同様に書き慣れていたというのと、AIにコーディングしてもらう時は静的型付け言語の方がバグの少ないソースを生成してもらいやすいというのがあるみたいなので、ちょっくらやってみました。（実際、今回も実行時には殆どバグが起きませんでした。）あと、バイナリにビルドするので、基本的にどんな環境でも動きます。

GoでMCPサーバの開発が行われているリポジトリで最も活発なものが、「mcp-go」というリポジトリでした。今回はそのパッケージを使って開発させていただきます。

mark3labs

mcp-go

Waiting for api.github.com...

00K

Waiting...

それでは行ってみましょう。

mcps-goの紹介#

今回開発したのは、「mcps-go」というリポジトリです。一旦、以下の4つのMCPサーバを提供出来ています。

arithmetic_calculator - 算術計算機能
datetime_calculator - 日時計算機能
http_request - HTTPリクエスト機能
brave_web_search - Brave検索エンジンを使用したWeb検索機能

今回作ったリポジトリは公開しています。

landmaster135

mcps-go

Waiting for api.github.com...

00K

Waiting...

これらのサーバは、コマンドライン引数によって選択的に起動できるようになっています。ClineのためのMCPサーバを設定するためのcline_mcp_settings.jsonには、以下のように記述して使用できます。

1
{
2
  "mcpServers": {
3
    "arithmetic_calculator": {
4
      "command": "/home/nov/mcps-go-for-claude/mcps-go",
5
      "args": [
6
        "arith_calc"
7
      ],
8
      "disabled": false,
9
      "autoApprove": []
10
    },
11
    "datetime_calculator": {
12
      "command": "/home/nov/mcps-go-for-claude/mcps-go",
13
      "args": [
14
        "datetime_calc"
15
      ],
16
      "disabled": false,
17
      "autoApprove": []
18
    },
19
    "http_request": {
20
      "command": "/home/nov/mcps-go-for-claude/mcps-go",
21
      "args": [
22
        "http_request"
23
      ],
24
      "disabled": false,
25
      "autoApprove": []
26
    },
27
    "brave_web_search": {
28
      "command": "/home/nov/mcps-go-for-claude/mcps-go",
29
      "args": [
30
        "brave_web_search"
31
      ],
32
      "env": {
33
        "BRAVE_API_KEY": "あなたのAPIキー"
34
      },
35
      "disabled": false,
36
      "autoApprove": []
37
    }
38
  }
39
}

展開する折りたたむ

実装されているMCPサーバの詳細#

それでは、各MCPサーバの機能を詳しく見ていきましょう。

arithmetic_calculator（算術計算機能）#

基本的な算術計算を行うためのMCPサーバです。足し算、引き算、掛け算、割り算などの基本的な計算機能を提供します。この機能は、mcp-goのクイックスタートをそのまま利用しています。

datetime_calculator（日時計算機能）#

日時に関する様々な計算を行うためのMCPサーバです。主な機能は以下の通りです：

日時に年月日時分秒を追加（AddDatetime）
日時から年月日時分秒を引く（SubtractDatetime）

例えば、現在の日時から1年3ヶ月5日後の日時を計算したり、4時間15分7秒前の日時を計算したりすることが出来ます。日付に関する複雑な計算を簡単に行えるので、スケジュール管理やイベント計画などに役立つかもしれません。この機能は実装に必要なパラメータが多かったので、AIコーディングがあって本当に助かりました。

http_request（HTTPリクエスト機能）#

外部APIにHTTPリクエストを送信するためのMCPサーバです。GET、POST、PUT、DELETEなどの主要なHTTPメソッドをサポートしており、外部のWebサービスやAPIと連携できます。

これにより、AIアシスタントは天気情報の取得、ニュースの検索、データの送信など、インターネット上の様々なサービスにアクセスできるようになります。この機能も、mcp-goのクイックスタートをそのまま利用しています。

brave_web_search（Brave検索機能）#

Brave Search APIを使用してWeb検索を行うためのMCPサーバです。このサーバは以下の2つの主要な機能を提供しています。

brave_web_search - 一般的なWeb検索機能
- 一般的なクエリ、ニュース、記事、オンラインコンテンツの検索に適しています。
- 最大20件の結果を取得可能。
- ページネーション、コンテンツフィルタリング、鮮度コントロールをサポート。
brave_local_search - ローカルビジネス検索機能
- 物理的な場所、ビジネス、レストラン、サービスなどに関連するクエリに適しています。
- ビジネス名や住所、評価とレビュー数、電話番号や営業時間などの詳細情報を返します。
- 「近くの」や特定の場所を含むクエリに最適。
- ローカル結果が見つからない場合は自動的にWeb検索にフォールバック。

このサーバを使用するには、Brave Search APIのAPIキーが必要です。APIキーは環境変数「BRAVE_API_KEY」として設定する必要があります。

使い方と設定方法#

mcps-goを使用するには、まず以下の手順でビルドします。

Terminal window

1
# 通常のビルド
2
go build main.go
3

4
# Dockerを使用したビルド
5
docker build -t mcps-go .

一応、Dockerを使ったビルドも出来ることには出来ますが、その場合だとなぜか、Cline君がMCPサーバを利用するのに必要な引数を渡せなくなってしまい、動かすことが出来ませんでした・・・。ちょっとまだ、mcp-goの動きがよく分かっていないので、一旦通常のビルドでバイナリを動かす形で利用していきます。

次に、Clineなどのクライアントで使用するために、設定ファイル（cline_mcp_setting.json）に以下のような設定を追加します。これは冒頭の方で見せたJSONファイルと同じものです。brave_web_searchを使用する場合は、Brave Search APIのAPIキーを取得して設定する必要があります。（実はここにAPIキーを書きたくなかったので、Dockerを使いたかったんですけどね。）

1
{
2
  "mcpServers": {
3
    "arithmetic_calculator": {
4
      "command": "/home/nov/mcps-go-for-claude/mcps-go",
5
      "args": [
6
        "arith_calc"
7
      ],
8
      "disabled": false,
9
      "autoApprove": []
10
    },
11
    "datetime_calculator": {
12
      "command": "/home/nov/mcps-go-for-claude/mcps-go",
13
      "args": [
14
        "datetime_calc"
15
      ],
16
      "disabled": false,
17
      "autoApprove": []
18
    },
19
    "http_request": {
20
      "command": "/home/nov/mcps-go-for-claude/mcps-go",
21
      "args": [
22
        "http_request"
23
      ],
24
      "disabled": false,
25
      "autoApprove": []
26
    },
27
    "brave_web_search": {
28
      "command": "/home/nov/mcps-go-for-claude/mcps-go",
29
      "args": [
30
        "brave_web_search"
31
      ],
32
      "env": {
33
        "BRAVE_API_KEY": "あなたのAPIキー"
34
      },
35
      "disabled": false,
36
      "autoApprove": []
37
    }
38
  }
39
}

展開する折りたたむ

設定が完了したら、Clineなどのクライアントを再起動すると、AIアシスタントが新しいMCPサーバを使用できるようになります。

MCPサーバの実際の使用例#

それでは、実際にこれらのMCPサーバをどのように使用できるか、いくつか例を見てみましょう。使ったモデルは、ChatGPT-4o-miniだったり、Claude 3.7 Sonnetだったりでした。

日時計算の例#

ざっくりと、以下のようなやり取りになりました。

1
ユーザー: 500/100の計算をツールを使って行ってください。
2

3
GPT 4o-mini: ユーザーは500/100の計算結果を知りたいようです。
4
これを計算するために、arithmetic_calculatorというMCPサーバーを使うことができます。
5
このサーバーは算術計算を行うツールを提供しています。
6

7
500/100は5.00です。

日時計算の例#

ざっくりと、以下のようなやり取りになりました。

1
ユーザー: 今日の4日後の日付をツールを使って教えて。
2

3
GPT 4o-mini: ユーザーは今日の4日後の日付を知りたいようです。
4
これを計算するために、datetime_calculatorというMCPサーバーを使うことができます。
5
このサーバーは日付計算を行うツールを提供しています。
6

7
今日の4日後の日付は2025年4月3日です。

実行した時のスクショです。こういう機能ってどこかで使うような気がするので、実装できてよかったです。

パラメータをこれぐらい分けないと、大規模言語モデルはパラメータに適切な値を渡してくれません。

13日前だろうが、4日後だろうが、使いたいMCPツールを呼び出すことが出来ています。

HTTPリクエストの例#

ざっくりと、以下のようなやり取りになりました。

1
ユーザー: ツールを使って、以下のwebページから内容を取得して、それを要約して。
2
Claude:
3

4
...
5

6
Status: 200
7
Body: <!doctype html>
8
<html lang="ja">
9

10
...
11

12
ウェブページの内容を取得して要約するタスクです。ウェブページの内容は既に取得できており、
13
これは「今年食ったサバ缶のまとめ（2024年版）」というブログ記事です。
14
この記事は、著者が2024年に食べたサバ缶、イワシ缶、サンマ缶などの缶詰を紹介しています。
15

16
記事の構造を分析すると：
17

18
...

展開する折りたたむ

以前に当ブログで書いた、サバ缶に関する記事を要約してもらいます。以下が実行時のスクショです。

記事の内容を取得できたので、要約の作業が始まりました。

すげえじゃん、まとまってんじゃん・・・。

Web検索の例#

ざっくりと、以下のようなやり取りになりました。

1
ユーザー: Web検索しておすすめのMCP Serverを探して、リスト化して書き出して。
2

3
Claude: Brave検索MCPサーバを使用して検索します。
4
brave_web_searchツールを使用して、「recommended MCP servers for Claude」や
5
「popular MCP servers for AI assistants」などのキーワードで検索してみましょう。
6

7
現在の設定を確認しました。次に、Web検索を使用して推奨されるMCP Serverを探します。
8

9
...（検索結果に基づく情報）
10

11
素晴らしい！Awesome Claude MCP ServersのREADMEの内容を取得できました。
12
これは非常に包括的なMCP Serverのリストで、カテゴリ別に整理されています。
13

14
次に、もう一つの「awesome-mcp-servers」リポジトリの内容も...（検索結果に基づく情報）

この機能はヤバいですね。Web検索出来るってことは、それってDeep Researchではないですか。以下がスクショです。

検索結果を引っ張ってこれています。

なんかまだ、Cline君は調べ足りないようです。好奇心旺盛だなあ。

先ほど実装したHTTPリクエストのMCPツールまで使って調べてくれました。好奇心旺盛だなあ。

どうやら調べ終わって、まとめ作業が始まりました・・・。

開発時のまとめ#

MCPサーバを開発していた時の出来事などに関するまとめです。

AIが渡しやすいパラメータを設定する。#

「datetime-calculate」の部分の機能って、当初はパラメータの数が3つぐらいしか設定していなかったんですよね。しかし、そのパラメータ数だとどうにもAI君がMCPサーバに適切な数値を渡してくれなかった・・・。

そこで、パラメータ数を基準となる年月日時分秒の6個に増やして、そこから計算するためにさらに年月日時分秒の6個の引数を追加して、総計12個のパラメータを実装しました。こうすると、ガッチリMCPサーバに適切な値を渡せるようになりました。

1
...
2

3
s.AddTool(tool, func(ctx context.Context, request mcp.CallToolRequest) (*mcp.CallToolResult, error) {
4
  op := request.Params.Arguments["operation"].(string)
5
  year_1 := request.Params.Arguments["year_1"].(float64)
6
  month_1 := request.Params.Arguments["month_1"].(float64)
7
  day_1 := request.Params.Arguments["day_1"].(float64)
8
  hour_1 := request.Params.Arguments["hour_1"].(float64)
9
  minute_1 := request.Params.Arguments["minute_1"].(float64)
10
  second_1 := request.Params.Arguments["second_1"].(float64)
11
  duration_of_year := request.Params.Arguments["duration_of_year"].(float64)
12
  duration_of_month := request.Params.Arguments["duration_of_month"].(float64)
13
  duration_of_day := request.Params.Arguments["duration_of_day"].(float64)
14
  duration_of_hour := request.Params.Arguments["duration_of_hour"].(float64)
15
  duration_of_minute := request.Params.Arguments["duration_of_minute"].(float64)
16
  duration_of_second := request.Params.Arguments["duration_of_second"].(float64)
17

18
  var c DatetimeCalculator
19
  var result string
20
  switch op {
21
  case "add":
22
    result = c.AddDatetimeFloat(year_1, month_1, day_1, hour_1, minute_1, second_1, duration_of_year, duration_of_month, duration_of_day, duration_of_hour, duration_of_minute, duration_of_second)
23
  case "subtract":
24
    result = c.SubtractDatetimeFloat(year_1, month_1, day_1, hour_1, minute_1, second_1, duration_of_year, duration_of_month, duration_of_day, duration_of_hour, duration_of_minute, duration_of_second)
25
    // case "diff":
26
    //   result = c.DiffTime(x, y)
27
  }
28

29
  return mcp.NewToolResultText(result), nil
30
})
31

32
...

展開する折りたたむ

こういう時に、AIにコーディングしてもらうととても快適ですね。本当に今日のレベルのAIが登場してくれて有り難い。

MCPサーバはキャッシュされる。#

Clineに限った現象なのか分かりませんが、今回、MCPサーバをビルドする時はGoの標準機能でバイナリファイルにデプロイするわけでしたが、そのバイナリファイルを修正した際に、Clineが参照しているバイナリが以前の状態のバイナリを見ている時がありました。（Clineが提示したパラメータが修正前のものだった時に気付きました。）

原因として、AIエージェントの中で少なくともClineには、「メモリバンク機能」というものが備わっているらしく、その機能はまだ消されていないClineとのチャット履歴を参照して、Clineが長期記憶として情報を維持しているらしいです。つまり、そのメモリバンク機能で修正前のバイナリファイルの内容をキャッシュしているのかもしれない・・・。

そして、チャット履歴を全て消して、再びClineにMCPツールを使うようにプロンプトを送ると、今度はちゃんと修正後のバイナリが受け取れるパラメータでMCPツールを使ってくれました。メモリバンク機能は便利ではありますが、開発中には時々チャット履歴を消す必要があります。

数値は基本的にはfloat64で受け取る。#

mcp.CallToolRequest.Params.Arguments["operation"].()で受け取る引数の型はfloat64でなければならないみたいですね。例えばintで渡すとエラーになります。ここは静的に型拘束がされない部分なので少しハマりました。ClineのMCPサーバを設定する画面で、「interface conversion: interface {} is float64, not int」というエラーが表示されて気付きました。

AIでかなり書けてしまった・・・。#

「brave-web-search」の部分の機能って、Model Context Protocol公式からのTypeScriptのサンプルはあったんですけど、Goのコードは皆無だったんですよね。なので、この機能を作るのは結構時間が掛かるのかなと思ってたんですけど・・・。

蓋を開けてみると、自分が書いたGoのMCPサーバのソース（確か日時計算のソースを見せたような。）と、MCP公式のBrave Search APIを叩くTypeScriptソースをClaude 3.7 sonnetに食わせたら、なんと2往復で実装することが出来てしまいました・・・。要は、使い方なんだなって思います。（1往復目で引っ掛かってたのは、JSONのパースエラーだけだった。）

まとめ#

Model Context Protocol（MCP）を使用することで、AIアシスタントの能力を大幅に拡張できます。今回紹介したmcps-goは、Goで実装された使いやすいMCPサーバで、算術計算、日時計算、HTTPリクエスト、Web検索などの機能を提供します。

これらの機能を活用することで、AIアシスタントはより実用的なタスクをこなせるようになり、ユーザーの生産性向上に貢献します。また、Goで実装されているため、高速で安定した動作が期待できます。

MCPの世界はまだ発展途上ですが、今後さらに多くの機能が追加され、AIアシスタントの可能性がさらに広がることでしょう。ぜひ、mcps-goを試してみて、AIアシスタントの新しい可能性を探ってみてください！

この青臭いまとめを書かないように直さなければならんな。

おしまい#

リサちゃん

ここまで出来るようになるんだなぁ

135ml

他にも作りたいですね。

以上になります！

Cline（Claude 3.7 Sonnet）にgcloudコマンドを網羅してもらった

Mon, 03 Mar 2025 00:00:00 GMT

はじまり#

リサちゃん

最近Google Cloudを使い始めたんだけど、コマンドラインからいろんな操作ができるって聞いたよ。gcloud CLIっていうやつかな？

135ml

そうですよ！　gcloud CLIはGoogle Cloudのリソースを管理するための強力なコマンドラインツールです。今日はそれで何ができるのか、詳しく見ていきましょうか？

リサちゃん

オオッ、それは助かる！どんなサービスが使えるのか全部知りたいな！

135ml

了解です！　それでは、gcloud CLIで利用できるサービスを全て解説していきますね！

gcloud CLIとは？#

この記事で Gemini にgcloudについてまとめてもらった時に、 Cline ならどうなるのか気になりました。

GeminiのDeep Researchでgcloudコマンドを網羅出来るかどうかを試す

Google Cloud内のリソースをCLI上で操作するためのツールであるgcloud CLIのコマンドをGeminiのDeep Researchでどれぐらい網羅出来るかどうかを試した記事です。

gcloud CLI は、 Google Cloud Platform （GCP）のリソースを管理するためのコマンドラインインターフェースです。ブラウザのコンソールを開かなくても、ターミナルから直接 GCP のさまざまなサービスを操作できる便利なツールなんですよ。

gcloud CLI の概要 | Google Cloud SDK | Google Cloud Documentation

インストールは簡単で、 Google Cloud SDK の一部として提供されています。 macOS、Windows、Linux など、主要な OS に対応しているので、どの環境でも使えるのが嬉しいポイントです。

gcloud CLIの基本構造#

gcloud CLI のコマンド構造は基本的に以下のようになっています：

Terminal window

1
gcloud [グループ] [サブグループ] [コマンド] [フラグ] [引数]

例えば、Compute Engineのインスタンスを一覧表示するコマンドは：

Terminal window

1
gcloud compute instances list --project=my-project

ここで、computeがグループ、instancesがサブグループ、listがコマンド、--project=my-projectがフラグとなります。

gcloud CLIで利用できるサービス一覧#

それでは、 gcloud CLI で利用できる主要なサービスを見ていきましょう！

1. Compute Engine (compute)#

Compute Engine は、 GCP の仮想マシンサービスです。 gcloud CLI を使えば、インスタンスの作成、起動、停止、削除などの操作が簡単にできます。

Terminal window

1
# インスタンスの一覧表示
2
gcloud compute instances list
3

4
# インスタンスの作成
5
gcloud compute instances create my-instance --machine-type=e2-medium --zone=us-central1-a
6

7
# インスタンスの起動
8
gcloud compute instances start my-instance --zone=us-central1-a
9

10
# インスタンスの停止
11
gcloud compute instances stop my-instance --zone=us-central1-a
12

13
# インスタンスの削除
14
gcloud compute instances delete my-instance --zone=us-central1-a

また、ディスク、ファイアウォールルール、ロードバランサーなどの管理も可能です。

Terminal window

1
# ディスクの作成
2
gcloud compute disks create my-disk --size=100GB --zone=us-central1-a
3

4
# ファイアウォールルールの作成
5
gcloud compute firewall-rules create allow-http --allow tcp:80
6

7
# ロードバランサーの作成
8
gcloud compute forwarding-rules create my-lb --load-balancing-scheme=EXTERNAL

2. App Engine (app)#

App Engineは、フルマネージドのアプリケーションプラットフォームです。gcloud CLIを使って、アプリケーションのデプロイや管理が行えます。

Terminal window

1
# アプリケーションの作成
2
gcloud app create --region=us-central
3

4
# アプリケーションのデプロイ
5
gcloud app deploy app.yaml
6

7
# アプリケーションの表示
8
gcloud app browse
9

10
# アプリケーションのログ表示
11
gcloud app logs read

3. Kubernetes Engine (container)#

Google Kubernetes Engine（GKE）は、Kubernetesのマネージドサービスです。gcloud CLIを使って、クラスタの作成や管理ができます。

Terminal window

1
# クラスタの作成
2
gcloud container clusters create my-cluster --num-nodes=3 --zone=us-central1-a
3

4
# クラスタの認証情報の取得
5
gcloud container clusters get-credentials my-cluster --zone=us-central1-a
6

7
# クラスタの一覧表示
8
gcloud container clusters list
9

10
# クラスタの削除
11
gcloud container clusters delete my-cluster --zone=us-central1-a

4. Cloud Storage (storage)#

Cloud Storageは、オブジェクトストレージサービスです。gcloud CLIを使って、バケットやオブジェクトの管理ができます。

Terminal window

1
# バケットの作成
2
gcloud storage buckets create gs://my-bucket
3

4
# バケットの一覧表示
5
gcloud storage buckets list
6

7
# ファイルのアップロード
8
gcloud storage cp local-file.txt gs://my-bucket/
9

10
# ファイルのダウンロード
11
gcloud storage cp gs://my-bucket/file.txt ./
12

13
# バケットの削除
14
gcloud storage buckets delete gs://my-bucket

5. Cloud SQL (sql)#

Cloud SQLは、マネージドのリレーショナルデータベースサービスです。gcloud CLIを使って、インスタンスの作成や管理ができます。

Terminal window

1
# インスタンスの作成
2
gcloud sql instances create my-instance --database-version=MYSQL_8_0 --tier=db-n1-standard-1
3

4
# インスタンスの一覧表示
5
gcloud sql instances list
6

7
# データベースの作成
8
gcloud sql databases create my-database --instance=my-instance
9

10
# ユーザーの作成
11
gcloud sql users create my-user --instance=my-instance --password=my-password
12

13
# インスタンスの削除
14
gcloud sql instances delete my-instance

6. Cloud Functions (functions)#

Cloud Functionsは、サーバーレスの関数実行環境です。gcloud CLIを使って、関数のデプロイや管理ができます。

Terminal window

1
# 関数のデプロイ
2
gcloud functions deploy my-function --runtime=nodejs14 --trigger-http --entry-point=helloWorld
3

4
# 関数の一覧表示
5
gcloud functions list
6

7
# 関数の詳細表示
8
gcloud functions describe my-function
9

10
# 関数の呼び出し
11
gcloud functions call my-function --data='{"name":"World"}'
12

13
# 関数の削除
14
gcloud functions delete my-function

7. Cloud Run (run)#

Cloud Runは、コンテナをサーバーレスで実行するサービスです。gcloud CLIを使って、サービスのデプロイや管理ができます。

Terminal window

1
# サービスのデプロイ
2
gcloud run deploy my-service --image=gcr.io/my-project/my-image --platform=managed
3

4
# サービスの一覧表示
5
gcloud run services list
6

7
# サービスの詳細表示
8
gcloud run services describe my-service
9

10
# サービスの削除
11
gcloud run services delete my-service

8. BigQuery (bq)#

BigQueryは、大規模データ分析サービスです。gcloud CLIを使って、データセットやテーブルの管理、クエリの実行ができます。

Terminal window

1
# データセットの作成
2
gcloud bq mk --dataset my-project:my-dataset
3

4
# テーブルの作成
5
gcloud bq mk --table my-project:my-dataset.my-table name:STRING,age:INTEGER
6

7
# クエリの実行
8
gcloud bq query --use_legacy_sql=false 'SELECT * FROM `my-project.my-dataset.my-table` LIMIT 10'
9

10
# データセットの削除
11
gcloud bq rm --dataset --force my-project:my-dataset

9. Pub/Sub (pubsub)#

Pub/Subは、メッセージングサービスです。gcloud CLIを使って、トピックやサブスクリプションの管理ができます。

Terminal window

1
# トピックの作成
2
gcloud pubsub topics create my-topic
3

4
# トピックの一覧表示
5
gcloud pubsub topics list
6

7
# サブスクリプションの作成
8
gcloud pubsub subscriptions create my-sub --topic=my-topic
9

10
# メッセージの発行
11
gcloud pubsub topics publish my-topic --message="Hello, World!"
12

13
# メッセージの受信
14
gcloud pubsub subscriptions pull my-sub --auto-ack

10. IAM & Admin (iam)#

IAM（Identity and Access Management）は、アクセス制御サービスです。gcloud CLIを使って、ロールやポリシーの管理ができます。

Terminal window

1
# サービスアカウントの作成
2
gcloud iam service-accounts create my-sa --display-name="My Service Account"
3

4
# ロールの付与
5
gcloud projects add-iam-policy-binding my-project --member=serviceAccount:my-sa@my-project.iam.gserviceaccount.com --role=roles/editor
6

7
# ポリシーの表示
8
gcloud projects get-iam-policy my-project
9

10
# サービスアカウントキーの作成
11
gcloud iam service-accounts keys create key.json --iam-account=my-sa@my-project.iam.gserviceaccount.com

11. Cloud Build (builds)#

Cloud Buildは、CIサービスです。gcloud CLIを使って、ビルドの実行や管理ができます。

Terminal window

1
# ビルドの実行
2
gcloud builds submit --config=cloudbuild.yaml .
3

4
# ビルドの一覧表示
5
gcloud builds list
6

7
# ビルドの詳細表示
8
gcloud builds describe BUILD_ID
9

10
# ビルドのログ表示
11
gcloud builds log BUILD_ID

12. Cloud Monitoring (monitoring)#

Cloud Monitoringは、モニタリングサービスです。gcloud CLIを使って、スヌーズやダッシュボードの管理ができます。アラートポリシーを管理するために、gcloud alpha monitoring policiesというコマンドがアルファ版では使えましたが、現行版では存在しません。

Terminal window

1
# スヌーズの一覧表示
2
gcloud monitoring snoozes list
3

4
# スヌーズの詳細表示
5
gcloud monitoring snoozes describe SNOOZE_ID
6

7
# ダッシュボードの一覧表示
8
gcloud monitoring dashboards list
9

10
# ダッシュボードの詳細表示
11
gcloud monitoring dashboards describe DASHBOARD_ID

13. Cloud Logging (logging)#

Cloud Loggingは、ログ管理サービスです。gcloud CLIを使って、ログの表示やフィルタリングができます。

Terminal window

1
# ログの表示
2
gcloud logging read "resource.type=gce_instance"
3

4
# ログのエクスポート
5
gcloud logging sinks create my-sink storage.googleapis.com/my-bucket --log-filter="resource.type=gce_instance"
6

7
# ログのフィルタリング
8
gcloud logging read "severity>=ERROR" --limit=10
9

10
# ログのメトリクスの作成
11
gcloud logging metrics create my-metric --description="My log metric" --filter="resource.type=gce_instance"

14. Cloud DNS (dns)#

Cloud DNSは、DNSサービスです。gcloud CLIを使って、ゾーンやレコードの管理ができます。

Terminal window

1
# ゾーンの作成
2
gcloud dns managed-zones create my-zone --dns-name=example.com. --description="My DNS zone"
3

4
# ゾーンの一覧表示
5
gcloud dns managed-zones list
6

7
# レコードの追加
8
gcloud dns record-sets transaction start --zone=my-zone
9
gcloud dns record-sets transaction add --zone=my-zone --name=www.example.com. --type=A --ttl=300 "203.0.113.1"
10
gcloud dns record-sets transaction execute --zone=my-zone
11

12
# レコードの一覧表示
13
gcloud dns record-sets list --zone=my-zone

15. Cloud KMS (kms)#

Cloud KMSは、鍵管理サービスです。gcloud CLIを使って、キーリングや鍵の管理ができます。

Terminal window

1
# キーリングの作成
2
gcloud kms keyrings create my-keyring --location=global
3

4
# 鍵の作成
5
gcloud kms keys create my-key --location=global --keyring=my-keyring --purpose=encryption
6

7
# 鍵の一覧表示
8
gcloud kms keys list --location=global --keyring=my-keyring
9

10
# データの暗号化
11
echo -n "Hello, World!" | gcloud kms encrypt --location=global --keyring=my-keyring --key=my-key --plaintext-file=- --ciphertext-file=encrypted.bin
12

13
# データの復号
14
gcloud kms decrypt --location=global --keyring=my-keyring --key=my-key --ciphertext-file=encrypted.bin --plaintext-file=decrypted.txt

16. Cloud Spanner (spanner)#

Cloud Spannerは、グローバルに分散したリレーショナルデータベースサービスです。gcloud CLIを使って、インスタンスやデータベースの管理ができます。

Terminal window

1
# インスタンスの作成
2
gcloud spanner instances create my-instance --config=regional-us-central1 --description="My Spanner instance" --nodes=1
3

4
# インスタンスの一覧表示
5
gcloud spanner instances list
6

7
# データベースの作成
8
gcloud spanner databases create my-database --instance=my-instance
9

10
# データベースの一覧表示
11
gcloud spanner databases list --instance=my-instance
12

13
# スキーマの更新
14
gcloud spanner databases ddl update my-database --instance=my-instance --ddl="CREATE TABLE Users (UserId INT64 NOT NULL, Name STRING(1024)) PRIMARY KEY (UserId)"

17. Cloud Dataflow (dataflow)#

Cloud Dataflowは、ストリーム処理および一括処理のサービスです。gcloud CLIを使って、ジョブの実行や管理ができます。

Terminal window

1
# ジョブの実行
2
gcloud dataflow jobs run my-job --gcs-location=gs://my-bucket/templates/my-template --region=us-central1
3

4
# ジョブの一覧表示
5
gcloud dataflow jobs list
6

7
# ジョブの詳細表示
8
gcloud dataflow jobs describe JOB_ID
9

10
# ジョブの停止
11
gcloud dataflow jobs cancel JOB_ID

18. Cloud Dataproc (dataproc)#

Cloud Dataprocは、マネージドのHadoopおよびSparkサービスです。gcloud CLIを使って、クラスタの作成や管理、ジョブの実行ができます。

Terminal window

1
# クラスタの作成
2
gcloud dataproc clusters create my-cluster --region=us-central1 --num-workers=2
3

4
# クラスタの一覧表示
5
gcloud dataproc clusters list --region=us-central1
6

7
# ジョブの実行
8
gcloud dataproc jobs submit spark --cluster=my-cluster --region=us-central1 --jar=gs://my-bucket/my-jar.jar -- arg1 arg2
9

10
# クラスタの削除
11
gcloud dataproc clusters delete my-cluster --region=us-central1

19. Cloud Bigtable (bigtable)#

Cloud Bigtableは、NoSQLデータベースサービスです。gcloud CLIを使って、インスタンスやテーブルの管理ができます。

Terminal window

1
# インスタンスの作成
2
gcloud bigtable instances create my-instance --cluster=my-cluster --cluster-zone=us-central1-a --display-name="My Bigtable instance"
3

4
# インスタンスの一覧表示
5
gcloud bigtable instances list
6

7
# テーブルの作成
8
cbt -instance=my-instance createtable my-table
9

10
# テーブルの一覧表示
11
cbt -instance=my-instance ls

20. Cloud Memorystore (redis)#

Cloud Memorystoreは、マネージドのRedisサービスです。gcloud CLIを使って、インスタンスの作成や管理ができます。

Terminal window

1
# インスタンスの作成
2
gcloud redis instances create my-instance --size=1 --region=us-central1 --redis-version=redis_6_x
3

4
# インスタンスの一覧表示
5
gcloud redis instances list
6

7
# インスタンスの詳細表示
8
gcloud redis instances describe my-instance --region=us-central1
9

10
# インスタンスの削除
11
gcloud redis instances delete my-instance --region=us-central1

21. Cloud Filestore (filestore)#

Cloud Filestoreは、マネージドのファイルストレージサービスです。gcloud CLIを使って、インスタンスの作成や管理ができます。

Terminal window

1
# インスタンスの作成
2
gcloud filestore instances create my-instance --tier=BASIC_HDD --file-share=name=my-share,capacity=1TB --network=name=default --region=us-central1 --zone=us-central1-a
3

4
# インスタンスの一覧表示
5
gcloud filestore instances list
6

7
# インスタンスの詳細表示
8
gcloud filestore instances describe my-instance --zone=us-central1-a
9

10
# インスタンスの削除
11
gcloud filestore instances delete my-instance --zone=us-central1-a

22. Cloud Composer (composer)#

Cloud Composerは、マネージドのAirflowサービスです。gcloud CLIを使って、環境の作成や管理ができます。

Terminal window

1
# 環境の作成
2
gcloud composer environments create my-environment --location=us-central1
3

4
# 環境の一覧表示
5
gcloud composer environments list --locations=us-central1
6

7
# 環境の詳細表示
8
gcloud composer environments describe my-environment --location=us-central1
9

10
# 環境の削除
11
gcloud composer environments delete my-environment --location=us-central1

23. Cloud Scheduler (scheduler)#

Cloud Schedulerは、ジョブスケジューリングサービスです。gcloud CLIを使って、ジョブの作成や管理ができます。

Terminal window

1
# ジョブの作成
2
gcloud scheduler jobs create http my-job --schedule="0 * * * *" --uri=https://example.com/path --http-method=GET
3

4
# ジョブの一覧表示
5
gcloud scheduler jobs list
6

7
# ジョブの実行
8
gcloud scheduler jobs run my-job
9

10
# ジョブの削除
11
gcloud scheduler jobs delete my-job

24. Cloud Tasks (tasks)#

Cloud Tasksは、非同期タスク実行サービスです。gcloud CLIを使って、キューやタスクの管理ができます。

Terminal window

1
# キューの作成
2
gcloud tasks queues create my-queue
3

4
# キューの一覧表示
5
gcloud tasks queues list
6

7
# キューの詳細表示
8
gcloud tasks queues describe my-queue
9

10
# タスクの作成
11
gcloud tasks create-http-task --queue=my-queue --url=https://example.com/path --method=GET

25. Cloud Endpoints (endpoints)#

Cloud Endpointsは、APIマネジメントサービスです。gcloud CLIを使って、APIの管理やデプロイができます。

Terminal window

1
# APIの作成
2
gcloud endpoints services deploy openapi.yaml
3

4
# APIの一覧表示
5
gcloud endpoints services list
6

7
# APIの詳細表示
8
gcloud endpoints services describe my-service.endpoints.my-project.cloud.goog
9

10
# APIの削除
11
gcloud endpoints services delete my-service.endpoints.my-project.cloud.goog

26. Cloud Healthcare (healthcare)#

Cloud Healthcareは、ヘルスケアデータ管理サービスです。gcloud CLIを使って、データセットやストアの管理ができます。

Terminal window

1
# データセットの作成
2
gcloud healthcare datasets create my-dataset --location=us-central1
3

4
# データセットの一覧表示
5
gcloud healthcare datasets list --location=us-central1
6

7
# FHIRストアの作成
8
gcloud healthcare fhir-stores create my-fhir-store --dataset=my-dataset --location=us-central1
9

10
# HL7v2ストアの作成
11
gcloud healthcare hl7v2-stores create my-hl7v2-store --dataset=my-dataset --location=us-central1

27. Cloud IoT Core (iot)#

Cloud IoT Coreは、IoTデバイス管理サービスです。gcloud CLIを使って、レジストリやデバイスの管理ができます。

Terminal window

1
# レジストリの作成
2
gcloud iot registries create my-registry --region=us-central1 --event-notification-config=topic=projects/my-project/topics/my-topic
3

4
# レジストリの一覧表示
5
gcloud iot registries list --region=us-central1
6

7
# デバイスの作成
8
gcloud iot devices create my-device --region=us-central1 --registry=my-registry --public-key=path=rsa_cert.pem,type=rs256
9

10
# デバイスの一覧表示
11
gcloud iot devices list --region=us-central1 --registry=my-registry

28. Cloud Asset (asset)#

Cloud Assetは、資産インベントリサービスです。gcloud CLIを使って、資産の一覧表示やエクスポートができます。

Terminal window

1
# 資産の一覧表示
2
gcloud asset list --project=my-project --content-type=resource
3

4
# 資産のエクスポート
5
gcloud asset export --project=my-project --content-type=resource --output-path=gs://my-bucket/assets.json
6

7
# 資産の履歴の表示
8
gcloud asset history --project=my-project --asset-names=//compute.googleapis.com/projects/my-project/zones/us-central1-a/instances/my-instance --content-type=resource

29. Cloud Deployment Manager (deployment-manager)#

Cloud Deployment Managerは、インフラストラクチャ管理サービスです。gcloud CLIを使って、デプロイメントの作成や管理ができます。

Terminal window

1
# デプロイメントの作成
2
gcloud deployment-manager deployments create my-deployment --config=config.yaml
3

4
# デプロイメントの一覧表示
5
gcloud deployment-manager deployments list
6

7
# デプロイメントの詳細表示
8
gcloud deployment-manager deployments describe my-deployment
9

10
# デプロイメントの削除
11
gcloud deployment-manager deployments delete my-deployment

30. Cloud Security Command Center (scc)#

Cloud Security Command Centerは、セキュリティ管理サービスです。gcloud CLIを使って、ファインディングやアセットの管理ができます。

Terminal window

1
# ファインディングの一覧表示
2
gcloud scc findings list --organization=ORGANIZATION_ID --source=SOURCE_ID
3

4
# アセットの一覧表示
5
gcloud scc assets list --organization=ORGANIZATION_ID --source=SOURCE_ID
6

7
# ソースの一覧表示
8
gcloud scc sources list --organization=ORGANIZATION_ID

まとめ#

今回は、 gcloud CLI で利用できる主要なサービスを30個紹介しました。これらのサービスを使いこなせば、 Google Cloud のリソースをコマンドラインから効率的に管理できるようになります。

gcloud CLI の魅力は、 GUI での操作をスクリプト化できることです。複雑な操作も自動化できるので、 DevOps の実践には欠かせないツールと言えるでしょう。

また、gcloud helpコマンドを使えば、各コマンドの詳細なヘルプを表示できます。わからないことがあれば、このコマンドを活用してみてください。

Terminal window

1
# 基本的なヘルプ
2
gcloud help
3

4
# 特定のコマンドのヘルプ
5
gcloud compute instances create --help

また、今回gcloud helpコマンドの出力を眺めていたら、公式チートシート的な情報も転がっていました。用途によって有用なgcloudコマンドを調べることが出来ます。

Terminal window

1
gcloud cheat-sheet

gcloud CLI は非常に多機能なので、今回紹介したサービス以外にも多くの機能があります。ぜひ公式ドキュメントも参照しながら、自分のニーズに合った使い方を見つけてみてください。

・・・という感じに Cline はまとめてくれました。

これで Brave とかの MCP サーバ建てたらどうなっちゃうんでしょうか。

おしまい#

リサちゃん

すごい！こんなにたくさんのサービスがgcloud CLIから使えるんだね！

135ml

そうなんですよ、Google Cloudのほぼすべてのサービスがコマンドラインから操作できるんです。特に自動化やCI/CDパイプラインを構築する際には、とても便利ですよ！

リサちゃん

これは勉強になったよ！早速使ってみるね。ありがとう、135ml！

135ml

どういたしまして！何か困ったことがあったらいつでも聞いてくださいね！

リサちゃん

・・・この会話は流石にキモいなあ。

135ml

そんなこと言われたって・・・。

以上になります！

GeminiのDeep Researchでgcloudコマンドを網羅出来るかどうかを試す

Sun, 02 Mar 2025 00:00:00 GMT

はじまり#

リサちゃん

どれほどなんだろうか

135ml

お手並み拝見させていただきます。

GeminiのDeep Researchを試す。#

Gemini の Deep Research やら、 ChatGPT の Deep Research やら、 Perplexity の Deep Research やら、色々な Deep Research に関する記事をたまに見かけますよね。（Deep Research なのか DeepResearch なのかもう見分けが付きません・・・。）

そこで今回は、 Gemini の Deep Research を使って、実際に調べてもらいたかったことを調べてみた結果を確認していこうと思います。ついこの間、 Google Gemini 上で Deep Research を機能制限付きで無料で利用出来るようになったのでした。

Deep Researchの出力結果#

早速調査結果を見てみます。「gcloud CLIで利用出来るサービスを全て列挙して解説して。」という内容で調査してもらいました。

gcloud CLI の概要 | Google Cloud SDK | Google Cloud Documentation

それでは出力結果をどうぞ・・・

1. はじめに#

Google Cloud CLI（gcloud CLI）は、コマンドラインインターフェースを通じてGoogle Cloudリソースを作成および管理するための一連のツールです。このツール群を利用することで、Google Cloudプラットフォーム上の多くの一般的なタスクを、コマンドラインやスクリプト、その他の自動化を通じて実行できます。例えば、Compute Engineの仮想マシンインスタンスやその他のリソース、Cloud SQLインスタンス、Google Kubernetes Engine（GKE）クラスタ、Dataprocクラスタとジョブ、Cloud DNSの管理対象ゾーンとレコードセット、Cloud Deployment Managerのデプロイメントなどの作成と管理が可能です。

gcloud CLIは、広範なGoogle Cloudサービスをコマンドラインインターフェースを通じて操作できる柔軟性を提供し、仮想マシンの管理からアプリケーションのデプロイ、ネットワーク構成まで、多岐にわたるタスクを効率的に実行できます。さらに、gcloud CLIはCloud Shellと統合されており、ローカル環境にインストールすることなく、ウェブブラウザを通じてGoogle Cloudリソースを管理できる利便性も備えています。Cloud Shellは、gcloud CLIを含む様々なツールがプリインストールされたインタラクティブなシェル環境であり、Google Cloudのリソースをすぐに試したり、管理したりすることができます。

本レポートでは、gcloud CLIで利用可能な主要なGoogle Cloudサービスを網羅的に解説します。各サービスが提供する機能の概要と、gcloud CLIを通じてどのように管理できるかについて詳しく説明します。

2. gcloud CLIの構造#

gcloud CLIのコマンドは、機能やサービスごとに階層的なグループに整理されています。この構造により、ユーザーは目的の操作に対応するコマンドを見つけやすくなっています。例えば、gcloud computeコマンドグループはCompute Engineに関連する操作を、gcloud storageコマンドグループはCloud Storageに関連する操作を、そしてgcloud containerコマンドグループはGoogle Kubernetes Engineに関連する操作をそれぞれまとめたものです。これらのコマンドグループは、特定のGoogle Cloudプロダクトや機能の操作を論理的にグループ化し、ユーザーがCLIをより直感的に利用できるように設計されています。

gcloud CLIの基本的なコマンド構文は、gcloud <command_group> <sub_group> <action> [flags] [arguments] の形式をとります。<command_group> は操作対象のGoogle Cloudサービス（例：compute, storage, container）、<sub_group> はさらに細かいカテゴリ（例：instances, buckets, clusters）、<action> は実行する操作（例：create, list, describe, delete）を示します。[flags] はコマンドの動作を修飾するオプション（例：--zone でゾーンを指定、--project でプロジェクトを指定）、[arguments] は操作に必要な具体的なパラメータ（例：インスタンス名、バケット名）です。

gcloud CLIには、コマンドの安定性を示すためにリリースレベルの概念があります。General Availability（GA）レベルのコマンドは、完全に安定しており、本番環境での利用が推奨されます。Betaレベルのコマンドは、機能的には完了していますが、まだいくつかの未解決の問題が存在する可能性があり、予告なしに破壊的な変更が加えられることがあります。Alphaレベルのコマンドは、早期リリース段階であり、予告なしに変更される可能性があります。Beta版およびAlpha版のコマンドを利用するには、対応するコンポーネントを明示的にインストールする必要があります。これは、gcloud components install alpha または gcloud components install beta コマンドを使用して行います。

3. gcloudコマンドグループと対応するGoogle Cloudサービスの詳細リスト#

以下に、gcloud CLIで利用可能な主要なGoogle Cloudサービスと、それに対応するコマンドグループ、および基本的な操作の例を詳しく解説します。

3.1. コンピューティングサービス#

Compute Engine: 仮想マシンの作成と管理を行うサービスです。gcloud compute コマンドグループを使用します。仮想マシンの作成 (gcloud compute instances create --zone [ZONE_NAME]) 、インスタンスの一覧表示 (gcloud compute instances list) 、特定インスタンスの詳細表示 (gcloud compute instances describe --zone [ZONE_NAME]) 、インスタンスへのSSH接続 (gcloud compute ssh --zone [ZONE_NAME]) 、ディスクのスナップショット作成 (gcloud compute disks snapshot --zone [ZONE_NAME] --snapshot-names) 、ファイアウォールルールの管理 (gcloud compute firewall-rules list, gcloud compute firewall-rules create --allow: --source-ranges) など、多岐にわたる操作が可能です。
App Engine: スケーラブルなウェブアプリケーションを構築およびホストするためのプラットフォームサービスです。gcloud app コマンドグループを使用します。アプリケーションのデプロイ (gcloud app deploy) 、アプリケーションの構成管理、トラフィックのルーティングなどが可能です。
Google Kubernetes Engine (GKE): コンテナ化されたアプリケーションをKubernetesを使用してデプロイ、管理、スケーリングするためのマネージドサービスです。gcloud container コマンドグループを使用します。クラスタの作成 (gcloud container clusters create --zone [ZONE_NAME] --num-nodes) 、クラスタの一覧表示 (gcloud container clusters list) 、クラスタへの接続に必要な認証情報の取得 (gcloud container clusters get-credentials --zone [ZONE_NAME]) 、ノードプールの管理、クラスタのスケーリング (gcloud container clusters resize --node-count --zone [ZONE_NAME]) などが可能です。
Cloud Functions: サーバーレスでイベントドリブンな関数を実行できるコンピューティングサービスです。gcloud functions コマンドグループを使用します。関数のデプロイ (gcloud functions deploy --runtime --trigger-http --entry-point --region) 、関数の呼び出し、ログの表示などが可能です。
Cloud Run: コンテナ化されたアプリケーションをフルマネージドなサーバーレスプラットフォームで実行および管理できるサービスです。gcloud run コマンドグループを使用します。サービスのデプロイ (gcloud run deploy --image --region)、トラフィックの管理、カスタムドメインの設定などが可能です。

3.2. ストレージとデータベースサービス#

Cloud Storage: スケーラブルで耐久性のあるオブジェクトストレージサービスです。gcloud storage コマンドグループ（以前は gsutil）を使用します。バケットの作成 (gcloud storage buckets create gs:// --location=) 、ファイルやフォルダのアップロード (gcloud storage cp gs:///) 、ダウンロード (gcloud storage cp gs:///)、削除 (gcloud storage rm gs:///) 、バケットやオブジェクトのIAMポリシー管理 (gcloud storage buckets add-iam-policy-binding gs:// --member=user:[EMAIL] --role=, gcloud storage buckets get-iam-policy gs://) などが可能です。
Cloud SQL: MySQL、PostgreSQL、SQL Serverのフルマネージドなリレーショナルデータベースサービスです。gcloud sql コマンドグループを使用します。インスタンスの作成 (gcloud sql instances create --database-version= --region= --tier=)、インスタンスの一覧表示 (gcloud sql instances list)、データベースの作成、バックアップの管理 (gcloud sql backups list, gcloud sql backups describe --instance=) 、データのインポート/エクスポート (gcloud sql export sql --database= --uri=gs:///[FILE_NAME].sql) などが可能です。
Cloud Bigtable: 高速でスケーラブルなNoSQLデータベースサービスです。gcloud bigtable コマンドグループは、alpha および beta コンポーネントを通じて提供されます。テーブルの作成、データの読み書き、インスタンスの管理などが可能です。
Cloud Spanner: グローバルにスケーラブルで、トランザクション整合性を保証するリレーショナルデータベースサービスです。gcloud spanner コマンドグループを使用します。インスタンスの作成、データベースの管理、データの操作などが可能です。
Firestore: モバイルおよびウェブアプリケーション向けのNoSQLドキュメントデータベースです。gcloud firestore コマンドグループを使用します。データの追加、クエリ、インデックスの管理などが可能です。
Memorystore: RedisおよびMemcachedのフルマネージドなインメモリデータストアサービスです。gcloud memorystore redis および gcloud memorystore memcached コマンドグループを使用します。インスタンスの作成、構成、スケーリングなどが可能です。

3.3. ネットワークサービス#

Virtual Private Cloud (VPC): Google Cloudリソースをホストするためのプライベートネットワークを提供します。gcloud compute networks コマンドグループを使用します。ネットワークの作成 (gcloud compute networks create --subnet-mode custom) 、サブネットの作成 (gcloud compute networks subnets create --network --region --range) 、ファイアウォールルールの管理 (gcloud compute firewall-rules list, gcloud compute firewall-rules create --network --allow: --source-ranges) 、ルーティングの管理などが可能です。
Cloud Load Balancing: アプリケーションやサービスへのトラフィックを分散するためのフルマネージドでスケーラブルなロードバランシングソリューションです。gcloud compute forwarding-rules、gcloud compute backend-services などのコマンドグループを使用します。ロードバランサーの作成、バックエンドサービスの構成、ヘルスチェックの設定などが可能です。
Cloud CDN: Googleのグローバルに分散されたエッジロケーションを使用してコンテンツをユーザーに近い場所にキャッシュするコンテンツ配信ネットワークです。gcloud compute cdn-policies、gcloud compute backend-buckets などのコマンドグループを使用します。CDNポリシーの作成、オリジンサーバーの構成などが可能です。
Cloud DNS: スケーラブルで高性能なDNSサービスで、アプリケーションのドメイン名解決を管理します。gcloud dns managed-zones、gcloud dns record-sets コマンドグループを使用します。管理対象ゾーンの作成、DNSレコードの追加/削除などが可能です。
Cloud Interconnect: オンプレミスインフラストラクチャとGoogle Cloud間のプライベートで高性能な接続を可能にします。gcloud compute interconnects、gcloud compute routers などのコマンドグループを使用します。インターコネクト接続の作成、ルーターの設定などが可能です。

3.4. ビッグデータと分析サービス#

BigQuery: 高速なSQLクエリを大規模データセットに対して実行できるフルマネージドなサーバーレスデータウェアハウスです。bq コマンドラインツールを使用します。データセットの作成 (bq mk)、テーブルの作成 (bq mk.)、クエリの実行 (bq query --use_legacy_sql=false '')、データのロード (bq load --source_format=.) などが可能です。gcloud beta bq コマンドグループも存在し、beta コンポーネントをインストールすることで利用できます。
Dataproc: Apache HadoopおよびApache Sparkクラスタを実行するためのフルマネージドなクラウドサービスです。gcloud dataproc clusters、gcloud dataproc jobs コマンドグループを使用します。クラスタの作成 (gcloud dataproc clusters create --region --zone [ZONE_NAME] --master-machine-type --worker-machine-type --num-workers)、ジョブの実行 (gcloud dataproc jobs submit --cluster= --region= --)、クラスタの管理などが可能です。
Dataflow: Apache Beamを使用したストリーミングおよびバッチデータ処理のためのフルマネージドサービスです。gcloud dataflow jobs コマンドグループは、alpha および beta コンポーネントを通じて提供されます。ジョブの実行、監視などが可能です。
Pub/Sub: イベントドリブンなアーキテクチャとリアルタイム分析パイプラインを構築するためのメッセージングサービスです。gcloud pubsub topics、gcloud pubsub subscriptions コマンドグループを使用します。トピックの作成 (gcloud pubsub topics create)、サブスクリプションの作成 (gcloud pubsub subscriptions create --topic)、メッセージのパブリッシュ/サブスクライブなどが可能です。

3.5. AIと機械学習サービス#

Vertex AI / AI Platform: 機械学習モデルの構築、トレーニング、デプロイのための統合プラットフォームです。gcloud ai および gcloud ai-platform コマンドグループを使用します。モデルのトレーニング (gcloud ai-platform jobs submit training --module-name [MODULE_NAME] --package-path --region --staging-bucket gs:// --)、モデルのデプロイ、予測の実行などが可能です。
Cloud TPUs: 機械学習アプリケーション向けのTensor Processing Unitです。Compute Engineのオプションとして利用でき、gcloud compute tpus コマンドグループを通じて管理できます。TPUノードの作成、管理などが可能です。

3.6. セキュリティとIDサービス#

IAM (Identity and Access Management): Google Cloudリソースへのアクセス制御を管理するためのサービスです。gcloud iam コマンドグループを使用します。プロジェクトのIAMポリシーの取得 (gcloud projects get-iam-policy) 、IAMポリシーへのバインディングの追加 (gcloud projects add-iam-policy-binding --member=user:[EMAIL] --role=) 、IAMポリシーからのバインディングの削除 (gcloud projects remove-iam-policy-binding --member=user:[EMAIL] --role=) 、カスタムロールの作成 (gcloud iam roles create --project= --permissions=, --title=) 、サービスアカウントの作成 (gcloud iam service-accounts create --display-name= --project=) 、サービスアカウントのキーのリスト表示 (gcloud iam service-accounts keys list --iam-account= --project=) など、詳細なアクセス制御管理が可能です。
Cloud Identity: GoogleのIDaaS（Identity as a Service）です。gcloud identity groups コマンドグループを使用します。グループの作成 (gcloud identity groups create --parent= --group-id= --display-name=) 、グループの削除 (gcloud identity groups delete) 、グループメンバーシップのリスト表示 (gcloud identity groups memberships list --group-email=) 、グループへのメンバーの追加 (gcloud identity groups memberships add --group-email= --member-email=) 、グループからのメンバーの削除 (gcloud identity groups memberships delete --group-email= --member-email=) など、グループとメンバーシップの管理が可能です。
Security Command Center: Google Cloudのセキュリティとリスク管理プラットフォームです。gcloud scc コマンドグループを使用します。セキュリティ検出結果のリスト表示、アセットの調査、セキュリティ設定の管理などが可能です。
Cloud KMS (Key Management Service): 暗号化キーを安全に管理するためのサービスです。gcloud kms コマンドグループを使用します。キーリングの作成、暗号化キーの作成、暗号化 (gcloud kms encrypt --keyring= --key=[KEY_NAME] --location= --plaintext-file= --ciphertext-file=)、復号 (gcloud kms decrypt --keyring= --key=[KEY_NAME] --location= --ciphertext-file= --plaintext-file=) などが可能です。

3.7. 管理ツール#

Cloud Monitoring: Google Cloudリソースとアプリケーションのパフォーマンスと可用性を監視するためのフルマネージドサービスです。gcloud monitoring コマンドグループを使用します。メトリクスのリスト表示、アラートの作成、ダッシュボードの管理などが可能です。
Cloud Logging: ログデータの保存、検索、分析、監視を行うためのフルマネージドサービスです。gcloud logging コマンドグループを使用します。ログのリスト表示 (gcloud logging logs list) 、ログの読み取り (gcloud logging read "resource.type=gce_instance" --limit 5) 、シンクの作成などが可能です。
Cloud Deployment Manager: インフラストラクチャをコードとして管理するためのサービスです。gcloud deployment-manager deployments コマンドグループを使用します。デプロイメントの作成 (gcloud deployment-manager deployments create --config [CONFIG_FILE]) 、デプロイメントの更新 (gcloud deployment-manager deployments update --config [CONFIG_FILE]) 、デプロイメントの削除などが可能です。
Cloud Shell: ウェブブラウザからアクセスできるコマンドライン環境です。直接的な gcloud cloud-shell コマンドグループはありませんが、gcloud CLI自体がCloud Shell内でプリインストールされ、利用可能です。

3.8. その他のgcloudでアクセス可能な関連サービス#

Cloud Build: Google Cloudインフラストラクチャ上でビルドを実行するサービスです。gcloud builds コマンドグループを使用します。ビルドの送信 (gcloud builds submit --config)、ビルドのリスト表示、ビルドの詳細表示などが可能です。
Artifact Registry: コンテナイメージや言語パッケージを保存、管理、保護するためのフルマネージドサービスです。gcloud artifacts repositories、gcloud artifacts packages、gcloud artifacts versions などのコマンドグループを使用します。リポジトリの作成、イメージのプッシュ/プル、パッケージの管理などが可能です。
Cloud Tasks: 非同期タスクの実行を管理するためのフルマネージドサービスです。gcloud tasks queues、gcloud tasks tasks コマンドグループを使用します。キューの作成、タスクの作成、タスクの実行などが可能です。
Secret Manager: 機密情報を安全に保存およびアクセスするためのサービスです。gcloud secrets コマンドグループを使用します。シークレットの作成 (gcloud secrets create --replication-policy automatic)、シークレットへのバージョンの追加 (gcloud secrets versions add --data-file)、シークレットのバージョンのアクセス (gcloud secrets versions access --secret=) などが可能です。
Service Directory: サービスの検出、公開、接続を行うためのスケーラブルで可用性の高いサービスです。gcloud service-directory namespaces、gcloud service-directory services、gcloud service-directory endpoints などのコマンドグループを使用します。名前空間の作成、サービスの登録、エンドポイントの管理などが可能です。

Table 1: gcloudコマンドグループと対応するGoogle Cloudサービス (一部抜粋)

gcloudコマンドグループ	対応するGoogle Cloud サービス	説明	主な操作(例)
`gcloud compute`	Compute Engine	仮想マシンの作成と管理	インスタンスの作成(`create`)、一覧表示(`list`)、SSH接続(`ssh`)
`gcloud app`	App Engine	スケーラブルなウェブアプリケーションのホスティング	アプリケーションのデプロイ (`deploy`)
`gcloud container`	Google Kubernetes Engine (GKE)	Kubernetesクラスタの管理	クラスタの作成(`create`)、一覧表示(`list`)、認証情報の取得(`get-credentials`)
`gcloud storage`	Cloud Storage	オブジェクトストレージ	バケットの作成(`buckets create`)、ファイルのアップロード(`cp`)、ダウンロード(`cp`)
`gcloud sql`	Cloud SQL	マネージドリレーショナルデータベース	インスタンスの一覧表示(`instances list`)、バックアップのリスト表示(`backups list`)
`gcloud iam`	Identity and Access Management (IAM)	アクセス制御と権限管理	IAMポリシーの取得(`projects get-iam-policy`)、ロールの付与(`projects add-iam-policy-binding`)
`gcloud identity groups`	Cloud Identity	グループとメンバーシップの管理	グループの作成(`create`)、メンバーの追加 (`memberships add`)
`gcloud logging`	Cloud Logging	ログデータの管理と分析	ログのリスト表示(`logs list`)、ログの読み取り(`read`)
`gcloud deployment-manager deployments`	Cloud Deployment Manager	インフラストラクチャのコード管理	デプロイメントの作成(`create`)、更新(`update`)
`bq`	BigQuery	サーバーレスデータウェアハウス	データセットの作成(`mk`)、クエリの実行(`query`)

4. 結論#

本レポートでは、gcloud CLI を通じて利用可能な主要な Google Cloud サービスについて、その機能概要と基本的な操作方法を解説しました。gcloud CLI は、 Compute Engine や Cloud Storage といった基本的なインフラストラクチャサービスから、 App Engine や GKE のようなプラットフォームサービス、さらには BigQuery や Vertex AI といった高度なデータ分析や機械学習サービスまで、広範な Google Cloud の機能をコマンドラインから効率的に管理するための強力なツールであることが示されました。

gcloud CLI のコマンドグループ構造を理解し、各サービスに対応するコマンドとそのオプションを適切に利用することで、ユーザーは Google Cloud 環境を柔軟かつ効果的に制御できます。また、 Cloud Shell との統合により、環境構築の手間を省き、すぐにコマンドラインでの操作を開始できる点も大きな利点です。gcloud CLI は、 Google Cloud を活用するすべての技術者にとって、習得と活用が推奨される重要なツールと言えるでしょう。

レポートで使用されているソース#

・・・

評価してみます。#

概ねのgcloudコマンドは網羅できていそうですね。流石は Google 様の Gemini 様といったところでしょうか。

しかし、満足かと言われると微妙なところでした。

気になった部分。#

個人的には以下の部分が気になりました。

gcloud schedulerが無い。bqとかgsutilとかはあるけど。gcloud schedulerコマンドは、gcloud CLI referenceに載ってないんですね・・・。ジョブを登録するときとかに使うのに・・・。
gcloud pubsubが解説文には記載されているのに、一覧のテーブルには載せてくれていない。解説したものは全て網羅してまとめて欲しい。
調査結果の出力の仕方がちょっと微妙。テーブル形式にした部分とリンク付きのテキストを Markdown と整合性が取れるように貼り付けることが出来ませんでした。
- テーブル形式にした部分はスプレッドシートとして出力することが可能なのですが、それだとインラインコードとして記述されている部分が普通のテキストになってしまうんですよね・・・。それはちょっと可読性が低い。なので、テーブルの部分だけはスクショして、 Vertex AI で OCR して Markdown のテーブル形式にしてもらったら、イイ感じになりました。こうしないと Notion に貼り付けられないんですよね。
- リンク付きのテキストに関しては、最初レポートで使用されているソースのリンクが、ただリンクが貼ってあっただけだったので、ウェブページの題名にリンクを貼り付けるように指示しました。しかし、出力の質は微妙・・・。
  - あと、 Internal Server Error のサイトを載せていたりもしました。まあ少しぐらいの綻びはしょうがないか。

網羅し切れていない部分があったのは少し残念でした。 Google 検索すればちゃんと出てきますしね。

修正箇所が多い。#

また、修正する場所と、コピペで引用できない部分があって困りました。

Gemini からの下記のようなテーブル形式の出力は、コピペで Notion とかに貼り付けられませんでした。スプレッドシートで出力し直すことも可能なのですが、そうするとテーブルの中のインラインコードの書式は消えてしまい、見づらい表になってしまいます・・・。なんだかなあ・・・。

なので、仕方なくテーブルをスクショして Vertex AI で OCR してもらう処理が必要だったりしました。

さらに、 Deep Research では引用元のソースを列挙してくれるのですが、このソースを URL のみで出力してきました。どうせならページの題名に埋め込んでほしかったなあ・・・。

埋め込むようにお願いすると、なんかチグハグな出力になったりします。うーんこの。

Clineに聞いたらどうまとまる？#

Deep Research で抜けがあるのであれば、事前学習モデルだけのClineだとちょっと厳しい？

Claude 3.7 Sonnet で試してみます。

プロンプトの際に、以前に作った僕のブログ記事の文体を分析した資料を踏まえてまとめてもらいます。

【Notion、Bash】Clineで綴るPythonのtypingモジュール完全ガイド

Clineで記事を書くために、自分が今まで書いた記事の文体や特徴をまとめるための資料を作る工程を紹介した記事です。NotionからMarkdownをエクスポートしてBashで加工してWordPressで反映します。

それでは出力結果をどうぞ・・・

すみません。出力されたボリュームがなかなかに多いので別記事にしました。

Cline（Claude 3.7 Sonnet）にgcloudコマンドを網羅してもらった

Google Cloud内のリソースをCLI上で操作するためのツールであるgcloud CLIのコマンドをClineでどれぐらい網羅出来るかどうかを試した記事です。

Clineに自分をエミュレートさせて技術記事を代筆させてみたらビビった

まとめ#

Gemini の Deep Research と Cline で、以下の点で差異があったと思います。

	Gemini	Cline
記述形式	文章を多用。	コードブロックを多用。
まとめ	本文内の項目を表形式でまとめた。	本文内の項目には触れず、ヘルプコマンドで網羅可能である事を紹介した。
過不足	漏れあり	非推奨のサービスによる過剰あり
人間による修正	多い	殆ど無い
情報のソース	あり	なし
ボリューム（扱ったサービス）	34	30
ボリューム（扱ったスニペット）	50ぐらい？	136
価格	$0（今回は無料版でした。）	$0.29（API従量課金のみ）
拡張性	低い	高い

個人的に、まとめ方は Cline の方が見やすくて良かったですね。最後にヘルプコマンドを教えてくれるのも柔軟性が有ました。これに、 Brave とかの MCP サーバ建てたら、 Deep Research を超えるかもしれない・・・。

Gemini にも、 Cline に読み込ませた僕のブログ記事の文体を分析した資料を読ませましたが、途中の記述の仕方が少しだけ変わりましたが、全体的な構成は殆ど変わりませんでした。

おしまい#

リサちゃん

やはり沢山書いてくれますねぇ

135ml

これが無料になったのはデカイ。

以上になります！

【Notion、Bash】Clineで綴るPythonのtypingモジュール完全ガイド

Sat, 01 Mar 2025 00:00:00 GMT

はじまり#

135ml

・・・というものが出来てしまったな。

リサちゃん

作れてしまいました

Clineに自分のブログ記事に関してまとめてもらった。#

さすがにそろそろ生成AIに記事を書いてもらいたくなりました。

そこで今回は、 Cline に自分のブログ記事の文章の文体や内容の特徴などをまとめてもらって、そのまとめを基に記事を執筆してもらいました。

以下の記事を参考にさせていただきました。

Zenn

zenn.dev

資料を作る。#

まずは、 Cline にwriting-style.mdという文体や記事の特徴をまとめた資料を作ってもらいます。そのために、その資料を作るための記事の文章が入った Markdown を沢山作っていきましょう。自分は記事を書く際に Notion にメモるようにしているので、 Notion からページ群をエクスポートします。エクスポートすると、沢山 Markdown ファイルが手に入ります。

1
/home/user/My_Tasks xxxxxxxxxxxx45458198b099a00e647c/target_markdowns
2
|--3DMarkに関する情報をまとめた_20241205_kinkinbeer135ml xxxxxxxxxxxxxxxdb2a1eb4e0d63af6b.md
3
|--40万円で手に入れた2つのPCの性能のベンチマークを比較する（第1回：3DMarkとCinebe xxxxxxxxxxxxxxb9be3f129b4642f3c.md
4
|--40万円で手に入れた2つのPCの性能のベンチマークを比較する（第2回：Satisfactoryや xxxxxxxxxxxxxx8ea2d6ca55426b306b.md
5
|--B650_Steel_Legend_WiFiで使えるASRock Polychrome RGBの入 xxxxxxxxxxxxxx9a79c2147b8f4f3b.md
6
|--ChocolateyでWindowsに一気にインストールする_20250105_kinkinbee xxxxxxxxxxxxxx83b2a4c2bdf6c0465c.md
7
...

Notion でエクスポートした Markdown の中には、ページのプロパティや自分がメモした情報などが載っていて余分な情報が混ざっているので、本当に欲しい情報を抽出します。

自分の場合は、記事を書く際に必ず# Content\\n\\n## はじまり\\nという正規表現が引っ掛かる部分以降に記事の本文をバックアップするようにしているので、その目印を基に文章を抽出していきます。シェル関数で抽出します。

Terminal window展開する折りたたむ

1
function move_files_from_list() {
2
  local func_name="move_files_from_list"
3

4
  # ヘルプ表示
5
  if [[ "$1" == "--help" ]]; then
6
    echo "[INFO] ${func_name}: 使用方法"
7
    echo "  ${func_name} <ファイルリスト> <移動先ディレクトリ> [デフォルト拡張子]"
8
    echo ""
9
    echo "説明:"
10
    echo "  指定されたファイルリストに記載されているファイルを移動先ディレクトリに移動します。"
11
    echo "  ファイル名に拡張子がない場合は、指定されたデフォルト拡張子が追加されます。"
12
    echo ""
13
    echo "パラメータ:"
14
    echo "  <ファイルリスト>      移動対象ファイル名が記載されたテキストファイル（必須）"
15
    echo "  <移動先ディレクトリ>  ファイルの移動先ディレクトリ（必須）"
16
    echo "  [デフォルト拡張子]    拡張子のないファイル名に追加する拡張子（省略時は .md）"
17
    echo ""
18
    echo "使用例:"
19
    echo "  ${func_name} ファイルリスト.txt /path/to/destination"
20
    echo "  ${func_name} ファイルリスト.txt /path/to/destination .txt"
21
    return 0
22
  fi
23

24
  # 引数チェック
25
  if [ $# -lt 2 ] || [ $# -gt 3 ]; then
26
    echo "[ERROR] ${func_name}: 引数の数が不正です"
27
    echo "[INFO] ${func_name}: 使用法を確認するには「${func_name} --help」を実行してください"
28
    return 1
29
  fi
30

31
  local file_list=$1
32
  local dest_dir=$2
33
  local default_ext=".md"  # デフォルトの拡張子は.md
34
  local moved_count=0      # 移動したファイル数をカウント
35

36
  # 引数で拡張子が指定されている場合は上書き
37
  if [ $# -eq 3 ]; then
38
    default_ext=$3
39
    # 拡張子の先頭にドットがなければ追加
40
    if [[ ! $default_ext =~ ^\. ]]; then
41
      default_ext=".$default_ext"
42
    fi
43
  fi
44

45
  # 移動先ディレクトリの存在確認
46
  if [ ! -d "$dest_dir" ]; then
47
    echo "[ERROR] ${func_name}: 移動先ディレクトリ '$dest_dir' が存在しません"
48
    return 1
49
  fi
50

51
  # ファイルリストの存在確認
52
  if [ ! -f "$file_list" ]; then
53
    echo "[ERROR] ${func_name}: ファイルリスト '$file_list' が見つかりません"
54
    return 1
55
  fi
56

57
  echo "[INFO] ${func_name}: ファイルの移動を開始します..."
58

59
  # ファイルリストを読み込んで移動
60
  while IFS= read -r filename || [ -n "$filename" ]; do
61
    # 空行をスキップ
62
    if [ -z "$filename" ]; then
63
      continue
64
    fi
65

66
    # 拡張子の確認と追加
67
    local actual_filename="$filename"
68
    if [[ ! "$filename" =~ \.[^./]+$ ]]; then
69
      actual_filename="${filename}${default_ext}"
70
      echo "[INFO] ${func_name}: 拡張子なしファイル '$filename' に '$default_ext' を追加しました: '$actual_filename'"
71
    fi
72

73
    # ファイルの存在確認
74
    if [ -f "$actual_filename" ]; then
75
      mv "$actual_filename" "$dest_dir"
76
      echo "[INFO] ${func_name}: '$actual_filename' を '$dest_dir' に移動しました"
77
      ((moved_count++))
78
    else
79
      echo "[ERROR] ${func_name}: '$actual_filename' が見つからないためスキップします"
80
    fi
81
  done < "$file_list"
82

83
  # 移動したファイル数を表示
84
  if [ $moved_count -eq 0 ]; then
85
    echo "[INFO] ${func_name}: 移動したファイルはありません"
86
  else
87
    echo "[INFO] ${func_name}: 移動処理が完了しました - 合計 $moved_count 個のファイルを移動しました"
88
  fi
89

90
  return 0
91
}
92

93
function find_content_files() {
94
  local func_name="find_content_files"
95

96
  # 改行を含むパターンを正しく定義
97
  # Perl正規表現モード(-P)では \n が改行を表す
98
  local search_pattern="# Content\\n\\n## はじまり\\n"
99

100
  # ヘルプ表示
101
  if [[ "$1" == "--help" ]]; then
102
    echo "[INFO] ${func_name}: 使用方法"
103
    echo "  ${func_name} <ディレクトリ> [拡張子]"
104
    echo ""
105
    echo "説明:"
106
    echo "  指定されたディレクトリ内で、特定のコンテンツパターンを含むファイルを検索します。"
107
    echo "  検索対象は「# Content」の後に3つの改行、その後に「## はじまり」が続くパターンです。"
108
    echo ""
109
    echo "パラメータ:"
110
    echo "  <ディレクトリ>  検索対象のディレクトリパス（必須）"
111
    echo "  [拡張子]      検索対象のファイル拡張子（省略時は .md）"
112
    echo ""
113
    echo "使用例:"
114
    echo "  ${func_name} ~/documents"
115
    echo "  ${func_name} ~/projects .txt"
116
    return 0
117
  fi
118

119
  # 引数チェック
120
  if [ $# -lt 1 ] || [ $# -gt 2 ]; then
121
    echo "[ERROR] ${func_name}: 引数の数が不正です"
122
    echo "[INFO] ${func_name}: 使用法を確認するには「${func_name} --help」を実行してください"
123
    return 1
124
  fi
125

126
  local dir_path="$1"
127
  local extension=".md"  # デフォルト拡張子
128

129
  # 拡張子が指定されている場合は上書き
130
  if [ $# -eq 2 ]; then
131
    extension="$2"
132
    # 拡張子の先頭にドットがなければ追加
133
    if [[ ! $extension =~ ^\. ]]; then
134
      extension=".$extension"
135
    fi
136
  fi
137

138
  # ディレクトリの存在確認
139
  if [ ! -d "$dir_path" ]; then
140
    echo "[ERROR] ${func_name}: ディレクトリ '$dir_path' が存在しません"
141
    return 1
142
  fi
143

144
  echo "[INFO] ${func_name}: '$dir_path' ディレクトリ内の '$extension' ファイルを検索中..."
145

146
  # 結果を格納する変数
147
  local found_files=0
148

149
  # ディレクトリ内のファイルを検索
150
  for file in "$dir_path"/*"$extension"; do
151
    # ファイルが存在しない場合のエラー処理
152
    if [ ! -f "$file" ]; then
153
      echo "[INFO] ${func_name}: '$extension' 拡張子のファイルが見つかりません"
154
      return 0
155
    fi
156

157
    # ファイル内容を検索
158
    if grep -Pzq "$search_pattern" "$file" 2>/dev/null; then
159
      echo "$file"
160
      ((found_files++))
161
    fi
162
  done
163

164
  # 結果の表示
165
  if [ $found_files -eq 0 ]; then
166
    echo "[INFO] ${func_name}: パターンに一致するファイルが見つかりませんでした"
167
  else
168
    echo "[INFO] ${func_name}: パターンに一致するファイルが $found_files 件見つかりました"
169
  fi
170

171
  return 0
172
}
173

174
function extract_content_files() {
175
  # 関数名をローカル変数に格納
176
  local funcName="${FUNCNAME[0]}"
177

178
  # --helpパラメータの確認
179
  if [[ "$1" == "--help" ]]; then
180
    echo "[INFO] ${funcName}: 利用方法:"
181
    echo "  ${funcName} <対象ディレクトリ> [拡張子]"
182
    echo "    <対象ディレクトリ> : 処理対象のディレクトリ"
183
    echo "    [拡張子]           : ファイルの拡張子（省略時は \".md\"）"
184
    echo ""
185
    echo "[INFO] ${funcName}: 使用例:"
186
    echo "  ${funcName} /path/to/directory .md"
187
    return 0
188
  fi
189

190
  # パラメータ数のチェック
191
  if [ $# -lt 1 ]; then
192
    echo "[ERROR] ${funcName}: 対象ディレクトリが指定されていません。--help を参照してください。" >&2
193
    return 1
194
  fi
195

196
  local target_dir="$1"
197
  local ext="${2:-.md}"
198

199
  # 対象ディレクトリが存在するかチェック
200
  if [ ! -d "$target_dir" ]; then
201
    echo "[ERROR] ${funcName}: 指定されたディレクトリ '$target_dir' が存在しません。" >&2
202
    return 1
203
  fi
204

205
  # extracted_contentsディレクトリを作成
206
  local output_dir="${target_dir}/extracted_contents"
207
  mkdir -p "$output_dir"
208
  if [ $? -ne 0 ]; then
209
    echo "[ERROR] ${funcName}: '$output_dir' の作成に失敗しました。" >&2
210
    return 1
211
  fi
212
  echo "[INFO] ${funcName}: '$output_dir' を作成しました。"
213

214
  # 対象ディレクトリ内の拡張子が一致する各ファイルに対して処理を実施
215
  for file in "${target_dir}"/*"${ext}"; do
216
    # 通常のファイルのみ処理
217
    if [ ! -f "$file" ]; then
218
      continue
219
    fi
220

221
    # ファイル内からマーカー以降の内容を取得
222
    # マーカーは以下のように記載されているとする:
223
    # # Content
224
    #
225
    # ## はじまり
226
    # 以降すべてのテキストを抽出（マーカーも含む）
227
    local content
228
    content=$(perl -0777 -ne 'if(/(# Content\s*\n\s*\n## はじまり\s*\n.*)/s){print $1}' "$file")
229
    if [ -z "$content" ]; then
230
      echo "[ERROR] ${funcName}: ファイル '$file' 内に指定マーカーが見つかりませんでした。" >&2
231
      continue
232
    fi
233

234
    local basefile
235
    basefile=$(basename "$file")
236
    local output_file="${output_dir}/${basefile}"
237

238
    # 抽出した内容を新規ファイルに出力
239
    echo "$content" > "$output_file"
240
    if [ $? -ne 0 ]; then
241
      echo "[ERROR] ${funcName}: '$output_file' への出力に失敗しました。" >&2
242
    else
243
      echo "[INFO] ${funcName}: '$file' を処理し、'$output_file' に出力しました。"
244
    fi
245
  done
246
}
247

248
find_content_files ./
249
# txtファイルに書き込むためのファイル一覧が表示されるので、markdown_list.txtにメモる。
250
move_files_from_list markdown_list.txt ./target_markdowns
251
cd target_markdowns
252
extract_content_files ./

展開する折りたたむ

これで、まとめるために欲しい資料が手に入りました。

文体と特徴をまとめる。#

それでは次に、Clineにwriting-style.mdという文体や記事の特徴をまとめた資料を作ってもらいます。前の工程で抽出した資料が78件ぐらいあったような覚えがあります。それらの資料を適当にAIに読んでもらって、Markdown形式でまとめてもらいます。まとめてもらうためのプロンプトがこんな感じです。

1
私は日本のエンジニアです。
2

3
kinkinbeer135ml といいます。もし私について知っていたら、以下でその知識を使っても構いません。
4

5
~/My_Tasks\ xxxxxxxxxxxxxxxxxxxxxxxxx0e647c/target_markdowns/extracted_contents/* 以下は自分がブログに書いた記事です。
6

7
AIが書いたとバレない範囲で、ブログの記述を自動化したいです。
8

9
記事一覧から私の技術の方向性を抽出し、そこからランダムに読んでください。最低限、10記事は読んでください。
10

11
そこから私の人格と文体を抽出して、それを ~/My_Tasks\ xxxxxxxxxxxxxxxxxxxxxxxxx0e647c/target_markdowns/generated_contents/writing-style.md に抽出してください。
12

13
最終的には、それをベースに記事を執筆してもらいます。

最初、 OpenAI の o1 で作ってもらおうと思ったのですが、 o1 は扱えるトークン長が短いらしい。

1
429 Request too large for o1 in organization org-XXXXXXXXXXXXXXXXXXXXX on tokens per min (TPM): Limit 30000, Requested 32394. The input or output tokens must be reduced in order to run successfully. Visit https://platform.openai.com/account/rate-limits to learn more.

そしたら次に、Claude APIで3.7 Sonnetで出力してみました。こっちであればかなり進めることが出来ました。まあでもしかし、最初の出力量だとブログ記事作成用の資料としてはボリュームが少なかったので、追加でプロンプトを与えて内容を補填していきました。

1
その分析に使ったMarkdownファイルに記載されている内容のまとめを「## 分析済み記事の要約」という見出しの中にまとめてください。
2

3
その分析に使ったMarkdownファイルに記載されている内容のそれぞれの記事構成のパターンを「## 分析済み記事の要約」という見出しの中に追記しください。
4

5
「プログラミング関連の記事の特徴」という見出しを作って、その中に全体的な記事の特徴を追記して。

自分で修正したりもしていって・・・、そして一旦、この内容のwriting-style.mdが出来上がりました。ゆくゆくは、記事のジャンルごとに作り並べていきたいですがとりあえずこれで行ってみましょう。

1
# 書き手の文体と技術方向性
2

3
本ブログ記事群から以下の特徴が抽出されました：
4

5
## 文体・トーン
6
- **カジュアルかつ親しみやすい**
7
  読者に対してフレンドリーな語り口が特徴。たとえば、記事中に「リサちゃん」や「ペンギン」といった愛称を使い、軽妙なユーモアが散りばめられています。
8

9
- **詳細な技術解説**
10
  各記事は技術的な背景や実装方法、仕様などを丁寧に解説しており、専門的な読者に向けた深い内容が含まれます。図表やコード例を適宜交え、論理的に説明しています。
11

12
- **率直で実践的**
13
  自身の経験や実際のテスト結果、比較結果をもとに、率直な意見を述べるスタイルです。実際の動作確認やパフォーマンス測定に基づく分析が重視されています。
14

15
## 技術の方向性
16
- **クラウドおよびサーバーレス技術**
17
  Cloud SQL、Cloud Functions、GAS（Google Apps Script）など、クラウドサービスを利用したシステム構築や自動化に関する記事が多く見られます。
18

19
- **Chrome拡張機能やウェブアプリ開発**
20
  ブラウザ拡張機能、ウェブAPI連携、Notion連携など、フロントエンドおよびバックエンドの統合開発の事例が記されています。
21

22
- **システム自動化とスクリプト技術**
23
  PowerShell、Bash、Python、Golangなど、さまざまなプログラミング言語を用いた自動化やスクリプト処理の具体例が豊富です。
24

25
- **ハードウェア評価およびベンチマーク分析**
26
  3DMarkをはじめとするGPU、CPU、統合グラフィックスの性能評価、最新技術（DirectX、Vulkan、DLSS、FSR、XeSS）の検証記事が掲載され、ハードウェアに対する深い洞察が見受けられます。
27

28
## 全体的な印象
29
- 複数の技術分野を横断し、実用性と楽しさを融合させたスタイルを採用。
30
- 技術的な解説だけでなく、個人的な視点や感想を交え、読者に身近に感じてもらえる記事作成が行われている。
31
- 最新技術に対する好奇心と実験的なアプローチが顕著で、読者に次の技術への期待を持たせる工夫がなされています。
32

33
## 追加分析（サンプル読解に基づく考察）
34
- **文体とアプローチの柔軟性**
35
  記事タイトルや内容から、筆者は技術的な精度と共に、カジュアルさや実験的アプローチを大切にしていることが読み取れます。体験談や実際のテストに基づいた具体的な例が多く、読者に実践的な知識を提供しています。
36

37
- **多角的な技術観**
38
  クラウド、サーバーレス、スクリプト技術、ハードウェアベンチマークなど、多岐にわたる分野を扱っており、常に最新技術に挑戦し、幅広い視野で議論を展開している印象です。
39

40
- **実用性と実証性の重視**
41
  コード例や操作手順、実際の性能測定結果など、実用的な情報が豊富に提供されており、読者がすぐに実践に移せる工夫が随所に見られます。
42

43
## 人格特徴
44
- **謙虚さと自信の融合**
45
  記事全体からは、常に謙虚な姿勢を保ちながらも、自身の技術や経験に基づく確固たる自信が読み取れます。
46
- **熱意と探究心**
47
  技術に対する深い探究心と、常に最新の情報を追い求める情熱が感じられ、実験的なアプローチが随所に見られます。
48
- **ユーモアと親しみやすさ**
49
  カジュアルな語り口や愛称の使用により、技術的に難解な内容でも親しみやすく、読者にやさしく寄り添う温かさがあります。
50
- **実践志向**
51
  実際の動作確認やパフォーマンス測定に基づいた具体的な知見を提供する姿勢から、理論だけでなく実践も重視する現実的な人柄が表れています。
52

53
## 文体の特徴的な要素
54

55
### 記事構成
56
- **キャラクター対話による導入と締めくくり**
57
  ほぼすべての記事が「リサちゃん」と「ペンギン」または「135ml」というキャラクターの会話で始まり、同様の会話で締めくくられています。この対話形式により、技術的な内容に親しみやすさを加えています。
58

59
- **視覚的な説明の重視**
60
  スクリーンショット、図表、コードブロックを多用して説明を補強しています。特に操作手順やUIの説明では、視覚的な情報を積極的に取り入れています。
61

62
- **段落間の空白**
63
  段落間に改行タグタグを入れて読みやすさを向上させています。これにより、密度の高い技術情報でも読者が読み進めやすくなっています。
64

65
### 言葉遣いと表現
66
- **読者への語りかけ**
67
  「〜ですね」「〜でしょう」「〜したいと思います」など、読者に直接語りかけるような表現を多用しています。これにより、一方的な解説ではなく、読者との対話を意識した文体になっています。
68

69
- **感情表現の挿入**
70
  「オオオッ・・・」「アレッ・・・」など、感情を表す表現を適宜挿入し、筆者の驚きや発見を読者と共有しています。
71

72
- **多様な表現レベルの混在**
73
  「言わずもがな」「雲泥の差」などの少し堅めの表現と、「なるほどなるほど」などの会話的な表現が混在しており、硬軟取り混ぜた文体となっています。
74

75
- **断定を避ける表現**
76
  「〜かもしれません」「〜でしょうか」など、断定を避ける表現を使うことで、読者に考える余地を残し、押し付けがましさを軽減しています。
77

78
- **説明の締めくくり方**
79
  「〜なわけです」「〜というわけです」など、説明を締めくくる際の特徴的な表現があります。これにより、説明に明確な区切りをつけ、読者の理解を促しています。
80

81
### 実用的な要素
82
- **関連商品の紹介**
83
  記事の最後に関連商品のリンクを紹介することが多く、読者が実際に試してみたいと思った際の参考になるよう配慮しています。
84

85
- **段階的な説明**
86
  複雑な技術的内容を、基本から応用へと段階的に説明する構成が多く見られます。初心者から上級者まで幅広い読者層に対応できるよう工夫されています。
87

88
## プログラミング関連の記事の特徴
89

90
- **コードブロックの効果的な使用**
91
  プログラミング関連の記事では、コードブロックを多用して実際のコード例を示しています。単なるコードの提示だけでなく、コードの前後に解説を加え、読者が理解しやすいように工夫されています。また、コードの重要な部分には強調表示やコメントを入れることが多いです。
92

93
- **エラーメッセージの提示と解決方法**
94
  実際に遭遇したエラーメッセージを提示し、その原因と解決方法を丁寧に解説しています。「こんなエラーが出たら、こうすれば解決できる」という実践的なアドバイスが豊富です。
95

96
- **ステップバイステップの実装手順**
97
  複雑な実装も、段階的に分解して説明しています。各ステップで何が行われているのかを明確にし、読者が自分のプロジェクトに応用しやすいように配慮されています。
98

99
- **実際のユースケースや応用例**
100
  抽象的な説明だけでなく、実際のユースケースや応用例を提示することで、技術の実用性を示しています。特に、自身のプロジェクトでの使用例を交えることで、説得力のある内容になっています。
101

102
- **関連するライブラリやフレームワークの紹介**
103
  メインの技術だけでなく、関連するライブラリやフレームワークも適宜紹介しています。これにより、読者が技術スタック全体を理解しやすくなっています。
104

105
- **注意点や落とし穴の説明**
106
  実装時に陥りがちな落とし穴や注意点を明示的に説明しています。「ここでハマりました」「この部分は特に注意が必要です」といった表現で、読者が同じ問題に遭遇することを防いでいます。
107

108
- **パフォーマンスや最適化に関する考察**
109
  単に動作するコードを提示するだけでなく、パフォーマンスや最適化に関する考察も加えています。「こうすればもっと効率的になる」「この方法だとメモリ使用量が少なくて済む」といった実用的なアドバイスが含まれています。
110

111
- **代替手段や比較検討**
112
  一つの解決策だけでなく、複数の代替手段を提示し、それぞれのメリット・デメリットを比較検討しています。これにより、読者が自分のプロジェクトに最適な方法を選択できるようになっています。
113

114
## ゲーム関連の記事の特徴
115
- **実践的なTipsの提供**
116
  ゲーム関連の記事では、自身の経験に基づいた実践的なTipsや効率化のコツを提供しています。特にパルワールドなどのゲームでは、プレイ経験から得られた知見を詳細に解説しています。
117

118
- **ゲームと技術の融合**
119
  ゲームプレイの楽しさと技術的な側面（ベンチマーク、パフォーマンス最適化など）を融合させた内容が特徴的です。ゲームを単なる娯楽としてではなく、技術検証の場としても捉えている姿勢が見られます。
120

121
## 分析済み記事の要約
122

123
今回の分析では、以下の記事を読み込み、文体と人格の特徴を抽出しました：
124

125
### 1. 3DMarkに関する情報をまとめた記事
126
ファイル名：「3DMarkに関する情報をまとめた_20241205_kinkinbeer135ml 153194df981d80fdb2a1eb4e0d63af6b.md」
127
3DMarkというベンチマークソフトウェアの各種テスト（Steel Nomad、Fire Strike、Time Spy、Port Royalなど）について詳細に解説し、DirectX、Vulkan、DLSS、FSR、XeSSなどの技術についても説明しています。
128
**記事構成**:
129

130
...
131

132
これらの記事は、技術的な内容を詳細かつ親しみやすく解説しており、実践的な知識と筆者の経験に基づいた洞察が豊富に含まれています。また、ほぼすべての記事が「リサちゃん」と「ペンギン」または「135ml」というキャラクターの会話で始まり、同様の会話で締めくくられているという特徴的な構成を持っています。

展開する折りたたむ

実際にAIに書かせる。#

それではwriting-style.mdを基に、実際にAIにブログ記事を書かせてみます。WordPressであれば、Notionに一度Markdownを貼り付けてブロックに変換してから、WordPressエディタに貼り付け直すのが良さそうです。このプロンプトで書いてもらいます。

1
~/My_Tasks\ xxxxxxxxxxxxxxxxxxxxxxxxx0e647c/target_markdowns/generated_contents/writing-style.md を参考に、Pythonのモジュールであるtypingの使い方を説明する記事を書いて。~/My_Tasks\ xxxxxxxxxxxxxxxxxxxxxxxxx0e647c/target_markdowns/generated_contents内に出力して。

それでは出力結果をどうぞ・・・

はじまり#

リサちゃん

ねえねえ、ペンギンさん。最近Pythonのコードを書いていたら、`typing`っていうモジュールをよく見かけるんだけど、これって何なの？

ペンギン

オオッ、いい質問だね！`typing`モジュールは、Pythonに型ヒントを追加するためのものだよ。動的型付け言語であるPythonに、静的型チェックの恩恵をもたらしてくれるんだ。

リサちゃん

型ヒント？それって何か便利なの？

ペンギン

もちろん！コードの可読性が上がるし、IDEの補完機能が強化されるし、型チェッカーを使えば実行前にバグを見つけられるようになるんだ。今日はその`typing`モジュールの使い方を詳しく解説していくよ！

Pythonのtypingモジュールとは？#

Pythonは動的型付け言語として知られていますが、Python 3.5からtypingモジュールが導入され、コードに型ヒント（Type Hints）を追加できるようになりました。これにより、静的型付け言語のような型チェックの恩恵を受けられるようになったのです。 typingモジュールは以下のような利点をもたらします：

コードの可読性と自己文書化の向上
IDEやエディタの補完機能と型チェック機能の強化
mypy等の型チェッカーによる静的解析でのバグ早期発見
リファクタリングの安全性向上

重要なのは、型ヒントはあくまで「ヒント」であり、Pythonの実行時の動作には影響しないということです。型チェックは外部ツールによって行われます。

基本的な型ヒントの使い方#

まずは基本的な型ヒントの書き方から見ていきましょう。

1
def greeting(name: str) -> str:
2
    return f"こんにちは、{name}さん！"
3

4
age: int = 30
5
is_active: bool = True
6
height: float = 175.5

上記の例では：

name: str - 引数nameが文字列型であることを示しています
> str - 関数の戻り値が文字列型であることを示しています
変数宣言時にも: 型名の形式で型ヒントを付けられます

基本的な型としては、str、int、float、bool、bytesなどがあります。これらはPythonの組み込み型なので、typingモジュールをインポートする必要はありません。

複合型の使い方#

より複雑なデータ構造には、typingモジュールの複合型を使います。

1
from typing import List, Dict, Tuple, Set, Optional, Union
2

3
# リスト
4
numbers: List[int] = [1, 2, 3, 4, 5]
5

6
# 辞書
7
user_info: Dict[str, str] = {"name": "太郎", "email": "taro@example.com"}
8

9
# タプル
10
coordinates: Tuple[float, float] = (35.6895, 139.6917)  # 緯度、経度
11

12
# 固定長と可変長のタプル
13
triple: Tuple[int, int, int] = (1, 2, 3)  # 固定長（3要素）
14
numbers_tuple: Tuple[int, ...] = (1, 2, 3, 4, 5)  # 可変長
15

16
# セット
17
unique_ids: Set[int] = {1, 2, 3, 4, 5}
18

19
# Optional型（値またはNone）
20
maybe_name: Optional[str] = None  # strまたはNone
21

22
# Union型（複数の型のいずれか）
23
id_or_name: Union[int, str] = "user123"  # intまたはstr

展開する折りたたむ

Python 3.9以降では、組み込み型のジェネリクス表記が簡略化されました：

1
# Python 3.9以降
2
numbers: list[int] = [1, 2, 3, 4, 5]
3
user_info: dict[str, str] = {"name": "太郎", "email": "taro@example.com"}
4
coordinates: tuple[float, float] = (35.6895, 139.6917)

また、Python 3.10からはUnion型の代わりにパイプ記号（|）が使えるようになりました：

1
# Python 3.10以降
2
id_or_name: int | str = "user123"  # Union[int, str]と同等
3
maybe_name: str | None = None  # Optional[str]と同等

型エイリアスの定義#

複雑な型ヒントを何度も書くのは面倒ですよね。そんなときは型エイリアスを使いましょう。

1
from typing import Dict, List, Tuple, TypeAlias
2

3
# 型エイリアスの定義
4
UserId = int
5
UserName = str
6
Email = str
7

8
# より複雑な型のエイリアス
9
UserDict = Dict[UserId, Tuple[UserName, Email]]
10

11
# Python 3.10以降ではTypeAliasを使った明示的な型エイリアス定義も可能
12
Coordinates: TypeAlias = tuple[float, float]
13

14
# 使用例
15
users: UserDict = {
16
    1: ("田中太郎", "taro@example.com"),
17
    2: ("佐藤花子", "hanako@example.com")
18
}
19

20
location: Coordinates = (35.6895, 139.6917)

展開する折りたたむ

型エイリアスを使うと、コードの可読性が向上し、型の定義を一箇所にまとめられるので、変更が必要になった場合も修正が容易になります。

ジェネリック型の使い方#

自分で定義したクラスでジェネリック型を使いたい場合は、Genericクラスを継承します。

1
from typing import Generic, TypeVar, List
2

3
# 型変数の定義
4
T = TypeVar('T')
5
K = TypeVar('K')
6
V = TypeVar('V')
7

8
# ジェネリッククラスの定義
9
class Box(Generic[T]):
10
    def __init__(self, item: T) -> None:
11
        self.item = item
12

13
    def get_item(self) -> T:
14
        return self.item
15

16
    def set_item(self, item: T) -> None:
17
        self.item = item
18

19
# 使用例
20
int_box: Box[int] = Box(42)
21
str_box: Box[str] = Box("こんにちは")
22

23
# 型変数に制約を付ける
24
S = TypeVar('S', str, bytes)  # SはstrかbytesのみOK
25

26
def process_text(text: S) -> S:
27
    # 処理...
28
    return text
29

30
# 境界型変数（特定のクラスのサブクラスに制限）
31
class Animal:
32
    def make_sound(self) -> str:
33
        return "..."
34

35
class Dog(Animal):
36
    def make_sound(self) -> str:
37
        return "ワン！"
38

39
A = TypeVar('A', bound=Animal)  # Animalまたはそのサブクラスのみ
40

41
def get_sound(animal: A) -> str:
42
    return animal.make_sound()

展開する折りたたむ

ジェネリック型を使うと、型安全性を保ちながら柔軟なコードを書けます。特に、コレクションや汎用的なデータ構造を扱う場合に便利です。

Protocolクラスの活用#

Pythonでは「ダックタイピング」という考え方が重要です。「アヒルのように歩き、アヒルのように鳴くなら、それはアヒルである」という原則です。 typing.Protocolを使うと、このダックタイピングを型ヒントで表現できます。

1
from typing import Protocol, List
2

3
# Protocolの定義
4
class Drawable(Protocol):
5
    def draw(self) -> None:
6
        ...  # 実装は必要なし、メソッドのシグネチャだけ定義
7

8
# Protocolを実装するクラス（明示的な継承は不要）
9
class Circle:
10
    def __init__(self, radius: float) -> None:
11
        self.radius = radius
12

13
    def draw(self) -> None:
14
        print(f"○ (半径: {self.radius})")
15

16
class Rectangle:
17
    def __init__(self, width: float, height: float) -> None:
18
        self.width = width
19
        self.height = height
20

21
    def draw(self) -> None:
22
        print(f"□ (幅: {self.width}, 高さ: {self.height})")
23

24
# Protocolを使った関数
25
def draw_shapes(shapes: List[Drawable]) -> None:
26
    for shape in shapes:
27
        shape.draw()
28

29
# 使用例
30
shapes = [Circle(5.0), Rectangle(4.0, 3.0)]
31
draw_shapes(shapes)  # 型チェックOK

展開する折りたたむ

Protocolを使うと、クラス間の明示的な継承関係がなくても、同じインターフェースを持つクラスを型安全に扱えます。これはPythonの柔軟性を損なわずに型チェックの恩恵を受けられる素晴らしい機能です。

型チェッカーの使い方#

型ヒントを書いても、Pythonのインタプリタはそれを無視します。型チェックを行うには、外部ツールを使う必要があります。最も一般的なのはmypyです。

Terminal window

1
# mypyのインストール
2
pip install mypy
3

4
# 型チェックの実行
5
mypy your_script.py

例えば、以下のようなコードがあるとします：

example.py

1
def add(a: int, b: int) -> int:
2
    return a + b
3

4
result = add("hello", "world")  # 型エラー

mypyで型チェックすると：

Terminal window

1
$ mypy example.py
2
example.py:4: error: Argument 1 to "add" has incompatible type "str"; expected "int"
3
example.py:4: error: Argument 2 to "add" has incompatible type "str"; expected "int"

このように、実行前に型の不一致を検出できます。 VSCodeやPyCharmなどのIDEを使っている場合は、エディタ上で直接型エラーを表示してくれるので、より効率的に開発できます。

実際のユースケース#

実際のプロジェクトでのtypingモジュールの活用例を見てみましょう。

1. WebアプリケーションのAPI関数#

1
from typing import Dict, List, Optional, TypedDict, Any
2
from datetime import datetime
3

4
# TypedDictを使った辞書の型定義
5
class UserData(TypedDict):
6
    id: int
7
    name: str
8
    email: str
9
    created_at: datetime
10
    is_active: bool
11
    profile: Optional[Dict[str, Any]]
12

13
def get_user(user_id: int) -> Optional[UserData]:
14
    # データベースからユーザー情報を取得する処理
15
    # 存在しない場合はNoneを返す
16
    ...
17

18
def get_active_users() -> List[UserData]:
19
    # アクティブなユーザーのリストを返す処理
20
    ...
21

22
def create_user(name: str, email: str, profile: Optional[Dict[str, Any]] = None) -> UserData:
23
    # 新しいユーザーを作成する処理
24
    ...

展開する折りたたむ

2. データ処理パイプライン#

1
from typing import Callable, Iterator, List, TypeVar, Generic
2

3
T = TypeVar('T')
4
U = TypeVar('U')
5

6
class Pipeline(Generic[T, U]):
7
    def __init__(self, processor: Callable[[T], U]) -> None:
8
        self.processor = processor
9
        self.next_pipeline: Optional[Pipeline[U, Any]] = None
10

11
    def add_step(self, processor: Callable[[U], V]) -> 'Pipeline[T, V]':
12
        self.next_pipeline = Pipeline(processor)
13
        return self.next_pipeline
14

15
    def process(self, data: T) -> U:
16
        result = self.processor(data)
17
        if self.next_pipeline:
18
            return self.next_pipeline.process(result)
19
        return result
20

21
# 使用例
22
def parse_data(raw_data: str) -> List[str]:
23
    return raw_data.split(',')
24

25
def filter_data(data: List[str]) -> List[str]:
26
    return [item for item in data if item.strip()]
27

28
def transform_data(data: List[str]) -> Dict[str, int]:
29
    return {item: len(item) for item in data}
30

31
# パイプラインの構築
32
pipeline = Pipeline(parse_data)
33
pipeline.add_step(filter_data)
34
pipeline.add_step(transform_data)
35

36
# データ処理
37
result = pipeline.process("a,b,,c,d")
38
print(result)  # {'a': 1, 'b': 1, 'c': 1, 'd': 1}

展開する折りたたむ

注意点と落とし穴#

typingモジュールを使う際の注意点をいくつか紹介します。

1. 循環インポートの問題#

型ヒントで別モジュールのクラスを参照すると、循環インポートが発生することがあります。その場合は文字列リテラルを使います。

user.py

1
from typing import List, Optional
2
from post import Post  # 循環インポートの可能性
3

4
class User:
5
    def __init__(self, name: str) -> None:
6
        self.name = name
7
        self.posts: List['Post'] = []  # 文字列リテラルを使用

post.py

1
from typing import Optional
2
from user import User  # 循環インポート
3

4
class Post:
5
    def __init__(self, title: str, author: 'User') -> None:  # 文字列リテラルを使用
6
        self.title = title
7
        self.author = author

Python 3.7以降では、from __future__ import annotationsを使うことで、すべての型アノテーションを文字列として扱うこともできます。

1
from __future__ import annotations
2
from typing import List
3

4
class Node:
5
    def __init__(self) -> None:
6
        self.children: List[Node] = []  # 循環参照でもOK

2. 実行時の型チェックは行われない#

型ヒントはあくまでヒントであり、実行時には無視されます。実行時に型チェックを行いたい場合は、自分で実装する必要があります。

1
def add(a: int, b: int) -> int:
2
    if not isinstance(a, int) or not isinstance(b, int):
3
        raise TypeError("引数はint型である必要があります")
4
    return a + b

3. Any型の過剰使用#

Any型は任意の型を表し、型チェックを事実上無効にします。便利ですが、過剰に使うと型ヒントの恩恵が失われます。

1
from typing import Any, Dict
2

3
# 避けるべき例
4
def process_data(data: Any) -> Any:
5
    return data
6

7
# 改善例
8
def process_data(data: Dict[str, int]) -> List[str]:
9
    return [f"{k}: {v}" for k, v in data.items()]

4. Python 3.5と3.6の型ヒントの違い#

Python 3.5と3.6では、変数の型ヒントの書き方が異なります。

1
# Python 3.5
2
from typing import Dict, List
3
users = []  # type: List[str]
4
config = {}  # type: Dict[str, int]
5

6
# Python 3.6以降
7
users: List[str] = []
8
config: Dict[str, int] = {}

5. TypedDictの部分的な更新#

TypedDictは便利ですが、部分的な更新が型チェック上難しいという問題があります。

1
from typing import TypedDict, NotRequired
2

3
# Python 3.11以降ではNotRequiredが使える
4
class UserProfile(TypedDict):
5
    name: str
6
    age: int
7
    bio: NotRequired[str]  # 省略可能なフィールド
8

9
# 部分的な更新（型チェッカーはエラーを出す可能性あり）
10
def update_user(user_id: int, data: dict) -> None:
11
    # ...

まとめ#

Pythonのtypingモジュールは、動的型付け言語であるPythonに静的型チェックの恩恵をもたらす強力なツールです。

基本的な型ヒント（str、int、floatなど）
複合型（List、Dict、Tuple、Setなど）
特殊な型（Optional、Union、Anyなど）
型エイリアスによる型定義の再利用
ジェネリック型による型安全な汎用コード
Protocolによるダックタイピングの型付け
mypyなどの型チェッカーによる静的解析

型ヒントを活用することで、コードの可読性が向上し、バグの早期発見が可能になります。また、IDEの補完機能も強化されるため、開発効率も上がります。 Pythonの型ヒントは、静的型付け言語の厳格さと動的型付け言語の柔軟性のバランスを取った素晴らしい機能です。ぜひ、あなたのプロジェクトに取り入れてみてください！

おしまい#

リサちゃん

わぁ、`typing`モジュールってこんなに便利なんだね！特に`Protocol`の考え方は、Pythonらしい柔軟さを残しながら型安全性を高められるって素敵だね。

ペンギン

そうだね！最初は型ヒントを書くのが少し面倒に感じるかもしれないけど、大きなプロジェクトになればなるほど、その価値は高まるよ。バグの早期発見や、コードの自己文書化、リファクタリングの安全性向上など、メリットは計り知れないんだ。

リサちゃん

早速、自分のプロジェクトに取り入れてみるね！ありがとう、ペンギンさん！

ペンギン

いつでも質問してね！Pythonの型ヒントの世界を楽しんでくれたら嬉しいよ！

冒頭と結びの会話は直したいな。気色悪い。

まとめ#

Cline はやっぱりスゴイ。

おしまい#

リサちゃん

こんなに書けてしまった・・・

135ml

これでやりたいことに注力出来るな。

以上になります！

【モンハンワイルズ】Ryzen 9 7950X3DとRTX 4080 SUPERで公式ベンチマークを試す

Sat, 08 Feb 2025 00:00:00 GMT

はじまり#

リサちゃん

どうなることやら

ペンギン

快適にプレイ出来ることを祈ります

モンハンワイルズのベンチマーク#

「モンスターハンターワイルズ」が2025年2月28日(金)に発売します。発売に先駆けてモンスターハンターワイルズの PC 版がサクサク動作するかどうかを確かめられるベンチマークツール「モンスターハンターワイルズベンチマーク」が、公式から無料で公開されたみたいなので、実際に Steam からインストールして使ってみました。

また、2024年11月にオープンベータテスト第一回目が開かれましたが、今度、第二回目のオープンベータテストが実施されるようです。実施日程は、2月7日12時～2月10日11時59分および2月14日12時～2月17日11時59分だそうです。

@steam

Steam：モンスターハンターワイルズ

荒々しく獰猛な自然が、襲い来る。刻一刻とダイナミックにその姿を変貌させるフィールド。二面性をもつ世界に生きる、モンスターと人々の物語。進化したハンティングアクションと、途切れることのない没入感を追求した究極の狩猟体験が、あなたを待っている。

store.steampowered.com

www.monsterhunter.com

ベンチマークの実施#

ベンチマーク設定は全てデフォルトの設定にしました。グラフィックプリセットは「ウルトラ」です。

冒頭の方ではムービーが流れました。このムービーは第一回のオープンベータテストでも流れていたものと酷似しています。

150～180FPS を出せています。

最初のムービーが終わると、プレイ画面になりました。オープンベータテストでも探索できた場所が舞台となっていました。

ワールドの奥の方までの描画もテストされていました。

次のシーンは食事をしているシーンでした。この場面はこれから実装されていく場面なのでしょうか。

チーズナンがとてもとろけていてとても美味しそうです。

ベンチマークの結果#

今回、「モンスターハンターワイルズベンチマーク」で、 CPU に AMD Ryzen 9 7950X3D、GPU に NVIDIA GeForce RTX 4080 Super を使って、グラフィックプリセットを「ウルトラ」に設定してベンチマークを測った結果、「非常に快適にプレイできます」という結果が得られました。スコアが 25,963 、平均 FPS は 152.15 でした。

スコアおよび快適にプレイ出来るかどうかの指標に関しては、以下の対応になっているようです。

スコア	結果コメント
20000 ~	非常に快適にプレイできます
13000 ~ 19999	快適にプレイできます
10250 ~ 12999	問題なくプレイできます
7000~10249	設定変更を推奨します
5200~6999	設定変更が必要です
~ 5199	動作困難です

おしまい#

リサちゃん

よしよし、これでいいんだよ

ペンギン

発売が楽しみだな

以上になります！

【YouTubeなど】動画の更新状況_2025年01月

Fri, 07 Feb 2025 00:00:00 GMT

はじまり#

ペンギン

先月の動画の更新状況です。

リサちゃん

何を上げたのかなあ？

2025年1月に投稿した動画の一覧#

投稿した動画の数：8

初めて自作PCを組んだから解説してみましたぞ！：Ryzen 9 7950X3D、GeForce RTX 4080 SUPER#

動画投稿日：2025/01/03

【Satisfactory】電力不足を解決するべく構築されるイカロス発電：太陽帆（ソーラーセイル） #52 | 未知の設備でゆっくり工業化【ゆっくり実況】#

動画投稿日：2025/01/06

【Palworld】メチャ速くて長く走れるべイントールで天落を散策する（永久機関）#

動画投稿日：2025/01/13

【Palworld】パルソウル+60にしたテラナイト50体でボルドラゴ極をボコボコにする【ゆっくり実況】#

動画投稿日：2025/01/17

【Palworld】何だろうこれ…試掘用オイルリグ…？？【ゆっくり実況】#

動画投稿日：2025/01/20

【Palworld】テラナイト・オブ・ラウンズのボルドラゴボコボコ50本ノック！（ノーカット版）#

動画投稿日：2025/01/24

【Palworld】パルソウル+60にしたベイントール50体でボルドラゴ極をボコボコにする【ゆっくり実況】#

動画投稿日：2025/01/26

【Palworld】レヴィドラ20体とテラナイト30体でボルドラゴ21本ノック！（ノーカット版）【ゆっくり実況】#

動画投稿日：2025/01/31

kinkingame24bitのYouTubeチャンネル#

よろしければ、チャンネルのご登録お願い致します。

ATK ワイヤレスゲーミングマウス VXE Dragonfly R1 Pro Black 軽量48グラム Pixart PAW3395搭載最大75時間冷感コーティング 4Kポーリングレート対応国内正規品amzn.to

おしまい#

ペンギン

先月は8本か。

リサちゃん

よければ視聴してみて下さい。

以上になります！

【Python】venvを使いながら環境変数PS1を設定してプロンプトを見やすくしたい

Wed, 05 Feb 2025 00:00:00 GMT

はじまり#

リサちゃん

あれぇ？戻っちゃったぞ

135ml

コイツが何かしらを捻じ曲げているな。

何が起きているのか#

シェル上で Bash の環境変数PS1をゴニョゴニョいじると、ターミナルにおける現在の状態（プロンプト）を見やすく表示することが可能です。

例えば下記の画像の1行目のような感じです。

しかし、 Python の開発などで使用するvenvによる仮想環境を有効化したり無効化すると、このPS1の内容が書き換わってしまい、せっかく見やすく設定したPS1の内容が見づらい状態に、文字色が白色に戻ってしまいます。そこで今回は、venv使用時の環境変数PS1の設定について色々やっていきます。

今回の設定に利用したvirtualenvパッケージのバージョンは、20.28.1です。

PS1の内容の確認#

まず、各々の状態における環境変数PS1の内容を確認します。

venvをアクティベートした時の環境変数PS1の内容。

Terminal window

1
PS1='\[\](.venv) \[\]${debian_chroot:+($debian_chroot)}\u@\h:\w\$ \[\]\[\]'

venvを非アクティベートした時の環境変数PS1の内容。

Terminal window

1
PS1='\[\]\[\]\[\]${debian_chroot:+($debian_chroot)}\u@\h:\w\$ \[\]\[\]\[\]'

そして、今回はこのような形式でPS1を設定して、ターミナルの状態を表示を見やすくしたいと思います。

Terminal window

1
export PS1='\[\e]0;\u@\h: \w\a\]${debian_chroot:+($debian_chroot)}\[\033[01;32m\]\u@\h\[\033[00m\]:\[\033[01;34m\]\w\[\033[00m\] $(_current_branch)\[\033[00m\]\[\033[01;35m\]\$\[\033[00m\] '

venv実行時に何が起きているのか#

今回、venvを作成してアクティベートする時の実行コマンドはこんな感じにします。

Terminal window

1
python -m venv .venv
2
source .venv/bin/activate

.venv/bin/activateのファイルの中身はこんな感じになっていました。PS1を設定している部分が見つかったので、この設定に対して何かしてあげれば良さそうです。venvをactivateする時もdeactivateする時もdeactivate関数は実行されるみたいですね。

Terminal window展開する折りたたむ

1
# This file must be used with "source bin/activate" *from bash*
2
# You cannot run it directly
3

4
deactivate () {
5
  # reset old environment variables
6
  if [ -n "${_OLD_VIRTUAL_PATH:-}" ] ; then    # <--- deactivateする時に通る
7
    PATH="${_OLD_VIRTUAL_PATH:-}"
8
    export PATH
9
    unset _OLD_VIRTUAL_PATH
10
  fi
11
  if [ -n "${_OLD_VIRTUAL_PYTHONHOME:-}" ] ; then
12
    PYTHONHOME="${_OLD_VIRTUAL_PYTHONHOME:-}"
13
    export PYTHONHOME
14
    unset _OLD_VIRTUAL_PYTHONHOME
15
  fi
16

17
  # Call hash to forget past commands. Without forgetting
18
  # past commands the $PATH changes we made may not be respected
19
  hash -r 2> /dev/null
20

21
  if [ -n "${_OLD_VIRTUAL_PS1:-}" ] ; then
22
    PS1="${_OLD_VIRTUAL_PS1:-}"
23
    export PS1
24
    unset _OLD_VIRTUAL_PS1
25
  fi
26

27
  unset VIRTUAL_ENV
28
  unset VIRTUAL_ENV_PROMPT
29
  if [ ! "${1:-}" = "nondestructive" ] ; then
30
  # Self destruct!
31
    unset -f deactivate
32
  fi
33
}
34

35
# unset irrelevant variables
36
deactivate nondestructive
37

38
# on Windows, a path can contain colons and backslashes and has to be converted:
39
if [ "${OSTYPE:-}" = "cygwin" ] || [ "${OSTYPE:-}" = "msys" ] ; then
40
  # transform D:\path\to\venv to /d/path/to/venv on MSYS
41
  # and to /cygdrive/d/path/to/venv on Cygwin
42
  export VIRTUAL_ENV=$(cygpath /home/user/NotionSynchronizer/.venv)
43
else
44
  # use the path as-is
45
  export VIRTUAL_ENV=/home/user/NotionSynchronizer/.venv
46
fi
47

48
_OLD_VIRTUAL_PATH="$PATH"
49
PATH="$VIRTUAL_ENV/"bin":$PATH"
50
export PATH
51

52
# unset PYTHONHOME if set
53
# this will fail if PYTHONHOME is set to the empty string (which is bad anyway)
54
# could use `if (set -u; : $PYTHONHOME) ;` in bash
55
if [ -n "${PYTHONHOME:-}" ] ; then
56
  _OLD_VIRTUAL_PYTHONHOME="${PYTHONHOME:-}"
57
  unset PYTHONHOME
58
fi
59

60
if [ -z "${VIRTUAL_ENV_DISABLE_PROMPT:-}" ] ; then
61
  _OLD_VIRTUAL_PS1="${PS1:-}"    # <--- activateする時に通る
62
  PS1='(.venv) '"${PS1:-}"
63
  export PS1
64
  VIRTUAL_ENV_PROMPT='(.venv) '
65
  export VIRTUAL_ENV_PROMPT
66
fi
67

68
# Call hash to forget past commands. Without forgetting
69
# past commands the $PATH changes we made may not be respected
70
hash -r 2> /dev/null

展開する折りたたむ

上記の.venv/bin/activateのファイルにおいて、どうやら_OLD_VIRTUAL_PS1という Bash 環境変数の中にvenvを有効化する前のPS1の内容が入るみたいです。なので、今回はedit-ps1-envという関数を作って、.venv/bin/activateが終了した後に実行したいと思います。

Terminal window展開する折りたたむ

1
function _current_branch() {
2
  _git_branch=$(git branch --show-current 2>/dev/null) && echo "[branch: $_git_branch] "
3
}
4

5
function edit-ps1-env() {
6
  _my_ps1='\[\e]0;\u@\h: \w\a\]${debian_chroot:+($debian_chroot)}\[\033[01;32m\]\u@\h\[\033[00m\]:\[\033[01;34m\]\w\[\033[00m\] \[\033[01;33m\]$(_current_branch)\[\033[00m\]\[\033[01;36m\]\$\[\033[00m\] '
7
  case ${1} in
8
    --activate | -a)
9
      export _OLD_VIRTUAL_PS1="$_my_ps1"
10
      _my_venv_dir='.venv'
11
      PS1="\[\033[01;31m\]($_my_venv_dir)\[\033[00m\] ""${_my_ps1:-}"
12
      return 0
13
      ;;
14
    --deactivate | -d)
15
      # nothing to do
16
      return 0
17
      ;;
18
    *)
19
      echo "[ERROR] invalid options: '${1}'"
20
      return 1
21
      ;;
22
  esac
23
}

展開する折りたたむ

そして、エイリアスを作成します。

Terminal window

1
alias py-ve='python -m venv .venv'
2
alias py-va='source .venv/bin/activate; edit-ps1-env -a;'
3
alias py-vd='deactivate; edit-ps1-env -d;'

この状態でコマンドを実行してみます。すると、venvの有効化および無効化の後の両方で、プロンプトの文字色が自分の設定したい状態になりました。

Terminal window

1
py-va
2
py-vd

まとめ#

今回は、 Python でvenvを利用する際に、 Bash のプロンプトの表示色を保持するための設定方法を紹介しました。

sedを使って設定する方法も考えてみましたが、.venv/bin/activateのファイル内にある、venvのディレクトリ名が出現する場所が変わってしまうと設定が面倒なことになりそうでした。なので、.venv/bin/activateの実行後に別途設定する方法がメンテしやすいと思います。

これで仮想環境を有効化しているかどうかを一目で確認出来るようになりました。開発体験が快適になりそうです。

おしまい#

リサちゃん

よしよし、これでいいんだよ

135ml

これで捻じ曲げ直したな。

以上になります！

【Palworld】生産効率の高い拠点を作るために気を付ける10のこと

Mon, 27 Jan 2025 00:00:00 GMT

はじまり#

リサちゃん

生産性・・・生産性・・・！

ペンギン

大事です。

パルワールドの拠点の作業効率を上げる。#

パルワールドでは拠点を建てることで、冒険に必要な道具を作ったり、パルに対する経験値を取得することが出来ます。そのために、拠点内の作業の効率を向上させることで、より速くより強い敵に立ち向かえるようになります。そこで今回は、パルワールドで拠点を運営していく際に気を付けたほうが良い事柄というかコツといったものを紹介していきたいと思います。

1. 作業適性が高いパルを働かせる。#

これは言わずもがなですね。

とりあえず、作業適性が高いパルを働かせて、そのパルが保有するパッシブスキルに「超絶技巧」「職人気質」「社畜」「まじめ」「うぬぼれ屋」等があると、作業生産性は上がります。また、「夜行性」のパッシブスキルを持たせたり、基本的な闇属性持ちのパルは寝ないで作業し続けることが出来るので、生産性が上がることになります。

ただし、運搬を担当するパルに関しては、少し事情が違ってくる場合があります。

運搬の作業適性は、一度に持ち運ぶことが出来るアイテムの重量や数量のみに関係してくるため、その適性とは別に移動スピードが速い方がベターな時もあります。なので、運搬の作業適性や作業速度の高さよりも、パルの種族事態の移動スピードが速かったり、パッシブスキルに「神速」「走るのが得意」「すばしこい」等を積んでいる方が効率が良い場合もあったりします。そのケースは、拠点内の構造、パルが運搬するために動く量が多くなってしまう場合などが挙げられます。

2. パルがベッドにたどり着けないようにする。#

パルはベッドで寝る時にベッドに移動する必要があります。この移動の時間が無駄です。そのため、ベッドを壁で囲んだりして到達できないようにします。すると、パルは夜になるとその場で雑魚寝するようになります。こうすることで、ベッドへの移動が発生しなくなり、余計な移動が無くなります。

3. 農園を積み重ねる。#

「食料」カテゴリから建設出来る各農園は、積み重ねることが可能です。積み重ねることで拠点内のスペースを節約することが出来ます。例えば3つの農園を積み重ねても、畑の数は1つではなく3つとしてカウントされるので、ほぼ同じスペースを使って3倍の収穫量を獲得することが出来るようになります。おおよそ3つの農園を積み重ねていけば農園の作業はちゃんと回転することでしょう。

ちなみに、技の実農園は積み重ねることが出来ません。（2025-01-26時点）

4. 採掘場も積み重ねる。#

「生産」カテゴリから建設出来る「金属採掘場」や「石炭採掘場」等も積み重ねることが可能です。また、このような採掘場では大量の鉱石が採掘されることになるので、その鉱石をチェストに運搬する人手が足りず採掘場の保持上限に達して、追加の鉱石を採掘することが出来なくなりがちです。そのため、鉱石を保持出来る採掘場を増やして溜められる鉱石の余地を増やした方が、採掘作業がストップしてしまうまでの時間を延ばすことが出来ます。

5. ライン工場も積み重ねられる。#

もうこの際、どの設備が積み上げることが可能でどの設備が不可能なのかを確かめる気概があっても良いのかもしれません。

「武器ライン工場」や「金貨製造工場」等も縦に積み重ねることが可能です。2段ぐらいの高さが限度でしょうか。アヌビスとかはそこまで体躯のサイズが大きくないので手が届かないかもしれません。例えば、「武器ライン工場II」を積むのであれば、アンティークなタオルラック等の上に設置するとちょうど良いです。

6. 作業指示台を設置する。#

作業指示台を設置すると、パルをどの設備に専任して働かせるか、パルにどの役割の仕事に専任させるか、等を設定することが出来るようになります。この設備があるのとないのとでは、拠点の運営の快適さに雲泥の差が生まれます。

「固定アサイン管理」のメニューでは、パルをどの設備に専任して働かせるかについて指示を出すことが出来ます。この設備を建てられるようになるまでは、アサインしたい設備にアサインするパルをいちいち投げつけに行く必要がありました。

「作業指示」のメニューでは、パルにどの役割の仕事に専任させるかについて指示を出すことが出来ます。

7. 「その他」カテゴリの設備を設置する。#

「その他」カテゴリの設備は出来る限りすぐに設置しましょう。設置することで各作業の効率が上昇します。

それから、「インフラ」カテゴリからα波発生装置とβ波発生装置も、建設出来るようになったらすぐに設置した方が良いです。SAN値の減少の遅延、もしくは作業スピードの上昇を見込むことが出来ます。

8. アイテム取り出し機を使う。#

この設備を利用することで、拠点間のアイテムの移動が容易になります。その拠点内にあるプライベートチェストを除いた全てのチェストの中に保管されているアイテムを、個数を指定して取り出すことが出来る設備です。

例えば、金属インゴットを拠点Aから拠点Bに移動したい場合、拠点Aのパルボックスの近くにアイテム取り出し機を置くことで拠点A内の全てのチェストの中に入っている金属インゴットを一度に取り出すことが可能になります。

そして拠点Bでは、金属インゴットを一時的に入れておくチェストをパルボックスの近くに設置します。さらに、金属インゴットを格納しておきたい別のチェストの近くに、アイテム取り出し機を置きます。こうすることで、先程の一時的に金属インゴットを入れたチェストから金属インゴットを取り出して、その金属インゴット保管用のチェストに即座に収納することが可能になります。この方法で、拠点間にて特に重いアイテムの移動を簡便にすることが出来ます。

9. 商人を設置する。#

フィールドの各地にいる商人を捕まえて、拠点内に設置することで、増えすぎてしまったアイテムを売ることで処分出来るようになります。商人は攻撃すると指名手配されてしまいますが、飛行ライド用のパルで上空高くに逃げてしばらく待てば指名手配が消えます。

こうして捕まえた商人が拠点内にいることによって、アイテムをスムーズに処分出来るようになります。いずれ、経験値集めのために釘などを大量に生産するようになると思いますが、その重い釘を拠点内で処分出来て便利になります。

また、この商人の近くにアイテム取り出し機を設置しておくことで、グラップリングガンを使ったりして重いアイテム（例えば釘）を大量に運ぶ必要がなくなります。

10. 原油抽出機は油田に2つ設置可能。#

原油抽出機は、1つの油田のノードに2基設置することが可能です。ctrlキーを押しながらやってみると、設置することが可能です。

より綺麗に原油抽出機を設置出来るとこんな感じになります。

まとめ#

パルワールドで拠点を作っていく時のコツ的なものを紹介しました。拠点内の作業の効率性を上げることで、より難しいダンジョンに挑めるようになったり、そうして拠点が成熟しきった後でもパルの経験値の取得スピードを上昇させることが出来ます。拠点の効率を上げることで、より快適にパルワールドをプレイ出来るようにしていきましょう。

Palworldを快適に#

超軽量ワイヤレスゲーミングマウス ATK Blazing Sky F1 Ultimate 重さ約38g 最大ポーリングレート8000Hz F1 ULTIMATE (ホワイト)amzn.to

ベンキュージャパン BenQ MOBIUZ EX2710Q ゲーミングモニター (27インチ/165Hz/IPS/WQHD/1ms/HDRi/HDR400/FreeSync Premium 2.1ch treVoloスピーカー/高機能スタンド/ゲームモード(FPS/RPG/レーシング)amzn.to

IODATA モニター MiniLED ゲーミング 27インチ 180Hz 1ms WQHD AHVAパネル非光沢広色域ブラック無輝点保証対応 (量子ドット/HDR1000/HDMI×2/DisplayPort/VESA対応/高さ調整/縦横回転/土日サポート/日本メーカー) EX-LDQ271JABamzn.to

おしまい#

リサちゃん

生産性・・・生産性・・・！

ペンギン

これで沢山経験値が入りそうか。

以上になります！

【Google Cloud】Cloud Shell EditorでClineを使ってみる

Sun, 26 Jan 2025 00:00:00 GMT

はじまり#

リサちゃん

うーん、これは便利ですなあ。

135ml

うーん、コイツ、動くぞ・・・っ。

Cloud Shell EditorでClineを使う。#

Google Cloudで無料で使えるオンラインエディタである「Cloud Shell Editor」で、現在流行りのコーディング用途としてAIエージェントを利用した拡張機能である「Cline」が利用できたので、その使用感をまとめてみたという記事です。「Cline」は、よくVisual Studio Codeの拡張機能として、紹介されています。

【Google Cloud】Eclipse TheiaがルーツのCloud Shell上で使用できるエディタ

Cloud Shell Editorの紹介記事です。VSCodeライクに、Google Cloudで無料で使えます。UI、使用感、そして他のクラウド上で動くエディタとも比較しました。

Amazonベーシックマウスパッドゲーム用 Mサイズブラック正方形amzn.to

Cloud Shell Editorでは、「Eclipse Theia」というエディタを利用した開発環境を構築することが出来ます。このIDEでは、OpenVSXに登録されている拡張機能のパッケージをインストールして利用することが可能であり、そのパッケージの中に「Cline」が登録されていたので使ってみました。正直、すばらしすぎるツールでした。それでは行ってみましょう。

Clineのインストール#

まずは、Clineをインストールしていきたいと思います。

と、その前に・・・、これから導入するパッケージが本当にあのClineなのかどうかを確認しました。

当初は、Web記事でちょくちょく「Cline」というワードを扱ったものが散見されていたので、そのClineのロゴには見覚えがあったのですが、cloud Shell上の拡張機能としてのClineのロゴはこんなイメージになっていました。

あれ・・・、ちょっと違う・・・？

そこで、この拡張機能をOpenVSX上で調べてみて、本当に巷で話題になっているClineと同じものなのかどうかを確認してみました。

OpenVSXのリポジトリの場所はここで、そこから遷移できたGitHubのリポジトリはここでした。デベロッパーの名前は同じみたいですね・・・。

ということで・・・、OpenVSX上に登録されているClineは、よく巷で話題になっているClineと同じパッケージであることが確認できました！　不審なパッケージをインストールしたくないですからね。

それでは、Cloud Shell Editor上にClineをインストールしていきます。

インストールに少し時間が掛かりましたが、無事にインストール出来ると、このようにClineのアイコンがサイドバーに表示されて、そのアイコンをクリックすると「Hi, I’m Cline」のメニューが表示されます。

ここで自分が利用したい大規模言語モデルのAPIを選択して、Clineを使用することが出来るようになります。

Clineを使ってみる。#

それではインストールも済んだことなので、Clineを使ってみたいと思います。

今回は「OpenAI」を選択してOpenAIのAPIキーを入力して「Let’s go!」をクリックします。使用できるAIモデルはこの他にも、Anthropic、OpenRouter、DeepSeek、Google Gemini、GCP Vertex AI、AWS Bedrock、Ollamaなどがあります。（2025-01-26時点。）

無事にレッツゴーできれば、「What can I do for you?」のメニューが表示されます。ここからAIエージェントに対して指示を出すことが出来ます。

しかしClineに指示を出す前に、「Custom Instruction」を設定していきます。「- 日本語で回答して。」と指示を出しておきます。今回使ったモデルは、添付の画像上では「gpt-4o」となっていますが、「gpt-4o-mini」を使いました。

Clineを使用する上で掛かる金額は、インプットに$5.00/million、アウトプットに$15.00/millionらしいです。最大アウトプット長は4096トークン。

指示を出します。まずはテストコードを書くように依頼してみました。

すると、Clineがファイルへの書き込みの許可を依頼してくるので、その許可をするとテストコードを書き始めました。このコードを書いている途中に、画面を動かしてしまうと途中で処理が中断したり動かなくなったりしました。なので、Clineによる処理中はエディタは操作せずに静観した方が良さそうです。

コードが書き終わると、書く前のファイルの状態との差分を表示して、そのコードの修正を反映するかどうかを質問してきます。反映するように回答すれば無事に反映されるというわけでした。

また、反映されたテストコードを実行することも可能です。実行するように許可をすれば実際にテストを走らせて、その際に発生したエラーに基づいてさらにテストコードを修正したりもしてくれました。なんて有能なんだ・・・。

実行を拒否して自分で実行してカバレッジを確認することも可能です。その際に表示されたエラーメッセージを添えてClineに指示を出せば、その際にもテストコードの修正をしてくれそうでした。

使用感#

まるで魔法のようにコードをサクサクと書いてくれそうなClineですが、開発者側が意図しないような挙動を起こすこともあったりします。

GPT-4o-miniで使った金額#

今回のClineの試用では、GPT-4o-miniを使っておおよそ$0.11ほどの利用料が掛かりました。実際にコーディングしていた時間は5時間ぐらいでした。ClineをGPT-4o-miniで使用する際の予算感は、大体それぐらいのボリュームです。

Clineによる処理中はエディタを触らない。#

これに関しては先程も少し書きました。

AI がファイルを修正をしたり追記する場合、この作業中にエディタ上で他のファイルを開いていたりすると正しく差分が実装されず、全くもって正しくないコードが生成されてしまいます。その誤ったコードで編集内容をファイルに反映してしまうと、元に戻すのは困難だと思われます。Gitにコミットした直後であればすぐに戻せそうですが、Clineを使う場合は、エディタを静観するのと、コード修正後には少しまめにコミットする方が良さそうです。

既存のコードと重複したコードを追記することがある。#

今回はClineに対してPythonスクリプトの修正作業を主に依頼しましたが、その修正結果を見てみると、既存のファイル内にて実装されていたimport句やdef句の部分をダブって追記していることがありました。まあ、その部分は修正内容を反映した後に消せばいいわけですが、そういう現象も起きたりします。こういった部分は、もしかしたらAIモデルによる部分もあるかもしれません。

Clineが永遠に修正し続けることがある。#

Clineは、ファイルに対して修正を施した後にその修正内容を実際にファイルに反映するかどうかを質問されます。その際に、「Reject」つまり拒否することが出来るわけですが、その後に再びClineが同じファイルに修正作業を始めて、再びそのファイル修正内容を反映するかどうかを質問してきたりします。この修正内容も拒否したら再度また同じファイルに修正を施して・・・といった具合で、Clineがずーっと修正作業を行う現象が起こることがあります。この現象が発生すると、おそらく永遠にClineが修正作業を実行し続けるため、API料金が嵩み続けることになります。全く同じ内容で修正することもあるので、API料金の無駄遣いになります。

この現象が起きた場合には、Clineのメニュー画面の上部に「✕」ボタンがあるので、そこをクリックしてClineとのやり取りを強制終了しましょう。

まとめ#

本記事では、Google Cloud Shell上でAIエージェントClineを利用した際の使用感をまとめた記事でした。

おかしな挙動を起こすこともある「Cline」ですが、基本的にはコードを光の速さで記述してくれて、かなり素晴らしいコーディングアシスタントでした。Cloud Shell Editorでは、Google Geminiを使ったコーディングアシスタントも利用できますが、正直言ってそのGeminiアシスタントよりもClineの方が使いやすくて、正しい実装を行ってくれているという所感を持ちました。このClineがオートコンプリート機能が働いてくれたりしたらさらに便利になりそうですが、そこはGemini Code Assistによるオートコンプリートを使っているのが現状です。（しかし、Geminiのオートコンプリートもとても助かっていますが。）

これからさらにコーディングの快適さが向上するのかと考えると、とても楽しみにさせてくれたClineでした。

PC作業のお供に#

Logicool G 8000Hz 左右対称 PRO X SUPERLIGHT 2 ワイヤレスゲーミングマウス G-PPD-004WL-BKd 44K DPI 8K ポーリングレート軽量 60g LIGHTFORCE ハイブリッドスイッチ LIGHTSPEED USB Type-C 充電国内正規品amzn.to

PFU キーボード HHKB Professional Classic 英語配列／白amzn.to

おしまい#

リサちゃん

なるほど、現状はこんな感じなんだな

135ml

まあでもかなり便利だよこれ。

以上になります！

【Vertex AI】パルワールドのパルのステータスをOCRして表にしたい

Mon, 13 Jan 2025 00:00:00 GMT

はじまり#

リサちゃん

厳選パルを沢山作ったなあ。

135ml

それをリレーションで一覧にしてみよう。

どのパルが個体値に関して優秀なんだろうか#

同じパルが沢山いる時に気になりました。

Palworld において、パルの個体値って調査ツールなるものが存在しますけど、それをゲーム内で一体ずついちいち確認するのは手間ですし、それをいちいちメモするのは手間です。 Web 上でも調査ツールなるものが存在しますが、そのためにゲーム画面に載っている数値をいちいちブラウザ上で入力するのも一苦労です。

まあ、 Mod が既に存在するかもしれませんが、今回はこれから Palworld 以外にも使えるように、以下のようなツールを作っていきたいと思います。

Google ドライブにゲーム内のキャラクターのスクショを保存。
そのスクショを Google Colabolatory から Vertex AI API に送って OCR してもらう。そしてリレーションを作ってもらう。
その作成したリレーションを Notion ページ内の新しいブロックの中に載せてもらう。

Google ドライブに置くとなると、 Google Apps Script （GAS）でも良さそうですが、今回は Google Colabolatory を利用することにします。その理由としては、 GAS の実行可能時間が短いためです。公式の閾値の掲載によると、およそ6分です。（あと、 Python の SDK を使う方が楽。）

Google サービスの割り当て | Apps Script | Google for Developers

Apps Script 内の Google サービスの 1 日の割り当てと制限を確認して、スクリプトが中断なく実行されるようにします。

Gemini generateContent API | Google AI for Developers

まず、可能なのかどうかを検証。#

Vertex AI Studio上で動画をOCR出来るのか？#

最初に、動画を OCR させてキャラクターの能力を一覧にすることは可能なのかどうかを検証していきたいと思います。

今回使う動画のイメージとしては、このようなパルのステータス表示を切り替える操作をスクリーンレコードしたものになります。

まずは、 Google Cloud の Vertex AI Studio 上で動画をアップロード出来るかどうかを試してみます。

今回 OCR したい動画のサイズは 32MB ぐらいです。アップロード出来ないので、 Google ドライブに配置してみます。

Google ドライブに配置した mp4 ファイルを選択します。

2025-01-07時点では、 Vertex AI などのGeminiを使った動画の OCR には以下の拡張子が利用出来るようです。 Google 公式ページに掲載されていました。

video/mp4
video/mpeg
video/mov
video/avi
video/x-flv
video/mpg
video/webm
video/wmv
video/3gpp

Google AI for Developers

เริ่มต้นสร้างด้วยความสามารถแบบหลายโมดัลของ Gemini ใน Gemini API

ai.google.dev

32MB ぐらいの動画を選択したら、「ファイルが大きすぎるため、メディアを追加できません。メディアファイルは 7MB 以下にする必要があります。」と表示されて、添付することが出来ませんでした。

Google AI Studio 上で動画をOCR出来るのか？#

次に、 Google AI Studio 上で動画を添付出来るかどうかを確かめてみます。

Vertex AI Studio と同様に、Google ドライブに配置した mp4 ファイルを選択します。

すると、添付することが出来ました。そして、プロンプトに、下記の文面を添えて、生成してもらいました。

1
この動画から以下のキャラクターのステータスを読み取って、 Markdown のテーブル形式にして。
2
---
3
KNIGHT_OF_01 KNIGHT_OF_02 KNIGHT_OF_03 KNIGHT_OF_04 KNIGHT_OF_05 KNIGHT_OF_06 KNIGHT_OF_07 KNIGHT_OF_08 KNIGHT_OF_09 KNIGHT_OF_10 KNIGHT_OF_11 KNIGHT_OF_12 KNIGHT_OF_13 KNIGHT_OF_14 KNIGHT_OF_15 KNIGHT_OF_16 KNIGHT_OF_17 KNIGHT_OF_18 KNIGHT_OF_19 KNIGHT_OF_20 KNIGHT_OF_21 KNIGHT_OF_22 KNIGHT_OF_23 KNIGHT_OF_24 KNIGHT_OF_25 KNIGHT_OF_26 KNIGHT_OF_27 KNIGHT_OF_28 KNIGHT_OF_29 KNIGHT_OF_30 KNIGHT_OF_31 KNIGHT_OF_32 KNIGHT_OF_33 KNIGHT_OF_34 KNIGHT_OF_35 KNIGHT_OF_36 KNIGHT_OF_37 KNIGHT_OF_38 KNIGHT_OF_39 KNIGHT_OF_40 KNIGHT_OF_41 KNIGHT_OF_42 KNIGHT_OF_43 KNIGHT_OF_44 KNIGHT_OF_45 KNIGHT_OF_46 KNIGHT_OF_47 KNIGHT_OF_48 KNIGHT_OF_49 KNIGHT_OF_50

生成に使用したAIモデルは、Gemni 2.0 Flash Experimentalです。

プロンプトを送ると、パル（テラナイト）のステータス情報がリレーション形式で出力されました。

成功です！・・・と言いたいところですが、一部のステータスのパラメータが足りません。

そこで追加のプロンプトとして、下記の内容を送ります。

1
以下のステータスも書き加えて。
2
---
3
Heart Passive Skill 1 Passive Skill 2 Passive Skill 3 Passive Skill 4

しかし・・・、「申し訳ございません。ご要望のステータスは画像から直接読み取ることができないため、表に追加することができません。」と返されてしまいました。動画だとOCRするのはまだ難しいようですね・・・。学習させれば行けなさそうもないですが。

Google AI Studio上で画像をOCR出来るのか？#

次に、先程から使っている動画から一体ずつスクショを撮って、その画像をアップロードして生成AIにデータを抽出してもらおうと思います。まあ、今回は 52 体のパルなのでスクショぐらいであれば労力的に問題ないです。

Google AI Studio で、画像をアップロードしてから、下記のプロンプトを与えます。

1
この画像から以下のキャラクターのステータスを読み取って、Markdownのテーブル形式にして。
2
---
3
Level Heart Attack Defense Work Speed Passive Skill 1 Passive Skill 2 Passive Skill 3 Passive Skill 4

しかし、まだ物足りない部分がありました・・・。この後に追加プロンプトも与えましたが、どうしても読み取ることが出来ないステータスがありました。この時のAIモデルも、Gemni 2.0 Flash Experimentalです。

Vertex AI Studio 上で画像をOCR出来るのか？#

それでは、 Vertex AI Studio 上で画像の OCR が可能なのかどうかを確かめます。

画像は、動画と違って問題なくアップロードできました。下記の文面を記載して送りました。

1
この画像から以下のキャラクターのステータスを読み取って、Markdownのテーブル形式にして。
2
---
3
Level Heart Attack Defense Work Speed Passive Skill 1 Passive Skill 2 Passive Skill 3 Passive Skill 4

すると、今回は上手く行きました。こちらが指示したパラメータを全て読み取ってリレーション形式でまとめることが出来ています。この時に生成に使用したAIモデルも、gemini-2.0-flash-expです。Gemni 2.0 Flash Experimentalと同じものです。

なぜ同じモデルで結果が異なるのかは分かりませんが、プロンプト内のトークンの順番は違ったので、そこが関係あるかもしれません。Google AI Studio上では、画像を示すトークンが指示文の前に来ていましたが、 Vertex AI Studio 上では、画像を示すトークンを指示文の後ろに配置して、成功することが出来ました。うーんまあ、この事は実際に API 経由でプロンプトする際の参考にしておくことします。

Googleドライブにゲーム内のキャラクターのスクショを保存。#

それでは、画像を OCR することが可能なことは分かったので、実際に Gemini API を叩いて、 Notion API でデータを載せるところまで作ってみたいと思います。

まずは Gemini にプロンプトするための画像のトークンを作る部分を作ります。 Google ドライブにはこのようにパルのステータスが映っているスクショをアップロードしておきます。

Google Colabolatoryで一括OCR処理を実装する。#

Pythonコードを作る。#

そして Google Colabolatory を使って、 OCR 処理の部分まで組み立てます。

まずは、以下の処理で Vertex AI のGemini APIを使って OCR することが出来ます。

1
from google import genai
2
from google.genai import types
3
import base64
4
from google.colab import userdata
5

6

7
def image_file_to_base64(file_path):
8
    with open(file_path, "rb") as image_file:
9
        data = base64.b64encode(image_file.read())
10

11
    return data.decode('utf-8')
12

13
def generate_chunks(img_path: str):
14
    PROJECT_ID = userdata.get('gcloud_project_id') # like env in Google Colab
15
    LOCATION = userdata.get('gcloud_location') # like env in Google Colab
16
    client = genai.Client(
17
        vertexai=True,
18
        project=PROJECT_ID,
19
        location=LOCATION
20
    )
21

22
    b64_image =image_file_to_base64(img_path)
23
    image1 = types.Part.from_bytes(
24
        data=base64.b64decode("""UklGRha......eqQAAA="""),
25
        mime_type="image/webp",
26
    )
27
    image1 = types.Part.from_bytes(
28
        data=base64.b64decode(b64_image),
29
        mime_type="image/webp",
30
    )
31
    textsi_1 = """以下のカラムを持ったテーブル形式で出力して。
32
---
33
Character Name
34
Level
35
Heart
36
Attack
37
Defense
38
Work Speed
39
Passive Skill 1
40
Passive Skill 2
41
Passive Skill 3
42
Passive Skill 4"""
43
    prompt = """この画像からキャラクターのステータスを読み取って、Markdownのテーブル形式にして。"""
44

45
    model = "gemini-2.0-flash-exp"
46
    contents = [
47
        types.Content(
48
            role="user",
49
            parts=[
50
                image1,
51
                types.Part.from_text(prompt)
52
            ]
53
        )
54
    ]
55
    generate_content_config = types.GenerateContentConfig(
56
        temperature = 1,
57
        top_p = 0.95,
58
        max_output_tokens = 8192,
59
        response_modalities = ["TEXT"],
60
        safety_settings = [types.SafetySetting(
61
            category="HARM_CATEGORY_HATE_SPEECH",
62
            threshold="OFF"
63
        ),types.SafetySetting(
64
            category="HARM_CATEGORY_DANGEROUS_CONTENT",
65
            threshold="OFF"
66
        ),types.SafetySetting(
67
            category="HARM_CATEGORY_SEXUALLY_EXPLICIT",
68
            threshold="OFF"
69
        ),types.SafetySetting(
70
            category="HARM_CATEGORY_HARASSMENT",
71
            threshold="OFF"
72
        )],
73
        system_instruction=[types.Part.from_text(textsi_1)],
74
    )
75

76
    chunks = []
77
    for chunk in client.models.generate_content_stream(
78
        model = model,
79
        contents = contents,
80
        config = generate_content_config,
81
    ):
82
        chunks.append(chunk)
83
        print(chunk, end="")
84

85
    return chunks
86

87
images = [
88
    "/content/drive/MyDrive/tmp/Screenshot_20250107-045338.webp"
89
]
90
parts = []
91
md_tables = []
92
for img_file_path in images:
93
    chunks = generate_chunks(img_file_path)
94
    print(chunks)
95
    for i in range(len(chunks)):
96
        print(chunks[i].candidates[0].content.parts[0].text)
97
        parts.append(chunks[i].candidates[0].content.parts[0].text)
98
    md_tables.append("".join(parts))
99
print("--------------------------------------\n")
100
print(md_tables)

展開する折りたたむ

Googleドライブをマウントする。#

そしたら、 Google Colabolatory から Google ドライブのファイルにアクセス出来るようにします。

Google Colabolator yのフォルダボタンから Google ドライブをマウントします。

Google ドライブをマウントすると、ずらーっとフォルダが表示されますので、今回 OCR に使用するフォルダを開いて、画像の縦三点リーダーからCopy pathでパスを取得してコードに貼り付けます。（先程掲載したコードのimagesに該当。）

認証を完了させる。#

これではまだ Vertex AI の API は利用できません。認証を済ませる必要があります。

Google Cloud コンソール上で Vertex AI の自由形式の画面を表示すると、コードを取得できるボタンがあるので、そこをクリックすると、シェルから Vertex AI API の認証を行うためのコマンドを確認することが出来ます。

Terminal window

1
pip install --upgrade google-cloud-aiplatform
2
gcloud auth application-default login

今回使うのは Google Colabolatory ですので、以下のコマンドでノートブック上に Shell を実行します。

Terminal window

1
!pip install --upgrade google-cloud-aiplatform
2
!gcloud auth application-default login

上記のgcloudコマンドを実行すると、 OAuth2 の認証における認可用URLが発行されるので、その URL をブラウザで叩いて、認可してもらいます。認可されると、アクセスコードが以下のページに貼られているのでそのコードを先程gcloud authを実行したシェル上で入力します。（ Google Colabolatory の場合、以下のページを開けていればアクセスコードを入力出来るかと思います。）

アクセスコードを入力すると、また別のgcloudコマンドで任意の Google Cloud プロジェクトをクォータプロジェクトとして登録しろという指令が出てきたので、そのコマンドをシェル上で叩いて登録します。既に Google Cloud プロジェクトを登録してあれば不要かもしれません。

Terminal window

1
!gcloud auth application-default set-quota-project <project-id>

そのクォータプロジェクトを登録するためのコマンドについては、こちらに公式の解説がありました。

gcloud auth application-default set-quota-project | Google Cloud SDK | Google Cloud Documentation

これで数分待てば、認証が完了していると思います。認証作業が完了すると、サービスアカウントの JSON ファイルも出力されるのでプライベートな場所で保管しておきます。

OCRを実行するのだが・・・。#

認証も済んだので、 Vertex AI API による OCR を実行していきます。ちゃんと実行できれば、以下のように Gemini から返ってきたものらしき生成内容を表示したり出来るようになりますね。今回検証に使用しているテラナイトのパッシブスキルが画像の中から取得できていることが確認できます。

しかし、あれっ・・・。

なんかエラーで止まっている・・・。

ClientError: 429 RESOURCE_EXHAUSTED. {‘error’: {‘code’: 429, ‘message’: ‘Online prediction request quota exceeded for gemini-experimental. Please try again later with backoff.’, ‘status’: ‘RESOURCE_EXHAUSTED’}}

そうです、この時に使った AI モデルはgemini-2.0-flash-expだったのですが、リクエスト頻度が細かすぎると利用制限の閾値に達してしまうようです。

なので、time.sleep(10)とかをリクエストごとに入れてみたりしたのですが、それでもgemini-2.0-flash-expでは相変わらず429 RESOURCE_EXHAUSTED.が表示されて画像の OCR が 10 件も進まないで処理が止まってしまいました。

それではそうですね・・・。AIモデルも変えるしかない・・・？

「gemini-1.5-flash-002」は如実に力不足。#

というわけで、 AI モデルをgemini-1.5-flash-002に変えてリトライです。

しかし、 OCR 処理を進めていくと不穏な出力が途中で垣間見られます・・・。

「Passive Skill 3とPassive Skill 4は、画像から明確に読み取れませんでした。」・・・？

うーん、gemini-2.0-flash-expだったら読み取れないなんてことは起きなかったのに・・・。

gemini-1.5-flash-002だと今回の OCR 処理を任せるには力不足が否めませんね・・・。

というわけで次は、gemini-1.5-pro-002に任せてみることにしました。

フム、なんか補足やら解説やらが余計ですが、それはプロンプトによって抑制することは出来るでしょう。

gemini-1.5-pro-002なら、 OCR 処理は上手く行けそうです。

生成したMarkdownをNotionに貼り付ける#

それでは、gemini-1.5-pro-002に Markdown のテーブル形式でパルのステータスの表を生成してもらったので、そのテーブルを Notion に貼り付けて、リレーションにしたいと思います。

実際に Notion に貼り付けてみるとこんな感じです。プロンプトから生成したリレーションをさらに ChatGPT にまとめてもらった結果を Notion に貼り付けました。これで加工できそうな形にはなっていそう。

そして少しスプレッドシートで編集して・・・、 ChatGPT がまとめたテーブルを編集した結果はこんな感じです。4匹分のパルが漏れていますね・・・。たぶん、 ChatGPT が漏らしたな・・・？　まだまだですね・・・。（ちなみに使ったモデルはGPT-4oです。）

目視で抜けているのを確認して、編集した結果はこんな感じになりました。漏れている部分はありましたが、かなり手作業の量は減らせたので、とても有用なツールを作ることは出来た気がします。

このようなパルワールドのパルのステータス画面のスクショから・・・。

以下のようなリレーション形式でステータスをまとめることが出来ました。

Character Name	Level	Heart	Attack	Defense	Work Speed	Passive Skill 1	Passive Skill 2	Passive Skill 3	Passive Skill 4
KNIGHT_OF_01	59	10287	2266	1813	49	獰猛	冷静沈着	伝説	脳筋
KNIGHT_OF_02	55	8643	2323	1616	49	伝説	冷静沈着	脳筋	獰猛
KNIGHT_OF_03	55	8627	1969	1742	49	獰猛	伝説	脳筋	冷静沈着
KNIGHT_OF_04	57	8923	2075	1581	49	伝説	冷静沈着	獰猛	脳筋
KNIGHT_OF_05	57	8889	2098	1792	49	獰猛	冷静沈着	脳筋	伝説
KNIGHT_OF_06	55	8028	1969	1616	49	冷静沈着	伝説	脳筋	獰猛
KNIGHT_OF_07	56	8783	2358	1658	49	伝説	獰猛	脳筋	冷静沈着
KNIGHT_OF_08	56	8020	2028	1665	49	伝説	冷静沈着	脳筋	獰猛
KNIGHT_OF_09	56	8783	2066	1729	49	伝説	獰猛	脳筋	冷静沈着
KNIGHT_OF_10	56	7611	1995	1558	49	冷静沈着	伝説	獰猛	脳筋
KNIGHT_OF_10	58	10067	2257	1717	49	伝説	獰猛	冷静沈着	脳筋
KNIGHT_OF_11	56	7767	1994	1662	49	獰猛	脳筋	伝説	冷静沈着
KNIGHT_OF_12	56	7412	2358	1579	49	獰猛	冷静沈着	脳筋	伝説
KNIGHT_OF_13	54	8502	2323	1602	49	獰猛	伝説	脳筋	冷静沈着
KNIGHT_OF_14	55	7329	1998	1629	49	伝説	獰猛	脳筋	冷静沈着
KNIGHT_OF_15	55	8456	2085	1789	49	伝説	冷静沈着	獰猛	脳筋
KNIGHT_OF_16	55	7894	2039	1576	49	冷静沈着	脳筋	伝説	獰猛
KNIGHT_OF_17	56	8123	2286	1592	49	獰猛	冷静沈着	脳筋	伝説
KNIGHT_OF_18	55	8765	2145	1720	49	脳筋	伝説	冷静沈着	獰猛
KNIGHT_OF_19	55	8643	1917	1635	49	伝説	獰猛	脳筋	冷静沈着
KNIGHT_OF_20	55	7329	2089	1508	49	獰猛	冷静沈着	脳筋	伝説
KNIGHT_OF_21	55	7329	2377	1434	49	脳筋	伝説	獰猛	冷静沈着
KNIGHT_OF_22	57	7355	2435	1558	49	獰猛	脳筋	冷静沈着	伝説
KNIGHT_OF_23	57	8286	2417	1809	49	伝説	脳筋	冷静沈着	獰猛
KNIGHT_OF_24	57	8905	2026	1815	49	獰猛	冷静沈着	伝説	脳筋
KNIGHT_OF_25	58	8414	2228	1819	49	冷静沈着	脳筋	獰猛	伝説
KNIGHT_OF_26	58	8414	2071	1712	49	冷静沈着	伝説	獰猛	脳筋
KNIGHT_OF_27	58	7676	2291	1669	49	伝説	冷静沈着	脳筋	獰猛
KNIGHT_OF_28	58	9063	2032	1712	49	冷静沈着	伝説	脳筋	獰猛
KNIGHT_OF_29	58	9063	2430	1696	49	獰猛	脳筋	伝説	冷静沈着
KNIGHT_OF_30	59	8543	2469	1741	49	冷静沈着	伝説	脳筋	獰猛
KNIGHT_OF_31	57	8044	2066	1640	98	冷静沈着	脳筋	伝説	獰猛
KNIGHT_OF_32	58	7676	2340	1831	49	獰猛	冷静沈着	脳筋	伝説
KNIGHT_OF_33	58	8518	2412	1712	49	伝説	冷静沈着	獰猛	脳筋
KNIGHT_OF_34	57	8630	2007	1809	49	脳筋	伝説	獰猛	冷静沈着
KNIGHT_OF_35	56	8156	1994	1658	49	伝説	脳筋	獰猛	冷静沈着
KNIGHT_OF_36	55	7612	2194	1395	49	冷静沈着	獰猛	脳筋	伝説
KNIGHT_OF_37	57	7923	2417	1462	49	冷静沈着	伝説	脳筋	獰猛
KNIGHT_OF_38	57	8612	2302	1462	49	獰猛	脳筋	冷静沈着	伝説
KNIGHT_OF_39	57	7561	2061	1750	49	冷静沈着	伝説	脳筋	獰猛
KNIGHT_OF_40	55	7811	2233	1754	49	獰猛	脳筋	伝説	冷静沈着
KNIGHT_OF_41	57	8508	2026	1520	49	脳筋	冷静沈着	獰猛	伝説
KNIGHT_OF_42	56	7444	2401	1533	49	脳筋	冷静沈着	伝説	獰猛
KNIGHT_OF_43	58	9063	2179	1838	49	獰猛	脳筋	冷静沈着	伝説
KNIGHT_OF_44	58	8641	2107	1606	49	伝説	冷静沈着	獰猛	脳筋
KNIGHT_OF_45	59	8132	2064	1744	49	伝説	冷静沈着	獰猛	脳筋
KNIGHT_OF_47	58	9063	2176	1550	49	獰猛	伝説	冷静沈着	脳筋
KNIGHT_OF_48	58	8537	2064	1712	49	冷静沈着	獰猛	伝説	脳筋
KNIGHT_OF_49	58	7414	2089	1696	49	伝説	脳筋	冷静沈着	獰猛
KNIGHT_OF_50	58	8275	2014	1630	98	冷静沈着	伝説	脳筋	神速
KNIGHT_OF_ZERO	59	9947	1959	1741	49	突撃指揮者	冷静沈着	脳筋	伝説
KNIGHT_OF_-1	50	4965	984	932	98	堅城の軍師	突撃指揮者	冷静沈着	伝説

今回実装したOCR処理の最終形#

最終的に実装した OCR 処理の Python コードは以下のような感じです。

1
from google import genai
2
from google.genai import types
3
import base64
4
from time import sleep
5
from google.colab import userdata
6

7
def image_file_to_base64(file_path):
8
    with open(file_path, "rb") as image_file:
9
        data = base64.b64encode(image_file.read())
10

11
    return data.decode('utf-8')
12

13
def generate_chunks(img_path: str):
14
    PROJECT_ID = userdata.get('gcloud_project_id') # like env in Google Colab
15
    LOCATION = userdata.get('gcloud_location') # like env in Google Colab
16
    client = genai.Client(
17
        vertexai=True,
18
        project=PROJECT_ID,
19
        location=LOCATION
20
    )
21

22
    b64_image =image_file_to_base64(img_path)
23
    image1 = types.Part.from_bytes(
24
        data=base64.b64decode(b64_image),
25
        mime_type="image/webp",
26
    )
27
    textsi_1 = """以下のカラムを持ったテーブル形式で出力して。
28
---
29
Character Name
30
Level
31
Heart
32
Attack
33
Defense
34
Work Speed
35
Passive Skill 1
36
Passive Skill 2
37
Passive Skill 3
38
Passive Skill 4"""
39
    prompt = """この画像からキャラクターのステータスを読み取って、Markdownのテーブル形式にして。補足や説明は不要です。"""
40

41
    # model = "gemini-2.0-flash-exp"
42
    model = "gemini-1.5-pro-002"
43
    contents = [
44
        types.Content(
45
            role="user",
46
            parts=[
47
                image1,
48
                types.Part.from_text(prompt)
49
            ]
50
        )
51
    ]
52
    generate_content_config = types.GenerateContentConfig(
53
        temperature = 1,
54
        top_p = 0.95,
55
        max_output_tokens = 8192,
56
        response_modalities = ["TEXT"],
57
        safety_settings = [types.SafetySetting(
58
            category="HARM_CATEGORY_HATE_SPEECH",
59
            threshold="OFF"
60
        ),types.SafetySetting(
61
            category="HARM_CATEGORY_DANGEROUS_CONTENT",
62
            threshold="OFF"
63
        ),types.SafetySetting(
64
            category="HARM_CATEGORY_SEXUALLY_EXPLICIT",
65
            threshold="OFF"
66
        ),types.SafetySetting(
67
            category="HARM_CATEGORY_HARASSMENT",
68
            threshold="OFF"
69
        )],
70
        system_instruction=[types.Part.from_text(textsi_1)],
71
    )
72

73
    chunks = []
74
    for chunk in client.models.generate_content_stream(
75
        model = model,
76
        contents = contents,
77
        config = generate_content_config,
78
    ):
79
        chunks.append(chunk)
80
        print(chunk, end="")
81

82
    return chunks
83

84
images = [
85
    "/content/drive/MyDrive/tmp/Screenshot_20250107-045338.webp",
86
    "/content/drive/MyDrive/tmp/Screenshot_20250107-045349.webp",
87
    "/content/drive/MyDrive/tmp/Screenshot_20250107-045351.webp",
88

89
    ...
90

91
    "/content/drive/MyDrive/tmp/Screenshot_20250107-050253.webp",
92
    "/content/drive/MyDrive/tmp/Screenshot_20250107-050254.webp"
93
]
94
parts = []
95
md_tables = []
96
for img_file_path in images:
97
    chunks = generate_chunks(img_file_path)
98
    print(chunks)
99
    for i in range(len(chunks)):
100
        print(chunks[i].candidates[0].content.parts[0].text)
101
        parts.append(chunks[i].candidates[0].content.parts[0].text)
102
    md_tables.append("".join(parts))
103
    sleep(10) <- wait a moment
104
print("--------------------------------------\n")
105
print(md_tables)

展開する折りたたむ

まとめ#

今回は、 Vertex AI の Gemini API と Google Colabolatory を使用して、パルワールドのパルのステータス画面のスクショを OCR して、テーブル形式もといリレーション形式にまとめる試みでした。

以下が本記事のまとめです。

Vertex AI を Python から実行するためには、 OAuth2 認証が必要である。
Google Colabolatory から Google ドライブ内のファイルを参照することが可能である。
gemini-2.0-flash-expにリクエストを頻繁に送ると、 API 利用制限に抵触して処理が止まってしまう。 10 秒ぐらい空けても止まってしまった。
gemini-1.5-flash-002だと、まだ OCR 処理の能力が弱い。gemini-1.5-pro-002であれば、プロンプトによっては問題なく OCR 可能である。
その結果を ChatGPT-4o にまとめさせることは可能だが、データの一部が抜けることはある。

Google Colabolatory がかなり優秀なので、クライアントとしてはかなりこれだけで事足りそうな感じがしました。他のゲームのスクショでも可能なのかどうかも調べてみたいですね。

おしまい#

リサちゃん

おお～、一気に見れるようになったぞぉ

135ml

かなり自動で出来上がったな。

以上になります！

ChocolateyでWindowsに一気にインストールする

Sun, 05 Jan 2025 00:00:00 GMT

はじまり#

リサちゃん

あれっ、この前も同じような記事を書かなかった？

135ml

俺は日々進化している・・・。

Windowsへのインストール作業を楽にしたい。#

最近、 PCを新しくしたのですが、 Windows を新しくセットアップした後、ソフトウェアのインストールする作業が本当に面倒くさかったです。マウスとAlt + Tabを忙しなく動かして、10年ぐらい前にもこんな作業をやっていたような気がします。なんて原始的なんだ。

・・・という書き出しで、以前にも同じような Windows のパッケージ管理ツールに関する記事を書きました。なんて節操がないことをしているんだ・・・僕は・・・。

ScoopでWindowsに一気にインストールする

ScoopというパッケージマネージャーでWindowsにアプリを一気にインストールする方法を紹介します。

Chocolatey is software management automation for Windows that wraps installers, executables, zips, and scripts into compiled packages. Chocolatey integrates w/SCCM, Puppet, Chef, etc. Chocolatey is trusted by businesses to manage software deployments.

しかし、パッケージ管理マネージャーを Scoop から Chocolateyに変えたのには意味があります。そのことに関して今回は取り上げていきたいと思います。

Chocolateyとは#

Chocolatey は Windows 用のパッケージマネージャーで、 Linux のaptやyumのようなツールです。コマンドラインを使用してソフトウェアのインストール、アップデート、アンインストールが簡単に行えるため、効率的な作業環境の構築が可能です。主な特徴としては以下が挙げられます。

数千以上のパッケージが利用可能
コマンド一つでインストールが完了
複数のソフトウェアを一括管理できる

Chocolateyの方がパッケージの数が多い。#

Scoop よりも Chocolatey の方がインストール可能なパッケージの数が多いです。2024-01-06時点におけるパッケージの数は以下のようになっています。 Chocolatey が約2倍多いですね。

Scoop：5,776
Chocolatey：10,360

そのため、 Scoop ではインストールできず、 Chocolatey ではインストール出来るパッケージがあったりします。個人的に見つけたものは以下のパッケージです。ニッチですが。

Sound Blaster Command
NVidia Display Driver（Scoopにあるものは更新年月日が2022年ぐらいで止まっていた。）

以下に、 Scoop でインストール出来る一部のパッケージおよび Chocolatey でインストール出来る一部のパッケージを照らし合わせた表を載せておきます。

name	is_available_on_scoop	is_available_on_choco
7zip	true	true
ffmpeg	true	true
git	true	true
libwebp	true	false
exiftool	true	true
steam	true	true
discord	true	true
googlechrome	true	true
everything	true	true
gimp	true	true
vlc	true	true
msiafterburner	true	true
QuickLook	true	true
vscode	true	true
epic-games-launcher	true	true
PPSSPP	true	true
Sound Blaster Command	false	true
NVidia Display Driver	false	true

Chocolatey で利用出来るパッケージはここで確認することが出来ます。

Chocolatey Software

Packages

community.chocolatey.org

Scoop だと GitHub Actions が上手く通らない。#

そして、 Scoop をパッケージ管理マネージャーとして操を立てるという企みは一夜にして崩れ去った理由としては、 GitHub Actions が成功しなかったことが挙げられます。

なぜかは分かりませんが、 Scoop のパッケージをインストールして、その後に Scoop を使ってその他のパッケージをインストールしようとしてもscoopのコマンド名の解決が為されず、エラーになってしまうのです。

.github/workflows/install_test.yml:

1
name: InstallTest
2

3
on: [push]
4

5
jobs:
6
  windows:
7
    runs-on: windows-latest
8
    steps:
9
      - uses: actions/checkout@v4
10
      - name: Install PSScriptAnalyzer module
11
        shell: pwsh
12
        run: |
13
          Set-PSRepository PSGallery -InstallationPolicy Trusted
14
          Install-Module PSScriptAnalyzer -ErrorAction Stop
15
      - name: Get list of rules
16
        shell: pwsh
17
        run: |
18
          Get-ScriptAnalyzerRule
19
      - name: Install required packages
20
        shell: pwsh
21
        run: choco install -y git
22
      - name: Install dotfiles
23
        shell: pwsh
24
        run: install_scripts/dotsinstaller.ps1 install
25
      - name: scoop list
26
        shell: pwsh
27
        run: scoop list

展開する折りたたむ

dotsinstaller.ps1の処理の一部であるこのスクリプトで Scoop をインストールします。しかし、この後にscoop listを実行するとワークフローが失敗します。Cドライブにインストールしようが、Dドライブにインストールしようが失敗してしまいました。

Terminal window

1
$firstDir = (Get-Location).Path
2
# Set-Location "D:\"
3
Set-Location "C:\"
4
Get-Location
5

6
Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope CurrentUser -Force
7
Invoke-RestMethod -Uri https://get.scoop.sh | Invoke-Expression
8
Set-Location $firstDir

実際に詰まる時のエラーメッセージはこんな感じです。scoopが認識されていないらしい。

1
scoop: D:\a_temp\75f2a30e-f141-4938-9284-342f2c9b5e11.ps1:2
2
Line |
3
   2 | scoop list
4
     | ~
5
     | The term 'scoop' is not recognized as a name of a cmdlet, function, script file, or executable program.
6
     | Check the spelling of the name, or if a path was included, verify that the path is correct and try again.

もう少し手前の警告メッセージでは、実行ポリシーの設定に失敗しているようです。しかし、普通にローカルの Windows マシンではインストールできているんですよね・・・。分からん・・・。

1
Path
2
C:\
3
Set-ExecutionPolicy : Windows PowerShell updated your execution policy successfully, but the setting is overridden by
4
a policy defined at a more specific scope. Due to the override, your shell will retain its current effective
5
execution policy of Unrestricted. Type "Get-ExecutionPolicy -List" to view your execution policy settings. For more
6
information please see "Get-Help Set-ExecutionPolicy".
7
At D:\a\dotfiles\dotfiles.config\scoop\init.ps1:6 char:1

そんなトラブルに見舞われた後、 Scoop の代わりに Chocolatey をパッケージのインストールに使用したらワークフローが上手く通りました。

GitHub 公式の解説でも、 Windows で GitHub Actions のランナーを走らせる時には、 Chocolatey を使ってパッケージをインストールするように推奨されています。

GitHub Docs

GitHubホストランナーのカスタマイズ - GitHubドキュメント

ワークフローの一部として、GitHubホストランナーに追加のソフトウェアをインストールできます。

docs-internal.github.com

Chocolateyをインストールする。#

PowerShell を管理者権限で起動して、 Chocolatey をインストールします。

Terminal window

1
Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope CurrentUser -Force
2
Invoke-Expression ((New-Object System.Net.WebClient).DownloadString('https://chocolatey.org/install.ps1'))

Chocolatey がインストールされていればバージョンを確認できます。

Terminal window

1
choco -v

パッケージをインストールする。#

それでは Chocolatey でパッケージをインストールしていきます。例えば、以下のコマンドで Google Chrome をインストールできます。

Terminal window

1
choco install googlechrome -y

ps1ファイルに列挙してインストールする。#

先程の方法だと txt ファイルを配置しなければなりませんが、こっちの方法の方がファイルを配置するのでもファイルからコピペして貼り付けるでもインストール出来るので楽かもしれません。

インストールしたいアプリをテキストファイルにまとめます。たとえば、InstallWithMain.ps1というファイルを作って以下の内容を記述するか、 PowerShell コンソール上で以下のコマンドを全て実行します。

Terminal window展開する折りたたむ

1
# cui
2
choco install git
3
choco install 7zip
4
choco install curl
5
choco install exiftool
6
choco install ffmpeg
7
# gui
8
choco install discord
9
choco install everything
10
choco install gimp
11
choco install googlechrome
12
choco install msiafterburner
13
choco install obs-studio
14
choco install quicklook
15
choco install vlc
16
choco install vscode
17
# game
18
choco install steam
19
choco install epicgameslauncher
20
choco install nvidia-display-driver
21
choco install soundblaster-command

展開する折りたたむ

その他のchocoコマンド#

インストール済みパッケージをアップデートします。

Terminal window

1
choco upgrade googlechrome -y

全てのインストール済みパッケージをアップデートします。

Terminal window

1
choco upgrade all -y

インストール時に.lightサフィックスや.portableサフィックスを付けることができるパッケージもあったりします。

Terminal window

1
choco install openssl.light
2
choco install everything.portable

インストール済みパッケージをリスト形式で表示します。

Terminal window

1
choco list

インストール済みパッケージをアンインストールします。

Terminal window

1
choco uninstall googlechrome -y

まとめ#

今回は、 Chocolatey を使って Windows にアプリケーション・パッケージを楽にインストールするための方法の紹介しました。

こちらのパッケージ管理マネージャーを使えば、 Windows にインストールするパッケージをおおよそ一括管理出来るのと同時に、 GitHub Actions でインストールテストを行うことも出来ます。

それでは快適な環境構築を！

PC作業のお供に#

Amazonベーシックマウスパッドゲーム用 Mサイズブラック正方形amzn.to

PFU キーボード HHKB Professional Classic 英語配列／白amzn.to

A command-line installer for Windows

おしまい#

リサちゃん

インストールにけっこう時間が掛かるな・・・。

135ml

Windowsはかなり掛かるんだな・・・。

以上になります！

ScoopでWindowsに一気にインストールする

Sat, 04 Jan 2025 00:00:00 GMT

はじまり#

リサちゃん

これはすごい楽だなぁ

135ml

これで一気にインストール出来るな。

Windowsへのインストール作業を楽にしたい。#

最近、 PC を新しくしたのですが、 Windows を新しくセットアップした後、ソフトウェアのインストールする作業が本当に面倒くさかったです。マウスとAlt + Tabを忙しなく動かして、10年ぐらい前にもこんな作業をやっていたような気がします。なんて原始的なんだ。

そこで今回は、そんな Windows の環境構築におけるアナログチックな作業を無くすために、「Scoop」というパッケージ管理ツールを使って、一気に楽々にアプリケーションのインストール作業を終わらせる方法を紹介します。

感覚としては、 Debian におけるaptや macOS におけるbrewのように、コマンド一発で必要なアプリケーションをインストールすることが可能です。それでは、やってみましょう。

Scoopの実行に必要な環境#

Scoop は PowerShell を利用して動作するため、以下の条件を満たしている必要があります:

PowerShell 5 以上（Windows 10以降では標準搭載）
Git（必須ではないが推奨）

また、実行ポリシーを変更してスクリプトが実行できるようにしておきます。

PowerShell を管理者権限で開き、以下のコマンドを実行します:

Terminal window

1
Set-ExecutionPolicy RemoteSigned -Scope CurrentUser

次に、 Scoop をインストールします。 PowerShell に以下を入力するだけです。

Terminal window

1
iwr -useb get.scoop.sh | iex
2
# 以下でも可能です。
3
Invoke-RestMethod -Uri <https://get.scoop.sh> | Invoke-Expression

これで Scoop がインストールされました！インストールが正常に行われたかどうかは、以下のコマンドで確認できます

Terminal window

1
scoop --version

パッケージをインストールする。#

scoop listを実行すると、現在インストールされていて Scoop によって管理されているパッケージの一覧を確認することが出来ます。

Terminal window

1
scoop list
2

3
# -------------------------------------------------------
4

5
Name    Version  Source Updated             Info
6
----    -------  ------ -------             ----
7
7zip    24.08    main   2024-11-17 07:57:22
8
ffmpeg  7.1      main   2024-12-08 22:03:37
9
git     2.47.0.2 main   2024-11-17 07:57:27
10
libwebp 1.4.0    main   2024-11-17 08:08:57

scoop bucket add extrasを実行すると、extrasという名前の bucket から追加のパッケージをインストールすることが出来るようになります。extras bucketには主に GUI アプリが扱われています。

Terminal window

1
scoop bucket add extras
2

3
# -------------------------------------------------------
4

5
Checking repo... OK
6
The extras bucket was added successfully.

新しいパッケージをインストール出来るようになったので、steamのアプリが利用出来るかどうかを確認してみます。scoop search googlechromeを実行します。 Google Chrome を利用できそうです。

Terminal window

1
scoop search googlechrome
2

3
# -------------------------------------------------------
4

5
Results from local buckets...
6

7
Name         Version        Source Binaries
8
----         -------        ------ --------
9
googlechrome 131.0.6778.205 extras

インストールしたい場合は、以下のコマンドで可能です。

Terminal window

1
scoop install googlechrome

次は、steamのアプリが利用出来るかどうかを確認してみます。

Terminal window

1
scoop search steam
2

3
# -------------------------------------------------------
4

5
Results from local buckets...
6

7
Name                        Version    Source Binaries
8
----                        -------    ------ --------
9
archisteamfarm              6.1.1.3    extras
10
bulk-crap-uninstaller       5.8.2      extras SteamHelper.exe
11
steam-desktop-authenticator 1.0.15     extras
12
steam-library-manager       1.7.1.0    extras
13
steamcmd                    1733269577 extras
14
steamguard-cli              0.15.0     extras

新しいバケットを追加しましたが、 Steam のクライアントアプリは一覧に載っていませんでした・・・。ちなみに、 Steam のクライアントアプリをインストールするためにはgamesバケットを追加する必要があります。また別のバケットが必要になる場合もあるわけです。

そして、 Scoop で利用出来るパッケージと、そのパッケージをインストール可能なバケットはここで検索できます。

@ScoopInstaller

Scoop

scoop.sh

インストール可能なパッケージの例。#

scoop bucket add extrasでextras bucket内にあるパッケージもインストール出来るようになるのだが、bucketはそれだけではなく、gamesやversionsなど色々あります。（scoop search <package_name>で現在インストール出来るパッケージを確認出来る。）

name	buckets
7zip	main
ffmpeg	main
git	main
libwebp	main
exiftool	main
steam	games, versions
discord	extras
googlechrome	extras
everything	extras
gimp	extras
vlc	extras
msiafterburner	extras
QuickLook	extras
vscode	extras
epic-games-launcher	games
PPSSPP	games

Scoopで一気にインストール用ファイル#

色々やり方があると思います。今回は2通りを紹介します。

txtファイルに列挙する。#

インストールしたいアプリをテキストファイルにまとめます。たとえば、install.txtというファイルを作り、以下のように記述します。

1
googlechrome
2
vscode
3
nodejs
4
git
5
7zip

作成したファイルを元に、以下のコマンドを実行します。

Terminal window

1
Get-Content install.txt | ForEach-Object { scoop install $_ }

ps1ファイルに列挙する。#

Terminal window

1
scoop install main/7zip
2
scoop install main/curl
3
scoop install main/exiftool
4
scoop install main/ffmpeg
5
scoop install main/git
6
scoop install main/libwebp

コマンドプロンプトから以下のコマンドを全て実行するか、.batファイルを作って実行でも良いかもしれません。 dotfiles リポジトリを作ってファイルを作って反映することも可能です。また、 Scoop はコマンドプロンプトからでも実行可能です。

Terminal window

1
Start /WAIT Powershell -Windowstyle Normal -NoProfile -ExecutionPolicy Unrestricted -File ".\Init.ps1"
2
Start /WAIT Powershell -Windowstyle Normal -NoProfile -ExecutionPolicy Unrestricted -File ".\InstallWithMain.ps1"
3
Start /WAIT Powershell -Windowstyle Normal -NoProfile -ExecutionPolicy Unrestricted -File ".\InstallWithExtras.ps1"
4
scoop list

先程のInstallWithMain.ps1とは別に、InstallWithExtras.ps1というファイルを作っておけば、 bucket 毎にインストールするパッケージを区別することが出来ます。

Terminal window

1
scoop bucket add extras
2
scoop install extras/discord
3
scoop install extras/everything
4
scoop install extras/gimp
5
scoop install extras/googlechrome
6
scoop install extras/msiafterburner
7
scoop install extras/obs-studio
8
scoop install extras/quicklook
9
scoop install extras/vlc
10
scoop install extras/vscode

その他のScoopコマンド#

Scoop でパッケージをインストールした後に、それらのパッケージを管理するためのコマンド諸々です。

アプリのアップデート:

Terminal window

1
scoop update <アプリ名>

すべてのアプリを一括アップデート:

Terminal window

1
scoop update *

アプリのアンインストール:

Terminal window

1
scoop uninstall <アプリ名>

まとめ#

今回は、 Scoop を使って Windows にアプリケーション・パッケージを楽にインストールするための方法の紹介しました。

PC作業のお供に#

Amazonベーシックマウスパッドゲーム用 Mサイズブラック正方形amzn.to

PFU キーボード HHKB Professional Classic 英語配列／白amzn.to

おしまい#

リサちゃん

ビリーズ・ブート・キャンプしている間に終わっちゃったよ！

135ml

古いな。アップデートしよう

以上になります！

【YouTubeなど】動画の更新状況_2024年12月

Fri, 03 Jan 2025 00:00:00 GMT

はじまり#

ペンギン

先月の動画の更新状況です。

リサちゃん

何を上げたのかなあ？

2024年12月に投稿した動画の一覧#

投稿した動画の数：5

【Satisfactory】火薬もウランも必要ない核爆弾ニュークノーベリスク #48 | 未知の設備でゆっくり工業化【ゆっくり実況】#

動画投稿日：2024/12/02

【Satisfactory】手動クラフトしまくらないと作れない冷却システム #49 | 未知の設備でゆっくり工業化【ゆっくり実況】#

動画投稿日：2024/12/09

【Satisfactory】今度は頼んだぞリアクターモジュール！ #50 | 未知の設備でゆっくり工業化【ゆっくり実況】#

動画投稿日：2024/12/16

【Satisfactory】固定子だけで作りまくれる原子核パスタ #51 | 未知の設備でゆっくり工業化【ゆっくり実況】#

動画投稿日：2024/12/23

【Satisfactory】総集編 | 未知の設備でゆっくり工業化：前半【ゆっくり実況】#

動画投稿日：2024/12/30

kinkingame24bitのYouTubeチャンネル#

よろしければ、チャンネルのご登録お願い致します。

おしまい#

ペンギン

先月は5本か。

リサちゃん

よければ視聴してみて下さい。

以上になります！

【PowerShell】Dwebpで伸長したPNGをiTextSharpでPDFにまとめる

Thu, 02 Jan 2025 00:00:00 GMT

はじまり#

リサちゃん

こいつらwebp形式と来たか・・・

135ml

それらをPDFにまとめたいな。

DwebpとSystem.Drawing名前空間でPDFに変換可能なJPGを作る。#

今回は、複数枚の webp 画像を PDF として一つにまとめる処理を実装する流れを紹介します。断片化した webp を PDF にまとめることで、ストレージに対してデフラグを行うことが狙いです。

PDF への変換には「iTextSharp」を利用していきますが、以前に、 Cwebp で圧縮した JPG が iTextSharp で PDF に変換することが出来なかったため、今回のdwebpツールを使った処理でも同様に、 PDF に変換可能な JPG は作成できないと仮定します。

【PowerShell】Cwebpで圧縮したJPGだとiTextSharpでPDFに変換出来ない

Cwebpで圧縮したJPGだとiTextSharpでPDFに出来ないので、.NET Framework内のSystem.Drawing名前空間を利用して変換します。

そこで今回は、 Dwebp ツールで webp を png に伸長・変換して、.NET FrameworkのSystem.Drawing名前空間でその png を jpg に変換する。そして、その jpg 画像を PDF にまとめるという流れで、処理を実装していきます。それではやっていきましょう。

全体的な処理のコード#

Dwebp ツールで webp を png に変換して、System.Drawing名前空間でその png を jpg に変換する。

その処理をこの関数で定義します。

Terminal window展開する折りたたむ

1
function Optimize-ImagesWithDecompressing() {
2
  <#
3
  .SYNOPSIS
4
    Converts multiple WebP images to JPEG format with specified quality.
5
  .DESCRIPTION
6
    This function converts WebP images to JPEG format. It first decompresses each WebP to PNG using dwebp, then compresses the PNG to JPEG using the specified quality.
7
  .PARAMETER pathList
8
    An array of full file paths to the WebP images to be converted.
9
  .PARAMETER suffix
10
    A string suffix to append to the filename before the .png extension during the decompression stage. This suffix is not used in final jpeg filename.
11
  .PARAMETER quality
12
    An integer representing the JPEG compression quality (0-100). 100 is highest quality.
13
  .EXAMPLE
14
    $images = Get-ChildItem -Path "C:\path\to\images" -Filter "*.webp"
15
    Optimize-ImagesWithDecompressing -pathList $images.FullName -suffix "decompressed" -quality 85
16
  .INPUTS
17
    System.Array, System.String, System.Int32
18
  .OUTPUTS
19
    None.  Output files are written to disk.
20
  .NOTES
21
      Requires the dwebp tool and System.Drawing assembly.
22
  .LINK
23
    dwebp, [System.Drawing.Image]
24
  #>
25
  [CmdletBinding()]
26
  param (
27
    [array]$pathList,
28
    [string]$suffix,
29
    [int]$quality
30
  )
31

32
  # Add-Type -AssemblyName System.Drawing
33
  foreach ($file in $pathList) {
34
    $extension = (Get-Item $file.FullName).Extension;
35
    $outputImg1 = "{0}_{1:D2}{2}" -f $file.FullName.Substring(0, $file.FullName.Length - $extension.Length), $suffix, ".png";
36
    Write-Output "<1st Source File Name: $file>";
37
    Optimize-ImageWithDecompressing -ImagePath $file -OutputPath $outputImg1;
38

39
    $extension = (Get-Item $outputImg1).Extension;
40
    $outputImg2 = "{0}{1}" -f $outputImg1.Substring(0, $outputImg1.Length - $extension.Length), ".jpg";
41
    Write-Output "<2nd Source File Name: $outputImg>";
42
    Optimize-ImageWithCompressing -ImagePath $outputImg1 -OutputPath $outputImg2 -Quality $quality;
43

44
    $updatedCount++;
45
    Write-Output "----------------";
46
  };
47
  Write-Output("{0} .jpg images converted." -f $updatedCount);
48
  Write-Output "----------------";
49
}
50

51

52
$targetFolder = (Get-Location).Path;
53
$imgPathList = Get-ChildItem -Path $targetFolder | Where-Object { $_.Extension -in @(".webp") };
54
$suffix = "compressed";
55
$quality = [int]($Args[0]); # 0-100
56

57
Optimize-ImagesWithDecompressing $imgPathList $suffix $quality;
58

59
$tmp = Read-Host "Input 'y' if you wanna move original images......";
60
If ($tmp -eq "y") {
61
  Move-Item -Path $imgPathList -Destination .\5_original_files;
62
  $imgPathList = Get-ChildItem -Path $targetFolder | Where-Object { $_.Extension -in @(".png") };
63
  Move-Item -Path $imgPathList -Destination .\5_original_files;
64
}

展開する折りたたむ

Dwebpツールでwebpをpngに変換する。#

「Libwebp」という Google 製のパッケージに、「Dwebp」という機能があるので、その機能を使って webp を png に変換していきます。

dwebp | WebP | Google for Developers

変換処理のコードは以下の通りです。実質1行で事足りますが。

Terminal window展開する折りたたむ

1
function Optimize-ImageWithDecompressing {
2
  # Load System.Drawing assembly
3
  Add-Type -AssemblyName System.Drawing
4
  try {
5
    dwebp $ImagePath -o $OutputPath;
6
    Write-Host "Image decompressed and saved to: $OutputPath";
7
  }
8
  catch {
9
    Write-Error "An error occurred: $_"
10
  }
11
  finally {
12
    if ($image) {
13
      $image.Dispose()
14
    }
15
  }
16
}

展開する折りたたむ

System.Drawing名前空間を使って圧縮する。#

そしたら次に、 Dwebp で変換した PNG ファイルを JPG ファイルとして圧縮していくことにしましょう。この処理を噛ませることで、 PDF のサイズを小さく出来ます。

.NET FrameworkのSystem.Drawing名前空間を使って、 JPG を作っていきます。Image.Save メソッドで保存する画像ファイルの圧縮率を指定出来るエンコーダを引数に渡せば、 JPG を圧縮できそうです。

Image.Save メソッド (System.Drawing)

このイメージを、指定した形式で指定されたストリームに保存します。

その公式のコードを参考に、 PowerShell として書き直します。そして、以下の関数を呼び出せば JPG に圧縮することが出来ました。

Terminal window展開する折りたたむ

1
function Optimize-ImageWithCompressing {
2
  param (
3
    [string]$ImagePath,
4
    [string]$OutputPath,
5
    [int]$Quality  # 0-100, 100 is highest quality (least compression)
6
  )
7

8
  # Load System.Drawing assembly
9
  Add-Type -AssemblyName System.Drawing
10
  try {
11
    # Load the image
12
    $image = [System.Drawing.Image]::FromFile($ImagePath)
13

14
    # Create an EncoderParameter object for quality
15
    $qualityParam = New-Object System.Drawing.Imaging.EncoderParameter(
16
      [System.Drawing.Imaging.Encoder]::Quality, $Quality
17
    )
18

19
    # Get the JPEG codec
20
    $jpegCodec = [System.Drawing.Imaging.ImageCodecInfo]::GetImageDecoders() | Where-Object { $_.FormatID -eq [System.Drawing.Imaging.ImageFormat]::Jpeg.Guid }
21

22
    # Create an EncoderParameters object
23
    $encoderParams = New-Object System.Drawing.Imaging.EncoderParameters(1)
24
    $encoderParams.Param[0] = $qualityParam
25

26
    # Save the image with the specified quality
27
    $image.Save($OutputPath, $jpegCodec[0], $encoderParams)
28

29
    Write-Host "Image compressed and saved to: $OutputPath"
30
  }
31
  catch {
32
    Write-Error "An error occurred: $_"
33
  }
34
  finally {
35
    if ($image) {
36
      $image.Dispose()
37
    }
38
  }
39
}

展開する折りたたむ

iTextSharpでPDFにまとめる。#

そしたら次に、圧縮した JPG を iTextSharp で PDF に変換します。

Terminal window展開する折りたたむ

1
function Merge-ImagesIntoPdfWithITextSharp([array]$imgPathList, [string]$iTextSharpPath) {
2
  Unblock-File -Path $iTextSharpPath;
3

4
  # [System.Reflection.Assembly]::LoadFrom($iTextSharpPath);
5
  # Add-Type -Path $iTextSharpPath
6
  Add-Type -LiteralPath $iTextSharpPath
7
  # $error[0].Exception.GetBaseException().LoaderExceptions
8

9
  $ext = ".pdf";
10
  $pdfName = "{0}\{1}{2}" -f $imgPathList[0].DirectoryName, $imgPathList[0].BaseName, $ext;
11

12
  Write-Output $imgPathList;
13
  Write-Host ("{0}: decided PDF file name`n" -f $MyInvocation.MyCommand.Name);
14
  Write-Output $pdfName;
15

16
  $doc = New-Object iTextSharp.text.Document;
17
  $pdfWriter = [iTextSharp.text.pdf.PdfWriter]::GetInstance($doc, [System.IO.File]::Create($pdfName))
18
  $doc.Open()
19

20
  # Get image files to add into PDF.
21
  foreach ($path in $imgPathList) {
22
    Write-Output $path;
23
    Write-Output $path.GetType().FullName;
24
    Write-Output $path.FullName.GetType().FullName;
25
    Write-Host ("{0}: adding an image into a PDF...`n" -f $MyInvocation.MyCommand.Name);
26
    $image = [iTextSharp.text.Image]::GetInstance($path.FullName);
27

28
    # Scale images to each page size.
29
    $doc.SetPageSize($image);
30
    $doc.NewPage();
31
    $image.SetAbsolutePosition(0, 0);
32
    # $image.ScaleToFit($doc.PageSize.Width, $doc.PageSize.Height);
33
    $image.Alignment = [iTextSharp.text.Image]::ALIGN_CENTER;
34

35
    $doc.Add($image);
36
  }
37

38
  $doc.Close();
39
  $pdfWriter.Close();
40
  Write-Host ("{0}: completed adding images into a PDF`n" -f $MyInvocation.MyCommand.Name);
41
}

展開する折りたたむ

今までの一連の処理を行えば、複数の WEBP 画像を1つの PDF にまとめることが出来るようになりました！めでたしめでたし。

ちなみに、Dwebpを飛ばすと失敗する。#

今回、以下の流れで処理を実装しました。

Dwebp で webp を png に変換する。
System.Drawing名前空間で png を jpg に変換する。
iTextSharp で jpg を pdf に変換する。

ちなみに、上記の工程で1の工程をすっ飛ばして、System.Drawing名前空間で webp を jpg に変換しようとすると失敗します。

1
Optimize-ImageWithDecompressing : An error occurred: "1" 個の引数を指定して "FromFile" を呼び出し中に例外が発生しました : "メモリが不足しています。"
2
発生場所 C:\Users\...\Z5-9_decompress_webp_to_jpg_with_sys_draw.ps1:88 文字:5 + Optimize-ImageWithDecompressing -ImagePath $file -OutputPath $out ...
3
+ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
4
+ CategoryInfo : NotSpecified: (:) [Write-Error], WriteErrorException
5
+ FullyQualifiedErrorId : Microsoft.PowerShell.Commands.WriteErrorException,Optimize-ImageWithDecompressing

まとめ#

今回は、 iTextSharp を PowerShell で叩いて、複数枚の Webp 画像を一つの PDF にまとめる処理を実装する試みでした。

以下が、本記事のまとめです。

iTextSharp パッケージで複数の画像ファイルを PDF にまとめることが可能である。 JPG 画像でまとめればサイズをより減らせる。
Libwebp パッケージのdwebpツールで、 WEBP 画像ファイルを PNG 画像に変換することが可能である。
System.Drawing名前空間で PNG 画像を JPG 画像に変換することが可能である。しかし、 WEBP 画像を変換しようとすると失敗する。

Webp ファイルは高品質で低サイズの画像ファイルを構成できますが、フラグメンテーションを放置するのは勿体ないとも思います。そんな時に使えそうなツールでした。

その他のPowerShell関連の記事#

ディスクフラグメンテーションをなくすために、PowerShellで.NET FrameworkのiTextSharpを使った、webp等の小さい画像を1つのPDFにまとめるツールを紹介します。

PowerShellとGoogle提供のツールCwebpを使い、JPEGやPNG画像を一括で軽量なWEBPに変換する方法を紹介します。インストール手順や変換前後の画像サイズの比較しています。Squooshだと一気に変換できないんですよね。

iText is a PDF library that allows you to CREATE, ADAPT, INSPECT and MAINTAIN documents in the Portable Document Format (PDF), allowing you to add PDF functionality to your software projects with ease. We even have documentation to help you get coding. We have two currently supported versions: iText 5 and iText 7. Both are available under AGPL and Commercial license. * iText 5 AGPL * iText 7 community: https://www.nuget.org/packages/itext7/ iText 5 is a one solution library that is complex, but well documented to help you create your solutions. iText 7 is a complete re-write of iText 5, allowing you to choose your adventure with add-ons, all based on a simple, modular code structure that is easy to use and well documented. Both versions allow you to: - Generate documents and reports based on data from an XML file or a database - Create maps and books, exploiting numerous interactive features available in PDF - Add bookmarks, page numbers, watermarks, and other features to existing PDF documents - Split or concatenate pages from existing PDF files - Fill out interactive forms - Serve dynamically generated or manipulated PDF documents to a web browser iText 7 includes pdfDebug, the first debugging tool that gives you a clear overview of your content streams and document structure as well as pdfCalligraph, allowing you to leverage advanced typography. iText is available for Java, .NET in both versions, and Android and GAE for iText 5 only. iTextSharp is the .NET port of iText 5. Several iText engineers are actively supporting the project on StackOverflow: http://stackoverflow.com/questions/tagged/itext

おしまい#

リサちゃん

こんなこともあるんだなぁ

135ml

これでPDFにまとめられます。

以上になります！

【PowerShell】Cwebpで圧縮したJPGだとiTextSharpでPDFに変換出来ない

Wed, 01 Jan 2025 00:00:00 GMT

はじまり#

リサちゃん

アレエエッ、なんでこれPDFに出来ないの？！

135ml

同じJPGなんだけどな・・・。

まずは何が起きたのか。#

今回遭遇した不思議現象は、 Libwebp パッケージのcwebpツールで変換圧縮したJPGファイルが、 iTextSharp パッケージを使った PDF 変換処理で変換できなかったというものです。

Libwebp パッケージは Scoop でインストールします。

Terminal window

1
cd C:\
2
Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope CurrentUser
3
Invoke-RestMethod -Uri https://get.scoop.sh | Invoke-Expression
4
$username = (Get-ChildItem Env:USERNAME).Value; Set-Location "C:\Users\$username\Downloads\picture_backup";
5
scoop update
6
scoop install libwebp

iTextSharp パッケージはここからダウンロードしたものを使いました。 iTextSharp のバージョンは5.5.13です。

@nuget

iTextSharp 5.5.13

nuget.org

まずは、cwebpで JPG に変換圧縮します。また、今回は PowerShell で一連の処理を行っていきます。

Terminal window展開する折りたたむ

1
function Optimize-ImageWithCompressing(){
2
  param (
3
    [array]$pathList,
4
    [string]$suffix,
5
    [int]$quality
6
  )
7

8
  Add-Type -AssemblyName System.Drawing
9
  foreach ($file in $pathList) {
10
    $extension = (Get-Item $file.FullName).Extension;
11
    $outputImg = "{0}_{1:D2}{2}" -f $file.FullName.Substring(0, $file.FullName.Length-$extension.Length), $suffix, ".jpg";
12
    Write-Output "<Source File Name: $file>";
13
    cwebp -preset photo -metadata icc -sharp_yuv -q $quality -o $outputImg -progress -short $file.FullName; $updatedCount++;
14
    Write-Output "----------------";
15
  };
16
  Write-Output("{0} .jpg images converted." -f $updatedCount);
17
  Write-Output "----------------";
18
}

展開する折りたたむ

そしたら次に、圧縮した JPG を iTextSharp で PDF に変換します。

Terminal window展開する折りたたむ

1
function Merge-ImagesIntoPdfWithITextSharp([array]$imgPathList, [string]$iTextSharpPath) {
2
  Unblock-File -Path $iTextSharpPath;
3

4
  # [System.Reflection.Assembly]::LoadFrom($iTextSharpPath);
5
  # Add-Type -Path $iTextSharpPath
6
  Add-Type -LiteralPath $iTextSharpPath
7
  # $error[0].Exception.GetBaseException().LoaderExceptions
8

9
  $ext = ".pdf";
10
  $pdfName = "{0}\{1}{2}" -f $imgPathList[0].DirectoryName, $imgPathList[0].BaseName, $ext;
11

12
  Write-Output $imgPathList;
13
  Write-Host ("{0}: decided PDF file name`n" -f $MyInvocation.MyCommand.Name);
14
  Write-Output $pdfName;
15

16
  $doc = New-Object iTextSharp.text.Document;
17
  $pdfWriter = [iTextSharp.text.pdf.PdfWriter]::GetInstance($doc, [System.IO.File]::Create($pdfName))
18
  $doc.Open()
19

20
  # Get image files to add into PDF.
21
  foreach ($path in $imgPathList) {
22
    Write-Output $path;
23
    Write-Output $path.GetType().FullName;
24
    Write-Output $path.FullName.GetType().FullName;
25
    Write-Host ("{0}: adding an image into a PDF...`n" -f $MyInvocation.MyCommand.Name);
26
    $image = [iTextSharp.text.Image]::GetInstance($path.FullName);
27

28
    # Scale images to each page size.
29
    $doc.SetPageSize($image);
30
    $doc.NewPage();
31
    $image.SetAbsolutePosition(0, 0);
32
    # $image.ScaleToFit($doc.PageSize.Width, $doc.PageSize.Height);
33
    $image.Alignment = [iTextSharp.text.Image]::ALIGN_CENTER;
34

35
    $doc.Add($image);
36
  }
37

38
  $doc.Close();
39
  $pdfWriter.Close();
40
  Write-Host ("{0}: completed adding images into a PDF`n" -f $MyInvocation.MyCommand.Name);
41
}

展開する折りたたむ

すると、この処理でエラーになります。

Terminal window

1
$image = [iTextSharp.text.Image]::GetInstance($path.FullName);

表示されたエラーメッセージはこんなやつです。さて、どうしたものか・・・。

1
"1" 個の引数を指定して "GetInstance" を呼び出し中に例外が発生しました: "file:///C:/.../Screenshot_20250101-212015_trimmed_compressed.jpg is not a recognized imageformat."
2
発生場所 C:\...\hogehoge.ps1:161 文字:5
3
+     $image = [iTextSharp.text.Image]::GetInstance($path.FullName);
4
+     ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
5
    + CategoryInfo          : NotSpecified: (:) [], MethodInvocationException
6
    + FullyQualifiedErrorId : IOException

原因を調べたのだが分からなかった。#

先程出てきたエラーメッセージなのですが、原因が全く分からなかったんですよね。

まず、cwebpで圧縮する前の JPG 画像ではそのエラーは発生せずに、問題なく PDF にまとめることが出来ました。（しかし、圧縮していないので、サイズの大きな PDF ファイルが出来上がってしまいます・・・。）

「iTextsharp jpg is not a recognized imageformat」とかでググっても有力そうな情報が出てこない・・・。

そこで、cwebpで JPG に圧縮する時のパラメータを変化させれば対処出来るかどうかを調べました。今回 JPG 圧縮に使っていたcwebpコマンドの打ち方はこうでした。

Terminal window

1
cwebp -preset photo -metadata icc -sharp_yuv -q $quality -o $outputImg -progress -short $file.FullName; $updatedCount++;

調べたパラメータの組み合わせは以下の通りです。-preset（特定の種類のソース素材に合わせて、事前定義された一連のパラメータを指定する。）と、-sharp_yuv（より正確でシャープな RGB -> YUV 変換を使用する。）のパラメータが怪しかったので、そこだけで総当たりさせました。

`-preset` パラメータ	`-sharp_yuv` オン	`-sharp_yuv` オフ
default	✕	✕
drawing	✕	✕
photo	✕	✕
picture	✕	✕
icon	✕	✕
text	✕	✕

調査の結果は全滅・・・。どうやら Cwebp 自体を使って、圧縮した JPG を PDF としてまとめることは止めておいた方が良さそうです。

System.Drawing名前空間を使って圧縮する。#

そしたら、 Cwebp 以外のパッケージを使って JPG ファイルを圧縮していくことにしましょう。

次に、.NET FrameworkのSystem.Drawing名前空間を使って、 JPG を作っていきます。Image.Save メソッドで保存する画像ファイルの圧縮率を指定出来るエンコーダを引数に渡せば、 JPG を圧縮できそうです。

Image.Save メソッド (System.Drawing)

このイメージを、指定した形式で指定されたストリームに保存します。

しかし、公式の解説は C# でしか書かれていないので、 PowerShell として直すのが面倒ですね・・・。はい、 Gemini Code Assist 君に書かせたら秒で終わりました。cwebpコマンドを打ち込んでいた行で、代わりに以下の関数を呼び出せば JPG に圧縮することが出来ました。

Terminal window展開する折りたたむ

1
function Optimize-ImageWithCompressing {
2
  param (
3
    [string]$ImagePath,
4
    [string]$OutputPath,
5
    [int]$Quality  # 0-100, 100 is highest quality (least compression)
6
  )
7

8
  # Load System.Drawing assembly
9
  Add-Type -AssemblyName System.Drawing
10
  try {
11
    # Load the image
12
    $image = [System.Drawing.Image]::FromFile($ImagePath)
13

14
    # Create an EncoderParameter object for quality
15
    $qualityParam = New-Object System.Drawing.Imaging.EncoderParameter(
16
      [System.Drawing.Imaging.Encoder]::Quality, $Quality
17
    )
18

19
    # Get the JPEG codec
20
    $jpegCodec = [System.Drawing.Imaging.ImageCodecInfo]::GetImageDecoders() | Where-Object { $_.FormatID -eq [System.Drawing.Imaging.ImageFormat]::Jpeg.Guid }
21

22
    # Create an EncoderParameters object
23
    $encoderParams = New-Object System.Drawing.Imaging.EncoderParameters(1)
24
    $encoderParams.Param[0] = $qualityParam
25

26
    # Save the image with the specified quality
27
    $image.Save($OutputPath, $jpegCodec[0], $encoderParams)
28

29
    Write-Host "Image compressed and saved to: $OutputPath"
30
  }
31
  catch {
32
    Write-Error "An error occurred: $_"
33
  }
34
  finally {
35
    if ($image) {
36
      $image.Dispose()
37
    }
38
  }
39
}

展開する折りたたむ

上記の処理で圧縮した JPG ファイルを先程の PDF 変換処理に渡せば、複数の JPG を1つの PDF にまとめることが出来るようになりました！

しかしなぁ、 Cwebp と iTextSharp の不和の原因は一体何だったのだろう・・・。調べたら沼りそうなのでやめておきます・・・。

まとめ#

今回は、 iTextSharp を PowerShell で叩いて、複数枚の JPG 画像を一つの PDF にまとめる処理を実装する試みでした。

以下が、本記事のまとめです。

Libwebp パッケージのcwebpツールで変換した JPG 画像は、 iTextSharp パッケージで PDF に変換しようとすると失敗する。
System.Drawing名前空間で変換した JPG 画像は、 iTextSharp パッケージで PDF に変換することが可能である。

同じ JPG ファイルを出力したというのに、使えるファイルと使えないファイルに分かれるというのが何とも不思議でした。回避できて良かった。

その他のPowerShell関連の記事#

A driver can't load on this device - Microsoft Support

おしまい#

リサちゃん

こんなこともあるんだなぁ

135ml

これでPDFにまとめられます。

以上になります！

B650 Steel Legend WiFiで使えるASRock Polychrome RGBの入手および設定方法

Thu, 26 Dec 2024 00:00:00 GMT

はじまり#

リサちゃん

これってどこで手に入るのお？

135ml

見つからんな。

※当ページはアフィリエイト広告を利用しています。

ASRock Polychrome RGBを設定する。#

ASRock製のマザーボードでは、マザボに接続出来る周辺パーツのイルミネーション管理ユーティリティとして、「ASRock Polychrome RGB」というものを利用することが可能です。このソフトウェアを使うことで、マザーボードに接続したLEDテープライトやLEDライトを搭載しているDRAM等を自分の好みの光らせ方で点灯させることが出来ます。

本記事では、ASRock Polychrome RGBの入手およびインストール方法、そして設定方法を紹介していきます。

実際にLEDライトを光らせるとこんな感じになります。それでは行ってみましょう。

インストーラを入手する。#

Uptodownのインストーラは利用できない。#

まずはインストーラーを手に入れるところからです。

その際に、Uptodownで手に入れたインストーラーを使ってASRock Polychrome RGB Syncをインストールすると、そのアプリを起動する時にWindowsから「このデバイスにドライバーをロードできません」やら「脆弱なドライバー」みたいな警告を食らって起動できませんでした。そのため、また別のインストーラを用意する必要がありそうです。（おそらくインストーラーのバージョンが古いのかもしれません。）

Windowsのサポートページを覗いてみると、そのメッセージは、Windows セキュリティのメモリ整合性設定により、デバイスにドライバーが読み込まれないために表示されるようです。Windows Update またはドライバーの製造元から、更新された互換性のあるドライバーが入手するのが望ましいです。

しかし、最悪利用出来るソフトウェアが見つからなかったら、Windowsの「メモリ整合性」をオフにするしか無いようです。（設定方法としては、Windows上で、設定 > アップデートとセキュリティ > Windows セキュリティ > デバイスセキュリティ を選択し、コア分離の下にあるコア分離の詳細を選択する。）

support.microsoft.com

Find out the steps you can take if you receive a message telling you a driver can't load on your device.

support.microsoft.com

ASRock公式ページから入手する。#

次に、ASRock公式のダウンロードページから入手していきたいと思います。

そこで、最初にこのページでインストーラが無いかどうかを探しました。

www.asrock.com

しかし、このページでは「B650 Steel Legend WiFi」で使えるASRock Polychrome RGBは見つかりませんでした。B650 Steel Legend WiFiと外見が瓜二つの「X870 Steel Legend WiFi」のインストーラを使ってやろうかと思いましたが、一旦、もうちょい探してみます。

B650 Steel Legend WiFi。

X870 Steel Legend WiFi。　本当によく似ていること。

次に、ASRock公式サイト内（先程のダウンロードページ内でも大丈夫）で、「B650 Steel Legend」で検索しました。すると、B650 Steel Legend WiFiで利用出来るソフトウェアやドライバーの一覧が設置されたページに辿り着くことが出来ました。

www.asrock.com

そこで、ASRock Polychrome RGB ver:2.0.190を入手できたので、これをインストールしました。インストールが終わると、再起動するように促されるので再起動して、スタートメニュー等から「ASRRGBLED」のアプリを起動します。起動するとファームウェアの更新が始まるのでしばらく待ちます。

これで、ASRock Polychrome RGBを使えるようになりました！

LEDの光らせ方を設定する。#

ASRock Polychrome RGBを使えるようになったので、早速設定していきます。

設定画面はこんな感じのUIです。Onboard LEDタブ内からは、マザボの3ピンやら4ピンに繋いだパーツのLEDライトの光らせ方を設定できて、Componentタブ内からは、DRAM、グラボ、SSD等のPCパーツのLED照明を設定することが可能です。マウスパッドやモニターに対しても設定出来るみたいですね。

LEDの光らせ方としては、光の色を設定することはもちろん可能ですが、それに加えて以下のスタイルで光らせることが可能です。

Static
Breathing
Flashing
ColorCycle
Rainbow
Breathing Rainbow
Comet
Comet Rainbow
Moving Flash
Moving Flash Rainbow
Wave
Glowing YoYo
Starry Night

また、設定する際にちょっと困った点があって、Onboard LEDタブ内で、左側のComponent SyncバーからDRAM等を選ぶと他のアドレサブルLEDと設定が同期されます。また、表示していないアドレサブルLED等も表示しているLEDと設定が同期されてしまうので注意が必要です。

光らせるとこんな感じ。#

実際に設定して光らせた時の写真を追加で貼っておきます。

上記の写真のPCケースで使用したLEDテープは、以下の2種類です。

BTF-LIGHTING LED ネオン RGB PC LEDテープライト個別にアドレス指定可能 5V 3ピン RGBスプリッターケーブル付き 2x50CM LEDライトストリップ PCコンピューターケース用 Asus Aura、Asrock RGB LED、Gigabyte RGB Fusion、MSI Mystic Light 12個の固定用クリップ付きamzn.to

BTF-LIGHTING LED RGB PC LEDテープライト個別にアドレス指定可能 5V 3ピン RGBスプリッターケーブル付き 2x50CM LEDライトストリップ PCコンピューターケース用 Asus Aura、Gigabyte RGB Fusion、MSI Mystic Lightamzn.to

まとめ#

今回は、ASRock Polychrome RGBのインストールパッケージの入手方法、そしてその設定方法を紹介しました。

これで自分のPCがより彩れること間違い無しでしょう。

おしまい#

リサちゃん

ま、まぶしい・・・

135ml

ビカビカです。

以上になります！

【PowerShell】iTextSharpでPDFを暗号化する

Wed, 25 Dec 2024 00:00:00 GMT

はじまり#

リサちゃん

PDFを暗号化する？

135ml

それじゃあやってみようか。

リサちゃん

あっ。

PDFにパスワードを付ける#

PDFファイルには、正しいパスワードを入力しないと開けないようにすることが出来る暗号化機能があります。

しかし、その暗号化を施すためには、Adobe Acrobatのような高価なPDFエディタを使ったり、オンラインのPDFツールにアップロードする必要があったりします。暗号化するようなPDFファイルなのですから、中の情報が独り歩きしてしまうような懸念を減らしたいです。

そこで今回は、「iTextSharp」というパッケージをローカルにダウンロードして、そのパッケージとPowerShellのみでその暗号化を完結できるように、PDFにパスワードを付ける処理を実装していきたいと思います。それでは行ってみましょう。ちなみに、PDFをちゃんと暗号化出来ると、Microsoft EdgeなどでPDFを開いた時にこのようなパスワード入力画面が表示されるようになります。

iTextSharpでPDFを暗号化する#

それではまずは、iTextSharpをローカルにダウンロードします。このiTextSharpのパッケージのバージョンですが、今回は「5.5.13」を使います。

@nuget

iTextSharp 5.5.13

nuget.org

iTextSharpの新しいバージョンを利用すると、沼にハマる可能性があります。非推奨です。以下の記事でもそのことを紹介しています。

そして、PDFを暗号化するための処理を以下のように実装しました。

ChatGPT、NVIDIA NemotronやGeminiに聞きましたが、最も良い回答をくれたのはGeminiでしたね。iTextSharpを実際に使う部分でお世話になりました。（NVIDIA Nemotronは、iTextSharpの二重インポートを阻止するコードを書いてくれました。）

Terminal window展開する折りたたむ

1
function Encrypt-PdfWithITextSharp {
2
  <#
3
  .SYNOPSIS
4
    Encrypts the specified PDF file.
5
  .DESCRIPTION
6
    Encrypts a PDF file using the iTextSharp library.
7
  .PARAMETER InputPath
8
    The path to the PDF file to encrypt.
9
  .PARAMETER OutputPath
10
    The output path for the encrypted PDF file.
11
  .PARAMETER Password
12
    The encryption password for the PDF file.
13
  .PARAMETER iTextSharpPath
14
    The iTextSharpPath library file.
15
  .EXAMPLE
16
    Encrypt-PdfWithITextSharp -InputPath "C:\Input.pdf" -OutputPath "C:\Encrypted_Output.pdf" -Password "YourStrongPassword"
17
  #>
18

19
  param (
20
    [string]$InputPath,
21
    [string]$OutputPath,
22
    [string]$Password,
23
    [string]$ITextSharpPath
24
  )
25

26
  # Load iTextSharp.dll
27
  if (-not ([System.AppDomain]::CurrentDomain.GetAssemblies() | Where-Object { $_.Location -eq $ITextSharpPath })) {
28
    Unblock-File -Path $iTextSharpPath;
29
    Add-Type -Path $ITextSharpPath
30
  }
31
  Write-Host ("{0}: InputPath:" -f $MyInvocation.MyCommand.Name);
32
  Write-Output $InputPath;
33
  Write-Host ("{0}: OutputPath:" -f $MyInvocation.MyCommand.Name);
34
  Write-Output $OutputPath;
35
  Write-Host ("{0}: ITextSharpPath:" -f $MyInvocation.MyCommand.Name);
36
  Write-Output $ITextSharpPath;
37

38
  $permissions = [iTextSharp.text.pdf.PdfWriter]::ALLOW_PRINTING -bor [iTextSharp.text.pdf.PdfWriter]::ALLOW_COPY -bor [iTextSharp.text.pdf.PdfWriter]::ALLOW_MODIFY_ANNOTATIONS # Set permissions
39
  Write-Host ("{0}: permission set" -f $MyInvocation.MyCommand.Name);
40

41
  try {
42
    # Create instances of PDFReader and PDFStamper
43
    $pdfReader = New-Object iTextSharp.text.pdf.PdfReader($InputPath)
44
    Write-Host ("{0}: PDF reader loaded.`n" -f $MyInvocation.MyCommand.Name);
45
    $pdfStamper = New-Object iTextSharp.text.pdf.PdfStamper($pdfReader, (New-Object System.IO.FileStream($OutputPath, [System.IO.FileMode]::Create)))
46
    Write-Host ("{0}: encrypting PDF.`n" -f $MyInvocation.MyCommand.Name);
47

48
    # Encrypt the PDF
49
    $ownerPassword = $Password # Set owner password
50
    $userPassword = $Password # Set user password
51
    Write-Host ("{0}: ownerPassword:" -f $MyInvocation.MyCommand.Name);
52
    Write-Output $ownerPassword;
53
    Write-Host ("{0}: userPassword:" -f $MyInvocation.MyCommand.Name);
54
    Write-Output $userPassword;
55
    $pdfStamper.Writer.SetEncryption(
56
      [System.Text.Encoding]::UTF8.GetBytes($userPassword),
57
      [System.Text.Encoding]::UTF8.GetBytes($ownerPassword),
58
      $permissions,
59
      [iTextSharp.text.pdf.PdfWriter]::ENCRYPTION_AES_256
60
    )
61

62
    # Close PDFStamper and release resources
63
    Write-Host ("{0}: closing PDF.`n" -f $MyInvocation.MyCommand.Name);
64
    $pdfStamper.Close()
65
    $pdfReader.Close()
66

67
    Write-Host ("{0}: PDF encryption complete.`n" -f $MyInvocation.MyCommand.Name);
68
  }
69
  catch {
70
    Write-Error "An error occurred during PDF encryption. Details: $($Error[0].Message)"
71
  }
72
}
73

74
function Encrypt-MultiPdfWithITextSharp(){
75
  <#
76
  .SYNOPSIS
77
    Encrypts multiple PDF files.
78
  .DESCRIPTION
79
    Encrypts multiple PDF files using the iTextSharp library.  The output files are named with "_encrypted" appended before the .pdf extension.
80
  .PARAMETER ImgPathList
81
    An array of paths to the PDF files to encrypt.
82
  .PARAMETER Password
83
    The encryption password for the PDF files.
84
  .PARAMETER iTextSharpPath
85
    The path to the iTextSharp library DLL.
86
  .EXAMPLE
87
    Encrypt-MultiPdfWithITextSharp -ImgPathList $pdfFiles -Password "SecurePassword" -ITextSharpPath "C:\path\to\itextsharp.dll"
88
  #>
89

90
  param (
91
    [array]$ImgPathList,
92
    [string]$Password,
93
    [string]$ITextSharpPath
94
  )
95

96
  # Get image files to add into PDF.
97
  foreach ($path in $imgPathList) {
98
    Write-Output $path;
99
    Write-Output $path.GetType().FullName;
100
    Write-Output $path.FullName.GetType().FullName;
101

102
    $ext = ".pdf"
103
    $outputPath = $path.FullName.Replace($ext, "_encrypted{0}" -f $ext)
104
    Encrypt-PdfWithITextSharp -InputPath $path -OutputPath $outputPath -Password $Password -ITextSharpPath $iTextFilePath;
105
  }
106
}
107

108
$targetFolder = (Get-Location).Path;
109
$imgPathList = Get-ChildItem $targetFolder -Recurse -File -Include *.pdf -Exclude PDFsharp*;
110
$password = Read-Host "Input password for encrypted PDF......";
111
$iTextFilePath = "{0}\lib\itextsharp.dll" -f $targetFolder;
112

113
Encrypt-MultiPdfWithITextSharp -ImgPathList $imgPathList -Password $password -ITextSharpPath $iTextFilePath;
114

115
$tmp = Read-Host "Input 'y' to terminate this process......";

展開する折りたたむ

Encrypt-MultiPdfWithITextSharpに一つのディレクトリ内にあるPDFの配列を渡して、Encrypt-PdfWithITextSharpで一つずつ暗号化していきます。

iTextSharpのDLLを読み込む際には、既に読み込まれているかどうかを判断してから読み込み処理に入るようにしています。

Terminal window

1
  if (-not ([System.AppDomain]::CurrentDomain.GetAssemblies() | Where-Object { $_.Location -eq $ITextSharpPath })) {
2
    Unblock-File -Path $iTextSharpPath;
3
    Add-Type -Path $ITextSharpPath
4
  }

$pdfReaderにPDFを開かせて、$pdfStamperに開いているPDFを暗号化してもらいます。

Terminal window

1
    # Create instances of PDFReader and PDFStamper
2
    $pdfReader = New-Object iTextSharp.text.pdf.PdfReader($InputPath)
3
    Write-Host ("{0}: PDF reader loaded.`n" -f $MyInvocation.MyCommand.Name);
4
    $pdfStamper = New-Object iTextSharp.text.pdf.PdfStamper($pdfReader, (New-Object System.IO.FileStream($OutputPath, [System.IO.FileMode]::Create)))
5
    Write-Host ("{0}: encrypting PDF.`n" -f $MyInvocation.MyCommand.Name);

$pdfStamperに暗号化してもらう時の処理はこんな感じで引数を指定をします。PDFのパスワードは2種類付けることが可能です。PDFのオーナー用と閲覧者用のパスワードです。$permissionsで、PDFのオーナーじゃないと行えなくなるアクションを設定します。（Adobe Acrobatでパスワードを付ける時は、確かオーナー用じゃないと印刷が出来なかった気がします。こんな風に仕分けられていたんですね。）

Terminal window

1
    $permissions = [iTextSharp.text.pdf.PdfWriter]::ALLOW_PRINTING -bor [iTextSharp.text.pdf.PdfWriter]::ALLOW_COPY -bor [iTextSharp.text.pdf.PdfWriter]::ALLOW_MODIFY_ANNOTATIONS # Set permissions
2

3
    $pdfStamper.Writer.SetEncryption(
4
      [System.Text.Encoding]::UTF8.GetBytes($userPassword),
5
      [System.Text.Encoding]::UTF8.GetBytes($ownerPassword),
6
      $permissions,
7
      [iTextSharp.text.pdf.PdfWriter]::ENCRYPTION_AES_256
8
    )

New-Objectをしたので、オブジェクトを解放することを忘れない。

Terminal window

1
    $pdfStamper.Close()
2
    $pdfReader.Close()

まとめ#

今回は、iTextSharpをPowerShellで叩いて、PDFを暗号化する処理を実装する試みでした。

以下が、本記事のまとめです。

iTextSharpは、5.5.13をダウンロードした。おそらくこれが最新の安定版である。
iTextSharpのDLLを読み込む際には、既に読み込まれているかどうかを判断することが出来る。
PDFのパスワードは、オーナー用と閲覧者用の2種類を付けることが可能である。
New-Objectをしたので、オブジェクトを解放することを忘れない。

その他のPowerShell関連の記事#

【PowerShell】ただ画像をトリミングしたいだけなのにマーシャリングを知らなくて沼った話

.NETの構造体「System.Drawing.Rectangle」の引数の型で沼りました。更に、BitmapのDisposeでオブジェクトの破棄、LockBitsで処理を軽くしたりもしています。

おしまい#

リサちゃん

マジで開けなくなったわ

135ml

これで安全だ。

以上になります！

【Cloud SQL】GolangでDBインスタンスへのオペレーション完了まで待つ

Mon, 23 Dec 2024 00:00:00 GMT

はじまり#

リサちゃん

あれっ、あの関数って今日動いてなくないか・・・？

135ml

ありゃりゃ？

以前に作ったCloud SQLを自動で制御するツール#

以前にCloud SQLにDBインスタンスを自動で起動もしくは停止するCloud Run Functionsを作成して、自動実行させるようにしました。

【Cloud SQL】GolangでDBインスタンスの開始停止をスケジュール実行して節約する

Golangで書いたCloud Run FunctionでCloud SQLインスタンスの起動と停止を行い、Cloud SchedularとPub/Subでスケジュール実行してコスト削減を図ります。

このCloud SQL上のDBインスタンスを自動で起動もしくは停止する際に、別のオペレーションがそのDBインスタンスに対して動いていると、ちゃんと処理できなくなるんですよね。このようなエラーメッセージと共に。

Error 409: Operation failed because another operation was already in progress. Try your request after the current operation is complete., operationInProgress

ということで、今回はこのエラーメッセージに対する対策を施していきたいと思います。それではやっていきましょう。

対策の仕方#

上記のエラーメッセージは、Cloud SQL上のDBインスタンスに対して何かしらの処理が動いていると表示されるものです。そしてそれは、直前に自分がDBに対して操作を実行していなくても発生することがあります。（もしかすると、DBのバックアップ処理とバッティングしてしまったりしているのかもしれません。）

今回のようなエラーが発生した時の対処法は、Google Cloud公式ページでも「一般的なベストプラクティス」として掲示されていました。

一般的なベストプラクティス | Cloud SQL for MySQL | Google Cloud Documentation

sqladmin package - google.golang.org/api/sqladmin/v1beta4 - Go Packages

Cloud SQL インスタンスは、前のオペレーションが完了するまで、新しいオペレーションリクエストを受け付けません。準備が整う前に新しいオペレーションを開始しようとすると、オペレーションリクエストは失敗します。こうしたオペレーションには、インスタンスの再起動も含まれます。 Google Cloud Console のインスタンスステータスには、オペレーションが実行されているかどうかは反映されません。緑色のチェックマークは、インスタンスがRUNNABLE状態にあることのみを示します。オペレーションが実行中かどうかを確認するには、オペレーション タブに移動して、最新のオペレーションのステータスをチェックします。

なので今回は、自分が意図していない処理が作動している時でも、その処理が終わるまで自分が実行したい処理の開始を待機させる処理を作って、今回のエラーを解消していきたいと思います。

オペレーション終了まで待機するための処理#

上記の、処理が終わるまで自分が実行したい処理の開始を待機させる処理のコードです。Cloud SchedulerからCloud Pub/Sub経由でメッセージを受け取って、ProcessPubSubエンドポイントにリクエストさせるCloud Run Functionsを想定しています。 function.go:

1
package mypkg
2

3
import (
4
  "context"
5
  "encoding/json"
6
  "fmt"
7
  "log"
8
  "time"
9

10
  "golang.org/x/oauth2/google"
11
  "google.golang.org/api/option"
12
  sqladmin "google.golang.org/api/sqladmin/v1beta4"
13

14
  _ "github.com/GoogleCloudPlatform/functions-framework-go/funcframework"
15
)
16

17
type PubSubMessage struct {
18
  Data []byte `json:"data"`
19
}
20

21
type MessagePayload struct {
22
  Instance          string
23
  Project           string
24
  Action            string
25
  DiscordWebhookUrl string
26
  CloudSqlIconUrl   string
27
}
28

29
func WaitOperation(ctx context.Context, svc *sqladmin.Service, prj string, instance string) error {
30
  // Use a backoff strategy for retries
31
  retryInterval := 10 * time.Second
32
  maxRetries := 60
33

34
  for i := 0; i < maxRetries; i++ {
35
    // See more details at: https://pkg.go.dev/google.golang.org/api/sqladmin/v1beta4#OperationsListCall
36
    ops, err := svc.Operations.List(prj).Instance(instance).Context(ctx).Do()
37
    if err != nil {
38
      return fmt.Errorf("failed to list operations: %w", err)
39
    }
40

41
    if len(ops.Items) > 0 {
42
      op := ops.Items[0] // Assuming we're interested in the most recent operation for the instance
43

44
      switch op.Status {
45
      case "DONE":
46
        log.Printf("Operation %s completed with status: %s", op.Name, op.Status)
47
        return nil // Operation completed successfully
48
      case "RUNNING":
49
        // Wait before retrying
50
        log.Printf("Operation %s is still running. Retrying in %v...", op.Name, retryInterval)
51
        time.Sleep(retryInterval)
52
        continue
53
      default: // Includes "FAILED" and other possible states
54
        return fmt.Errorf("operation %s failed with status: %s, Error: %v", op.Name, op.Status, op.Error)
55
      }
56
    } else {
57
      log.Printf("No operations found for instance %s. Retrying in %v...", instance, retryInterval)
58
      // time.Sleep(retryInterval)
59
      return nil // Operation completed successfully
60
    }
61
  }
62

63
  return fmt.Errorf("operation timed out after %v", time.Duration(maxRetries)*retryInterval)
64
}
65

66
// ProcessPubSub consumes and processes a Pub/Sub message.
67
func ProcessPubSub(ctx context.Context, m PubSubMessage) error {
68
  var psData MessagePayload
69
  log.Printf("Receiving a request with the following payload: %+v\n", psData)
70

71
  err := json.Unmarshal(m.Data, &psData)
72
  if err != nil {
73
    log.Println(err)
74
  }
75
  log.Printf("Received a request with the following payload: %+v\n", psData)
76
  log.Printf("Request received for Cloud SQL instance %s action: %s, %s", psData.Action, psData.Instance, psData.Project)
77

78
  // Create an http.Client that uses Application Default Credentials.
79
  hc, err := google.DefaultClient(ctx, sqladmin.CloudPlatformScope)
80
  if err != nil {
81
    return err
82
  }
83

84
  // Create the Google Cloud SQL service.
85
  service, err := sqladmin.NewService(ctx, option.WithHTTPClient(hc))
86
  if err != nil {
87
    return err
88
  }
89

90
  // Wait until running operations are completed.
91
  err = WaitOperation(ctx, service, psData.Project, psData.Instance)
92
  if err != nil {
93
    fmt.Printf("Error: %+v\n", err)
94
  }
95

96
  // my DB operations...
97

98
  return nil
99
}

展開する折りたたむ

ChatGPTからはコッチのGoパッケージ（genproto）で実装するように言われたんですけど、既にgoogle.golang.org/api/sqladmin/v1beta4のGoパッケージで処理を作っていたのでソッチで進めます。

pkg.go.dev

Package sqladmin provides access to the Cloud SQL Admin API.

pkg.go.dev

既にDB起動用に作成したsqladmin.NewServiceのOperations.List(prj).Instance(instance).Context(ctx).Do()で、目的のDBに対するオペレーションの一覧を取得して、最近のオペレーションが終了しているかどうかをfor文で確認するという流れです。

待機処理の実行結果#

それでは実装した待機処理を実行してみます。DBインスタンスを起動した直後にDBインスタンスを停止する処理を実行したら、裏で何かしらのプロセスが実行されている間は、Go関数内のfor文がちゃんと回っています。（Default STARTUP TCP probe succeeded after 1 attempt for container "worker" on port 8080.というメッセージが表示されました。DBを起動するためのプロセスですかね。DB起動処理実行後、4分ぐらい常駐していました。）

この待機処理の後に、DB起動処理、およびDiscordのWebhookを叩く処理があるので、それらの後続の処理も実行されていることが確認できました。

ちなみに、シェルから実行する場合の参考。#

Golangではなくシェルから実行したい場合は、ここにgcloud sql operations listというコマンドの公式リファレンスを参考できます。

gcloud sql operations list | Google Cloud SDK | Google Cloud Documentation

gcloudであれば、gcloud sql operations waitでDBに対する現在のオペレーションが終わるまで待つためのコマンドも用意されているみたいです。

gcloud sql operations wait | Google Cloud SDK | Google Cloud Documentation

まとめ#

今回は、Go言語を使って、Cloud SQL上に作成したDBインスタンスに対する処理が完了するまで待つようにする処理を実装しました。全く想定していなかった不具合だったので面食らいましたが、実装は容易なものでした。他のCloud SQLの「一般的なベストプラクティス」も、DB周りをデプロイする際に参考にできそうですね。

Cloud SQL関連の記事#

【Cloud SQL】GolangでDBインスタンスの開始停止をDiscordで通知する

Go言語でCloud SQLに作成したDBインスタンスを自動で開始および停止するCloud Run Functionsが実行された時に、Discord上で通知を飛ばす機能を実装する手順を紹介します。

【Python、Golang】NotionのページのプロパティをCloud SQLのPostgreSQLに記録する（第1回）

NotionのページのプロパティをPythonで取得して、Cloud SQL上に作成されたPostgreSQLのDBに記録する手順を紹介します。Cloud FunctionsではCloud SQLを使えない。

おしまい#

リサちゃん

よし、今日も実行されたな

135ml

DB待機！

以上になります！

NVIDIA NIMで利用できる生成AI

Sun, 22 Dec 2024 00:00:00 GMT

はじまり#

リサちゃん

なんか沢山のAIが転がっているなあ・・・

135ml

どれか使ってみたいな。

NVIDIA NIMとは？#

NVIDIAは、生成AIを動かすために欠かせない半導体チップである「GPU」を作っている会社ですよね。2024-12-18時点で、そのシェアは市場トップです。

そして、そんなNVIDIAが運営している「NIM」という生成AI用のプラットフォームがあります。

この「NIM」では、NVIDIAが開発した生成AIやその他の雑多な生成AIを試しに使ってみたり、実際にビルドして利用することが可能になっています。今回は、そんなNVIDIA NIMで利用できる生成AIを実際に使ってみた記事を綴っていきます。

ちなみに、このプラットフォームの利用は、無料です。しかしながら、このNIMの個人アカウントでAPIにリクエストできる回数は、1000回が上限らしいです。あと、APIを利用開始してから1週間でその1000回分のクレジットは無くなってしまいます・・・。それ以上は、法人アカウントとして作成しなければ利用できないみたいです。（APIではなくNIMプラットフォーム上でプロンプトするのであれば無限？）

NIMで使える生成AI。#

NIMにはこちらのリンクから遷移することが出来ます。

Experience the leading models to build enterprise generative AI apps now.

Try NVIDIA NIM APIs

サイトを見てみると、沢山の生成AIが置いてありますね・・・。

このNIMで利用できる生成AIの一覧はこんな感じです。（2024-12-18時点で145個あるので一部だけ抜粋・・・。）

meta/sam2
writer/palmyra-creative-122b
nvidia/llama-3.2-nv-embedqa-1b-v2
nvidia/llama-3.2-nv-rerankqa-1b-v2
nvidia/usdcode
meta/llama-3.3-70b-instruct
university-at-buffalo/cached
nvidia/nv-yolox-page-elements-v1
baidu/paddleocr
nvidia/audio2face-3d
nvidia/corrdiff
nvidia/fourcastnet
hive/deepfake-image-detection
nvidia/llama-3.2-nv-rerankqa-1b-v1
nvidia/llama-3.2-nv-embedqa-1b-v1
nvidia/nemotron-4-mini-hindi-4b-instruct
ibm/granite-guardian-3.0-8b
shutterstock/edify-360-hdri
nvidia/llama-3.1-nemotron-70b-instruct
zyphra/zamba2-7b-instruct
institute-of-science-tokyo/llama-3.1-swallow-70b-instruct-v0.1

などなど・・・。

APIを叩いてみる。#

それでは実際に、NIMで利用できる生成AIをいくつか試していきたいと思います。

NVIDIA/Llama-3.1-Nemotron-70B-Instruct#

Llama-3.1-Nemotron-70B-Instructは、LLM によって生成された応答の有用性を向上させるために NVIDIA によってカスタマイズされた大規模言語モデルです。

llama-3.1-nemotron-70b-instruct Model by NVIDIA | NVIDIA NIM

Llama-3.1-Nemotron-70B-Instruct is a large language model customized by NVIDIA in order to improve the helpfulness of LLM generated responses.

このNemotron-70Bモデルには、いくつか種類があり、Base、InstructやRewardがあります。

Baseモデルは、基本的なモデルを指します。このモデルから、InstructやRewardモデルに派生していく感じですね。

Instructモデルは、プロンプトから合成データを生成することが出来る生成AIモデルです。なので、少ないプロンプトからより多くの情報量をアウトプットしてくれます。そしてそのデータを他のAIに学習させれば、より高品質な情報をアウトプット出来るようになりそうですね。

Rewardモデルは、人間の好みや価値観に沿った行動や結果を出せるように、AI モデルを整合させるための生成AIモデルだそうです。つまり、その整合されたデータで学習させることで、より倫理的で、より人間的なアウトプットが出来るようになるみたいです。

`Llama-3.1-Nemotron-70B-Instruct」のプロンプト画面はこんな感じです。（既にプロンプトはしました。）

実際にプロンプトしてみます。

Terminal window

1
以下の英文を和訳して。
2
---
3
Creates diverse synthetic data that mimics the characteristics of real-world data.
4
---

このような回答が返ってきました。詳しい説明も付け足してくれています。

以下が英文の和訳です。（より詳しく和訳する場合は、以下の点に注意してください）

次に、Pythonランタイムからプロンプトしてみます。そのために、APIキーを発行する必要があります。

NVIDIAアカウントでログインして、APIキーを出力します。

そのAPIキーを使って、NemotronのAPIを叩きます。

1
from openai import OpenAI
2
import httpx
3

4
client = OpenAI(
5
  base_url = "https://integrate.api.nvidia.com/v1",
6
  api_key = "$API_KEY_REQUIRED_IF_EXECUTING_OUTSIDE_NGC"
7
)
8

9
completion = client.chat.completions.create(
10
  model="nvidia/llama-3.1-nemotron-70b-instruct",
11
  messages=[{"role":"user","content":"以下の英文を和訳して。\n---\nCreates diverse synthetic data that mimics the characteristics of real-world data.\n---"}],
12
  temperature=0.5,
13
  top_p=1,
14
  max_tokens=1024,
15
  stream=True
16
)
17

18
for chunk in completion:
19
  if chunk.choices[0].delta.content is not None:
20
    print(chunk.choices[0].delta.content, end="")

展開する折りたたむ

Google ColabからAPIを叩く時に、「Client.init() got an unexpected keyword argument ‘proxies’」というエラーメッセージが表示されたら、以下の流れで対処します。

「!pip install --upgrade openai」でopenaiパッケージを更新しておきます。これで動かなかったら次の対応をする。
「!pip list」でhttpxパッケージのバージョンを確認する。0.28以上だったら、「!pip install httpx==0.27.2」で古いバージョンにダウングレードする。（httpxの非推奨の引数だった'proxies'が0.28で削除されたので、openaiパッケージが'proxies'を渡さないようにアップデートされるまでこの対応をする必要がある。）
Colab Notebookのメニューバーの「Restart session」でカーネルを再起動する。そして実行してみる。

同じ感じの回答が返ってきました。

以下が英文の和訳です。 * 実世界のデータの特性を模倣する、多様な合成データを作成する。

NVIDIA/Nemotron-4-340B-Instruct#

NVDIA/Nemotron-4-340B-Instructは、実世界のデータの特性を模倣する、多様な合成データを生成するAIです。実際の現実世界のデータの特徴というのは、そのデータのパターン、分布、傾向などを指していて、その特徴に基づいて多様でリアルな合成データを自動生成する生成AIみたいです。（2024-12-18時点ではプレビュー版です。）

・・・と、Llama-3.1-Nemotron-70B-Instructに訳してもらったら、実際のデータが不足している場合に、学習データやテストデータを増やすことができるということも言っていました。

nemotron-4-340b-instruct Model by NVIDIA | NVIDIA NIM

Creates diverse synthetic data that mimics the characteristics of real-world data.

このNemotron-340Bモデルにも、いくつか種類があり、Base、InstructやRewardがあります。70Bモデルと比較したいので、今回はInstructモデルを試していきます。

NVIDIA/Nemotron-4-340B-Instructのプロンプト画面は、Llama-3.1-Nemotron-70B-Instructの画面とほとんど変わりません。

実際にプロンプトしてみます。

1
以下の英文を和訳して。
2
---
3
Creates diverse synthetic data that mimics the characteristics of real-world data.
4
---

プロンプトしてみるとこのような回答が返ってきました。70Bよりもだいぶシンプルな回答が返ってきました。（英語の翻訳程度の作業に使うのは勿体ないか・・・）

実際のデータの特性を模倣した、多様な合成データを作成します。

次に、Pythonランタイムからプロンプトしてみます。

1
from openai import OpenAI
2

3
client = OpenAI(
4
  base_url = "https://integrate.api.nvidia.com/v1",
5
  api_key = "$API_KEY_REQUIRED_IF_EXECUTING_OUTSIDE_NGC"
6
)
7

8
completion = client.chat.completions.create(
9
  model="nvidia/nemotron-4-340b-instruct",
10
  messages=[{"role":"user","content":"以下の英文を和訳して。\n---\nCreates diverse synthetic data that mimics the characteristics of real-world data.\n---"}],
11
  temperature=0.2,
12
  top_p=0.7,
13
  max_tokens=1024,
14
  stream=True
15
)
16

17
for chunk in completion:
18
  if chunk.choices[0].delta.content is not None:
19
    print(chunk.choices[0].delta.content, end="")

展開する折りたたむ

同じ感じの回答が返ってきました。

実際のデータの特性を模倣した、多様な合成データを作成します。

そして、NVIDIA/Nemotron-4-340B-Instructのプロンプト画面では、Projectsというタブがありました。

NVIDIA AI Workbenchという単語が出てきました。このNVIDIA AI Workbenchというのは、事前学習済みの生成型 AI モデルおよび大規模言語モデル (LLMs) を簡単に作成、テスト、カスタマイズできる、統合された便利ツールキットのことだそうです。

それではTry this projectをクリックしてみます。

このような画面が表示されました・・・・・・。

どうやら、「NVIDIA AI Workbench」はローカルに生成AI環境を構築する機能のようです。しかし、企業レベルでGPUのクラスターを構成していなければとても使える代物ではなさそうですね・・・。

NVIDIA/Consistory（画像生成）#

「NVIDIA/Consistory」は、追加のトレーニングを必要とせずに、複数の画像シリーズ全体で一貫したキャラクターを生成するAIです。（このモデルも、2024-12-18時点ではプレビュー版です。）

consistory Model by NVIDIA | NVIDIA NIM

Generates consistent characters across a series of images without requiring additional training.

プロンプトする画面です。色々と入力する場所が分かれています。

Negative Promptも埋められますね。適当に埋めておいて、Generate Anchorsをクリックします。（なんでNegative Promptが赤くなってるのかはよく分かりません。）

2枚のAnchor画像が生成されました。Next Stepsに進みます。

次はこんな画面になりました。Scenario Descriptionを入力します。「The old woman remembered a lack of breads. She went buying slices of bread and miscellaneous. Then, she was going home. However, she saw a lion and a tiger in the park by the way.」といったプロンプトで生成します。

パンを持った妙齢の女性の画像が生成されました。一応近くに鳥もいます。

シード値を変えてもう少し生成します。なんかちょっと分かってきたような気が・・・。

次は、虎と闘っている妙齢の女性をAnchorに作りたいと思います。生成中・・・。

そうそう、これこれ。

虎と闘っている妙齢の女性のAnchorを使って、「The old woman remembered a lack of breads. She went buying slices of bread and miscellaneous. Then, she was going home. However, she saw a lion and a tiger in the park by the way.」とScenarioにプロンプトして、別の画像を生成します。

そうすると、その別のシチュエーションで先程の虎と女性を描くことが出来ました。（Anchorにローカルにある画像をアップロードできたら用途が広がりそうですね。）

このモデルもPythonランタイムから実行してみます。

1
import requests, base64
2

3
invoke_url = "https://ai.api.nvidia.com/v1/genai/nvidia/consistory"
4
headers = {
5
    "Authorization": "Bearer $API_KEY_REQUIRED_IF_EXECUTING_OUTSIDE_NGC",
6
    "Accept": "application/json",
7
}
8

9
payload = {
10
    "mode": 'init',
11
    "subject_prompt": "an old woman wearing a dress",
12
    "subject_tokens": ["woman","dress"],
13
    "subject_seed": 43,
14
    "style_prompt": "A photo of",
15
    "scene_prompt1": "walking in the garden",
16
    "scene_prompt2": "fighting a lion and a tiger wtih a large sword",
17
    "negative_prompt": "",
18
    "cfg_scale": 5,
19
    "same_initial_noise": False
20
}
21

22
response = requests.post(invoke_url, headers=headers, json=payload)
23
response.raise_for_status()
24

25
data = response.json()
26

27
for idx, img_data in enumerate(data['artifacts']):
28
  img_base64 = img_data["base64"]
29
  img_bytes = base64.b64decode(img_base64)
30
  with open(f'{idx}.jpg', "wb") as f:
31
      f.write(img_bytes)

展開する折りたたむ

シード値は先程と同じなので、先程と同じ画像をローカルで生成することが出来ました。「Generate Scenario」の部分は、まだAPIでは叩けないようです。

NVIDIA/Audio2face-3D#

NVIDIA/Audio2face-3Dは、ストリーミングオーディオをリアルタイムのリップシンクと顔のパフォーマンスに対応した顔のブレンドシェイプ（Facial Blendshapes）に変換してくれる生成AIです。つまり、音声を渡すとそれに合わせてキャラクターが喋ってくれるみたいです。

audio2face-3d Model by NVIDIA | NVIDIA NIM

Converts streamed audio to facial blendshapes for realtime lipsyncing and facial performances.

プロンプト画面はこんな感じです。インプットする音声サンプルを選ぶことが出来ます。表情の強さや自動で表情を付けるかを設定することも可能です。

実行してみると、右に映っている顔が動き始めました。

Emotion Outputを開くと、その時々の表情の成分を表示することが出来ます。Angryが強い時や、Joyが強かったり。

顔は、別のものを選ぶことも可能です。

Shutterstock/Edify-3D#

Shutterstockが提供している3D アセット生成AIです。NVIDIA Edify を使用して、Shutterstock のライセンス付きクリエイティブライブラリでトレーニングされているようです。

Explore Visual Design Models | Try NVIDIA NIM APIs

Experience the leading models to build enterprise generative AI apps now.

プロンプト画面はこんな感じです。既に緑色のイスが出力されています。このプロンプトは、Image-to-3Dという種類のプロンプト形式です。

別のイラストでプロンプトしてみます。先程と違うイラストを選んだら、Generate Previewをクリックします。

表示されたプレビューから、「Generate 3D」をクリックします。

スケッチされたレーザーガンが3Dオブジェクトになりました。このオブジェクトはファイルとして出力することも可能です。

GLBファイルとして出力して、別のサイトで表示することが出来ました。Blenderとかで利用できそうですね。USDZファイルも開けるかもしれません。

また、Text-to-3D形式で3Dオブジェクトを生成することも可能でした。でもちょっと、のっぺりしてるような・・・。

プロンプトを「a redish raser gun」から「a redish raser gun, high detailed, glossy」に付け足すことで、もう少しディテールが細かく描かれたレーザーガンを生成することが出来ました。

Shutterstock/Edify-360-HDRi#

Shutterstockの 3D 360 度 HDRi (ハイダイナミックレンジイメージ) 生成サービスです。つまり、360度のワールド生成が出来る生成AIです。NVIDIA Edify を使用して、Shutterstock のライセンス付きクリエイティブライブラリでトレーニングされているようです。

360度のワールドというのは、例えば「RICOH THETA」とかの360度カメラで撮影した時に出力できるような映像のことです。

edify-360-hdri Model by Shutterstock | NVIDIA NIM

Shutterstock Generative 3D service for 360 HDRi generation. Trained on NVIDIA Edify using Shutterstock’s licensed creative libraries.

プロンプト画面はこんな感じです。元々プロンプトされていて、その生成結果が表示されていました。

プロンプトを「a flat lookout point in the city with sunrise, a few autumn birch trees and beautiful skyscrapers in the background, god rays, dappled light shining through branches, scenic nature, inspiring, landscape panoramic, cityscape」という風に書き変えて生成してみます。すると、先程表示されていたものとは違う情景が表示されました。

Generate 8K HDRi をクリックして、8Kバージョンのものを生成してダウンロードします。そして、ダウンロードした圧縮ファイルを伸長した中に入っていたファイルは、Affinity Designer上で表示することが出来ました。

まとめ#

今回の記事は、「NIM」というNVIDIAが運営している生成AIをビルドできるプラットフォームおよびそこで利用できる生成AIに関して紹介しました。プラットフォーム内での利用は無料ですし、APIも利用回数の制限がありながらも無料でした。この機会に色々なAIを触ってみたいですね。

おしまい#

リサちゃん

色々出来そうで楽しい！

135ml

しかし、APIキーの利用制限がな・・・。

以上になります！

【Python】Pydanticのvalidatorが非推奨だからfield_validatorを使って2段階バリデーションを実装する

Sat, 21 Dec 2024 00:00:00 GMT

はじまり#

リサちゃん

くそう、こんがらがってきやがった・・・

135ml

クロージャを使ってバリデーションチェックですね。

PydanticのBaseModelのバリデーションをする#

Pythonには、Pydanticという強力な型アノテーションおよび値のバリデーションを実装することが出来るライブラリがあります。

Python標準パッケージの中にdataclassesという似たような型ヒント用のライブラリもありますが、Pydanticの方がもっと強力に例外を発生することが出来るので、堅牢なコードを書くことが出来ます。

僕個人的には、Pydanticを導入したらコーディング中に型の不整合によってハマることは無くなりましたし、テストコードも使う以前よりも書きやすくなりました。

Pydantic Docs

Welcome to Pydantic

pydantic.dev

そして今回は、そのPydanticの機能を利用する上で最も使うであろうクラスのBaseModelクラスに対する型アノテーションと値のバリデーションチェックを実装するまでの流れを紹介していきます。

ちなみに今回作ったコードは、以下のNotionのデータベースから取得したデータをAPIを介して渡したりリクエストするために作っていたものです。なのでNotionTasksとかいうクラス名になっているわけです。

【Python、Golang】NotionのページのプロパティをCloud SQLのPostgreSQLに記録する（第1回）

NotionのページのプロパティをPythonで取得して、Cloud SQL上に作成されたPostgreSQLのDBに記録する手順を紹介します。Cloud FunctionsではCloud SQLを使えない。

Migrating from Pydantic V1.

それでは行ってみましょう。

「クラス」メソッドと「インスタンス」メソッドの分別を付ける。#

まあ、まずはChatGPTに質問してみるわけです。「Pydanticでバリデーションチェックをするコードを書いて。」と。

1
from pydantic import BaseModel, validator, ValidationError
2

3
class MyModel(BaseModel):
4
    name: str = "default_name"  # 任意フィールド
5

6
    @validator("name", pre=True, always=True)
7
    def check_not_none(cls, v):
8
        if v is None:
9
            raise ValueError("name cannot be None")
10
        return v
11

12
# OK
13
model = MyModel(name="John")
14
print(model)
15

16
# Error: name cannot be None
17
try:
18
    model = MyModel(name=None)
19
except ValidationError as e:
20
    print(e)

展開する折りたたむ

そして疑問に思うわけです。

このpreとalwaysって・・・何だ？

そこでChatGPTに聞いてみるわけです。「@validator("name", pre=True, always=True)の処理の内容を教えて。」と。そして、返ってきた回答を意訳するとこんな感じでした。

pre=Trueは、バリデーションが「前処理の段階」で実行されることを意味します。 always=Trueは、フィールドに値が提供されていなくても、常にバリデーションを実行します。 Pydanticでは、バリデーションには 前処理（pre-processing） と 後処理（post-processing） があります。pre=True を設定すると、フィールドの型が適用される「前」にバリデーションが実行されます。また、always=Trueを設定すると、「入力がない場合にデフォルト値を使うが、そのデフォルト値もバリデーションを通したい」といったケースをカバーできます。

なるほど、クラスのフィールドに入る前と入る後の2種類のタイミングでバリデーションを評価することが出来るわけだ。すごいなPydantic。

この2つのモードでバリデーションをすれば、BaseModelに代入する前にはデータベース（PostgreSQLなど）の中でnot nullで定義したカラムが何らかの理由でNoneになった場合に例外を出すことが出来ます。（pre=True）

そして、BaseModelに代入した後にはデフォルト値を定義しておくことで、必ず代入しなければならないフィールドに代入されていないことを検知できて、値自体の評価をすることも可能です。（always=True）よし、実装してみよう。そして、渡されたコードを少しいじって動かしてみるわけです。ーーーしかし動かないのです。えっ・・・？

1
from pydantic import BaseModel, validator, ValidationError
2

3
class MyModel(BaseModel):
4
    name: str = "default_name"  # 任意フィールド
5

6
    @validator("name", pre=True, always=True)
7
    def check_not_none(self, v):
8
        if v is None:
9
            raise ValueError("name cannot be None")
10
        return v
11

12
# OK
13
model = MyModel(name="John")
14
print(model)
15

16
# Error: name cannot be None
17
try:
18
    model = MyModel(name=None)
19
except ValidationError as e:
20
    print(e)

展開する折りたたむ

エラーメッセージの抜粋。

pydantic.errors.PydanticUserError: @field_validator cannot be applied to instance methods

1
Positive prompt: Anime style, high quality, rough, (from above, upper body), 1 young woman with brown hairr, white eyes, Stinking eyes, wearing sports wear, sadness, under the blue sky
2
negative prompt: violence, sexual, derogatory, toxic
3
(generated by Imagen 3)

あれっ・・・、なんかそれっぽいイイ感じの回答が返ってきてたのに・・・。

いいえ、違います。これは僕がいじった内容に問題がありました。

これは、@classmethodを入れて、メソッドの第一引数にclsを指定したら直ります。なぜなら、Pythonで定義するクラスでは、そのクラスのメソッドの第一引数にclsを指定するとクラスメソッド、selfを指定するとインスタンスメソッドになるんですよねそう言えば。

なので、インスタンスメソッドではなくクラスメソッドとしてバリデーション用のメソッドを実行すれば問題なく通るわけです。（この例外はそれなりにPythonを使ってないと気付かなそう。）

1
    # ↓ class method
2
    @validator("name", pre=True, always=True)
3
    def check_not_none(cls, v):
4

5
    # ↓ instance method
6
    @validator("name", pre=True, always=True)
7
    def check_not_none(self, v):

@validatorデコレータは非推奨。#

それじゃあ、clsをselfで指定して、そんでもって@validatorを使った実装でハイッ解決。　　とはなりませんでした。

色々調べていくと、判明してしまったのです。（いや、して良かった。）

なんと、@validatorデコレータは非推奨、deprecatedだったのです。（@root_validatorも非推奨です。）

Pydantic Docs

Migration Guide

pydantic.dev

その公式ページには、@validatorは非推奨となり、さまざまな新機能と改善を提供する@field_validator に置き換える必要があるとかなんやら記載されています。なので、@field_validator でバリデーションの処理を書き換えました。それから、selfを渡していたメソッドにclsを渡してクラスメソッドにします。

1
from pydantic import BaseModel, Field, field_validator
2

3
class NotionTask(BaseModel):
4
    number: int = -1
5
    con_id: str = Field("default_value", example="TK000012345")
6
    page_id: str = Field("default_value", description="Notion page UUID")
7
    page_icon: str = Field(..., description="Notion page icon")
8
    is_page_archived: bool = Field(False, description="if page is archived")
9

10
    @field_validator("number")
11
    def validate_number(cls, v):
12
        FIELD_NAME = "con_id"
13
        if v is None:
14
            raise ValueError(f"'{FIELD_NAME}' cannot be None")
15
        if v <= -1:
16
            raise ValueError(f"'{FIELD_NAME}' must be over -1")
17
        return v
18

19
    @field_validator("con_id")
20
    def validate_con_id(cls, v):
21
        FIELD_NAME = "con_id"
22
        LENGTH_OF_CHARACTERS = 11
23
        if v is None:
24
            raise ValueError(f"'{FIELD_NAME}' cannot be None")
25
        if v == "default_value":
26
            raise ValueError(f"'{FIELD_NAME}' must not be 'default_value'")
27
        if len(v) != LENGTH_OF_CHARACTERS:
28
            raise ValueError(f"'{FIELD_NAME}' must have {LENGTH_OF_CHARACTERS} characters")
29
        return v
30

31
    @field_validator("page_id")
32
    def validate_page_id(cls, v):
33
        FIELD_NAME = "page_id"
34
        LENGTH_OF_CHARACTERS = 36
35
        if v is None:
36
            raise ValueError(f"'{FIELD_NAME}' cannot be None")
37
        if v == "default_value":
38
            raise ValueError(f"'{FIELD_NAME}' must have and not 'default_value'")
39
        if len(v) != LENGTH_OF_CHARACTERS:
40
            raise ValueError(f"'{FIELD_NAME}' must have {LENGTH_OF_CHARACTERS} characters")
41
        return v

展開する折りたたむ

そしてさらに、クラスメソッドに@classmethodのデコーレーターも付けて実行します。まあ、このコードは大丈夫だった気がします。

1
from pydantic import BaseModel, Field, field_validator
2

3
class NotionTask(BaseModel):
4
    number: int = -1
5
    con_id: str = Field("default_value", example="TK000012345")
6
    page_id: str = Field("default_value", description="Notion page UUID")
7
    page_icon: str = Field(..., description="Notion page icon")
8
    is_page_archived: bool = Field(False, description="if page is archived")
9

10
    @field_validator("number")
11
    @classmethod
12
    def validate_number(cls, v):
13
        FIELD_NAME = "con_id"
14
        if v is None:
15
            raise ValueError(f"'{FIELD_NAME}' cannot be None")
16
        if v <= -1:
17
            raise ValueError(f"'{FIELD_NAME}' must be over -1")
18
        return v
19

20
    @field_validator("con_id")
21
    @classmethod
22
    def validate_con_id(cls, v):
23
        FIELD_NAME = "con_id"
24
        LENGTH_OF_CHARACTERS = 11
25
        if v is None:
26
            raise ValueError(f"'{FIELD_NAME}' cannot be None")
27
        if v == "default_value":
28
            raise ValueError(f"'{FIELD_NAME}' must not be 'default_value'")
29
        if len(v) != LENGTH_OF_CHARACTERS:
30
            raise ValueError(f"'{FIELD_NAME}' must have {LENGTH_OF_CHARACTERS} characters")
31
        return v
32

33
    @field_validator("page_id")
34
    @classmethod
35
    def validate_page_id(cls, v):
36
        FIELD_NAME = "page_id"
37
        LENGTH_OF_CHARACTERS = 36
38
        if v is None:
39
            raise ValueError(f"'{FIELD_NAME}' cannot be None")
40
        if v == "default_value":
41
            raise ValueError(f"'{FIELD_NAME}' must have and not 'default_value'")
42
        if len(v) != LENGTH_OF_CHARACTERS:
43
            raise ValueError(f"'{FIELD_NAME}' must have {LENGTH_OF_CHARACTERS} characters")
44
        return v

展開する折りたたむ

しかし・・・、@field_validatorでは、先程の@validatorでは設定できた、pre=True とか、always=Trueを設定することが出来ません。（preとかを設定するとそんな感じのエラーが表示されるんですよね。）なので、フィールドの中に入れる前か入れる後でアノテーションやらバリデーションやらが漏れてしまうんですよね・・・。

他の方法は無いのか。

field_validatorのダブルバリデーションチェック#

Pydanticの公式リファレンスのこのページにその方法が掲載されていました。

Pydantic Docs

Validators

pydantic.dev

基本的にはそのページの通りに実装しました。そして実装の方法が2種類あるようです。上記の公式ページでは2種類とも使用して実行順序を示してくれていますが、実際に使う時には片方で事足りると思います。

1つ目は、from pydantic.functional_validators import field_validatorでインポートしたfield_validatorを使用する方法です。まずは、この方法で実装してみます。

元々@field_validatorとして実装していたものを、別のValidatorを使ってクロージャ（Callableを返す関数）として作り直すのが煩雑で大変でした。なので、こういう場合は、ゼロから適当なクラスを作って、それをベースに実装し直すと楽かも。そして、一旦ここまでコードが出来上がりました。これを実行してみます。

1
from typing import Any, Callable, ClassVar, List, cast
2
from pydantic import BaseModel, Field, field_validator, ValidationInfo
3

4
# Validator makers definition
5
def make_validator_it_is_not_none(validation_target: str) -> Callable[[Any, ValidationInfo], Any]:
6
    def validator(v: Any, info: ValidationInfo) -> Any:
7
        if v is None:
8
            raise ValueError(f"'{validation_target}' cannot be None")
9
        return v
10
    return validator
11
def validate_con_id_value(validation_target: str) -> Callable[[Any, ValidationInfo], Any]:
12
    def validator(v: Any, info: ValidationInfo) -> Any:
13
        LENGTH_OF_CHARACTERS = 11
14
        if v == "default_value":
15
            raise ValueError(f"'{validation_target}' must not be 'default_value'")
16
        if len(v) != LENGTH_OF_CHARACTERS:
17
            raise ValueError(f"'{validation_target}' must have {LENGTH_OF_CHARACTERS} characters")
18
        return v
19
    return validator
20
def make_validator_page_id_value_is_valid(validation_target: str) -> Callable[[Any, ValidationInfo], Any]:
21
    def validator(v: Any, info: ValidationInfo) -> Any:
22
        LENGTH_OF_CHARACTERS = 36
23
        if v == "default_value":
24
            raise ValueError(f"'{validation_target}' must have and not 'default_value'")
25
        if len(v) != LENGTH_OF_CHARACTERS:
26
            raise ValueError(f"'{validation_target}' must have {LENGTH_OF_CHARACTERS} characters")
27
        return v
28
    return validator
29

30
# Schema definition
31
class NotionTask(BaseModel):
32
    number: Annotated[int, -1]
33
    con_id: Annotated[str, Field("default_value", example="TK000012345")]
34
    page_id: Annotated[str, Field("default_value", description="Notion page UUID")]
35
    page_icon: Annotated[str, Field(..., description="Notion page icon")]
36
    is_page_archived: Annotated[bool, Field(False, description="if page is archived")]
37
    val_target = ""
38

39
    val_target = "number"
40
    val_number_before = field_validator(val_target, mode="before")(
41
        make_validator_it_is_not_none(val_target)
42
    )
43
    val_number_after = field_validator(val_target, mode="after")(
44
        make_validator_number_is_not_negative(val_target)
45
    )
46
    val_target = "con_id"
47
    val_con_id_before = field_validator(val_target, mode="before")(
48
        make_validator_it_is_not_none(val_target)
49
    )
50
    val_con_id_after = field_validator(val_target, mode="after")(
51
        validate_con_id_value(val_target)
52
    )
53
    val_target = "page_id"
54
    val_page_id_before = field_validator(val_target, mode="before")(
55
        make_validator_it_is_not_none(val_target)
56
    )
57
    val_page_id_after = field_validator(val_target, mode="after")(
58
        make_validator_page_id_value_is_valid(val_target)
59
    )
60
    val_target = "is_page_archived"
61
    # Validate nothing
62

63
@app.get("/task")
64
def return_all_tasks():
65
    result = {"number": 1, "con_id": "TK000012345", "page_id": "TK000012345TK000012345TK000012345789", "page_title": "test test title no test", "page_icon": "🍞", "is_page_archived": False}
66
    NotionTask.model_validate(result, context=context)
67
    return [NotionTask(**result)]

展開する折りたたむ

エラーメッセージです。

raise PydanticUserError( pydantic.errors.PydanticUserError: A non-annotated attribute was detected: val_target = 'con_id'. All model fields require a type annotation; if val_target is not meant to be a field, you may be able to resolve this error by annotating it as a ClassVar or updating model_config['ignored_types'].

1
Positive prompt: Anime style, high quality, rough, (from above, upper body), 1 young woman with brown hair, white eyes, Stinking eyes, wearing sports wear, sadness, under the blue sky
2
negative prompt: violence, sexual, derogatory, toxic
3
(generated by Imagen 3)

やっぱりシード値が変わると印象変わるなあ。

まあエラーメッセージに色々書いてありますが、結局は、ClassVarというアノテーションを付けるか、model_config['ignored_types']を設定するかの2種類の選択肢があるようですね。今回は、ClassVarを付けてクラス変数として定義するのが良さそうです。（先程も、インスタンスメソッドからクラスメソッドに直しましたね。）

1
    # ↓ インスタンス変数として宣言してしまっている。
2
    val_target = ""
3

4
    # ↓ クラス変数にする。
5
    from typing import ClassVar
6
    val_target: ClassVar[str] = ""

デフォルト値を設定し忘れると、代入不足が検知できない。#

さあ、クラス変数にしたから直ったぞ。と思って実行するのですが・・・、

・・・ここで、例外が発生しない不具合が発生してしまいます。なんてこった・・・。

先程のソースでは、わざとフィールドが不足するようにインスタンスを作成しようとしていました。なので、例外が発生しなければおかしいわけです。しかし発生しなかった・・・。

1
@app.get("/task")
2
def return_all_tasks():
3
    result = {"number": 1, "con_id": "TK000012345", "page_id": "TK000012345TK000012345TK000012345789", "page_title": "test test title no test", "page_icon": "🍞", "is_page_archived": False}
4
    NotionTask.model_validate(result, context=context)
5
    return [NotionTask(**result)]

この原因としては2つありました。1つ目は、クラス変数の宣言時に、デフォルト値が設定されていないことが原因でした。そして2つ目は、Fieldの中でvalidate_default=Trueという設定も必要でした。元々Annotatedの中のFieldで設定した"default_value"は何のフィルターとしても機能していなかったみたいです。

1
from typing import Any, Callable, ClassVar, List
2

3
# ↓ デフォルト値の設定をグローバルインスタンスに一元化した。
4
class Context(TypedDict):
5
    logs: List[str]
6
    default_value: str
7
context = Context(logs=[], default_value="default_value")
8

9
# ↓ 修正前：デフォルト値が設定されていない。
10
# Schema definition
11
class NotionTask(BaseModel):
12
    number: Annotated[int, -1]
13
    con_id: Annotated[str, Field("default_value", example="TK000012345")]
14

15
# ↓ 修正後：デフォルト値を設定した。
16
# Schema definition
17
class NotionTask(BaseModel):
18
    number: Annotated[int, -1]
19
    con_id: Annotated[str, Field(validate_default=True, example="TK000012345")] = context["default_value"]

展開する折りたたむ

修正したコードが下記のものです。これで、1つ目のバリデーション実装である、from pydantic.functional_validators import field_validatorでインポートしたfield_validatorを使用する方法が出来上がりました。（ちなみに、チラホラコメントアウトされている行は、2つ目の方法でバリデーションチェックを実装した部分です。）

1
from typing import Any, Callable, ClassVar, List, cast
2
from typing_extensions import Annotated, TypedDict
3
from pydantic import BaseModel, Field, field_validator, AfterValidator, BeforeValidator, ValidationInfo, HttpUrl
4

5
class NotionTask(BaseModel):
6
    number: Annotated[int, -1]
7
    con_id: Annotated[str, Field(validate_default=True, example="TK000012345")] = context["default_value"]
8
    page_id: Annotated[str, Field(validate_default=True, description="Notion page UUID")] = context["default_value"]
9
    page_title: Annotated[str, Field(...)]
10
    status: Annotated[str, Field(validate_default=True, description="Notion page UUID")] = context["default_value"]
11
    page_icon: Annotated[str, Field(..., description="Notion page icon")]
12
    is_page_archived: Annotated[bool, Field(False, description="if page is archived")]
13
    val_target: ClassVar[str] = ""
14

15
    val_target = "number"
16
    # number: Annotated[int, -1, BeforeValidator(make_validator_it_is_not_none(val_target)), AfterValidator(make_validator_number_is_not_negative(val_target))]
17
    val_number_before = field_validator(val_target, mode="before")(
18
        make_validator_it_is_not_none(val_target)
19
    )
20
    val_number_after = field_validator(val_target, mode="after")(
21
        make_validator_number_is_not_negative(val_target)
22
    )
23
    val_target = "con_id"
24
    # con_id: Annotated[str, Field(validate_default=True, example="TK000012345"), BeforeValidator(make_validator_it_is_not_none(val_target)), AfterValidator(make_validator_values_length_is_equal(val_target, 11))] = context["default_value"]
25
    val_con_id_before = field_validator(val_target, mode="before")(
26
        make_validator_it_is_not_none(val_target)
27
    )
28
    val_con_id_after = field_validator(val_target, mode="after")(
29
        make_validator_values_length_is_equal(val_target, 11)
30
    )
31
    val_target = "page_id"
32
    # page_id: Annotated[str, Field(validate_default=True, description="Notion page UUID"), BeforeValidator(make_validator_it_is_not_none(val_target)), AfterValidator(make_validator_values_length_is_equal(val_target, 36))] = context["default_value"]
33
    val_page_id_before = field_validator(val_target, mode="before")(
34
        make_validator_it_is_not_none(val_target)
35
    )
36
    val_page_id_after = field_validator(val_target, mode="after")(
37
        make_validator_values_length_is_equal(val_target, 36)
38
    )
39
    val_target = "page_title"
40
    # page_title: Annotated[str, Field(validate_default=True), BeforeValidator(make_validator_it_is_not_none(val_target)), AfterValidator(make_validator_value_is_less(val_target, 120))]
41
    val_page_title_before = field_validator(val_target, mode="before")(
42
        make_validator_it_is_not_none(val_target)
43
    )
44
    val_page_title_after = field_validator(val_target, mode="after")(
45
        make_validator_value_is_less(val_target, 120)
46
    )
47
    val_target = "status"
48
    # status: Annotated[str, Field(validate_default=True, description="Notion page UUID"), BeforeValidator(make_validator_it_is_not_none(val_target)), AfterValidator(make_validator_values_length_is_equal(val_target, 36))] = context["default_value"]
49
    val_status_before = field_validator(val_target, mode="before")(
50
        make_validator_it_is_not_none(val_target)
51
    )
52
    val_status_after = field_validator(val_target, mode="after")(
53
        make_validator_values_length_is_equal(val_target, 36)
54
    )
55
    val_target = "page_icon"
56
    # page_icon: Annotated[str, Field(validate_default=True, description="Notion page icon"), BeforeValidator(make_validator_it_is_not_none(val_target)), AfterValidator(make_validator_value_is_less(val_target, 2))]
57
    val_page_icon_before = field_validator(val_target, mode="before")(
58
        make_validator_it_is_not_none(val_target)
59
    )
60
    val_page_icon_after = field_validator(val_target, mode="after")(
61
        make_validator_value_is_less(val_target, 2)
62
    )
63
    val_target = "is_page_archived"
64
    # is_page_archived: Annotated[bool, False, BeforeValidator(make_validator_it_is_not_none(val_target))]
65
    val_is_page_archived_before = field_validator(val_target, mode="before")(
66
        make_validator_it_is_not_none(val_target)
67
    )
68
    # Validates nothing

展開する折りたたむ

例えばそのコードをFastAPI上で実行すると、フィールドの代入漏れがあると例外を発生するようになりました。これで、意図しないデータを誤ってレスポンスのボディに載せる挙動を無くすことが出来ます。

1
from fastapi import FastAPI
2

3
app = FastAPI(
4
    title="NotionSynchronizer API",
5
    summary="Retrieves Notion pages and manages with PostgreSQL",
6
    description="You will be able to:\n- Retrieve Notion pages.\n- Store info of Notion pages into PostgreSQL.",
7
    version="0.0.1",
8
    openapi_url="/api/v0/openapi.json",
9
    separate_input_output_schemas=True
10
)
11

12
@app.get("/task")
13
def return_all_tasks():
14
    result = {"number": 1, "con_id": "TK000012345", "page_id": "TK000012345TK000012345TK000012345789", "page_title": "test test title no test", "page_icon": "🍞", "is_page_archived": False}
15
    NotionTask.model_validate(result, context=context)
16
    return [NotionTask(**result)]
17
# pydantic_core._pydantic_core.ValidationError: 1 validation error for NotionTask
18
# status
19
#  Value error, 'status' must not be 'default_value' [type=value_error, input_value='default_value', input_type=str]

展開する折りたたむ

Annotatedの中でダブルバリデーションチェック#

次に、2つ目の実装方法である、BeforeValidatorとAfterValidatorをAnnotatedの中に入れる実装方法です。

先程のコード内で、from pydantic.functional_validators import field_validatorでインポートしたfield_validatorを使用する実装部分をコメントアウトして、BeforeValidatorとAfterValidatorをAnnotatedの中に入れる方法で実装した部分のコメントアウトを外します。

1
class NotionTask(BaseModel):
2
    # con_id: Annotated[str, Field(context["default_value"], example="TK000012345")]
3
    # page_id: Annotated[str, Field(context["default_value"], description="Notion page UUID")]
4
    # page_title: Annotated[str, Field(...)]
5
    # status: Annotated[str, Field(context["default_value"], description="Notion page UUID")]
6
    # page_icon: Annotated[str, Field(..., description="Notion page icon")]
7
    # is_page_archived: Annotated[bool, Field(False, description="if page is archived")]
8
    val_target: ClassVar[str] = ""
9

10
    val_target = "number"
11
    number: Annotated[int, -1, BeforeValidator(make_validator_it_is_not_none(val_target)), AfterValidator(make_validator_number_is_not_negative(val_target))]
12
    # val_number_before = field_validator(val_target, mode="before")(
13
    #     make_validator_it_is_not_none(val_target)
14
    # )
15
    # val_number_after = field_validator(val_target, mode="after")(
16
    #     make_validator_number_is_not_negative(val_target)
17
    # )
18
    val_target = "con_id"
19
    con_id: Annotated[str, Field(validate_default=True, example="TK000012345"), BeforeValidator(make_validator_it_is_not_none(val_target)), AfterValidator(make_validator_values_length_is_equal(val_target, 11))] = context["default_value"]
20
    # val_con_id_before = field_validator(val_target, mode="before")(
21
    #     make_validator_it_is_not_none(val_target)
22
    # )
23
    # val_con_id_after = field_validator(val_target, mode="after")(
24
    #     make_validator_values_length_is_equal(val_target, 11)
25
    # )
26
    val_target = "page_id"
27
    page_id: Annotated[str, Field(validate_default=True, description="Notion page UUID"), BeforeValidator(make_validator_it_is_not_none(val_target)), AfterValidator(make_validator_values_length_is_equal(val_target, 36))] = context["default_value"]
28
    # val_page_id_before = field_validator(val_target, mode="before")(
29
    #     make_validator_it_is_not_none(val_target)
30
    # )
31
    # val_page_id_after = field_validator(val_target, mode="after")(
32
    #     make_validator_values_length_is_equal(val_target, 36)
33
    # )
34
    val_target = "page_title"
35
    page_title: Annotated[str, Field(validate_default=True), BeforeValidator(make_validator_it_is_not_none(val_target)), AfterValidator(make_validator_value_is_less(val_target, 120))]
36
    # val_page_title_before = field_validator(val_target, mode="before")(
37
    #     make_validator_it_is_not_none(val_target)
38
    # )
39
    # val_page_title_after = field_validator(val_target, mode="after")(
40
    #     make_validator_value_is_less(val_target, 120)
41
    # )
42
    val_target = "status"
43
    status: Annotated[str, Field(validate_default=True, description="Notion page UUID"), BeforeValidator(make_validator_it_is_not_none(val_target)), AfterValidator(make_validator_values_length_is_equal(val_target, 36))] = context["default_value"]
44
    val_status_before = field_validator(val_target, mode="before")(
45
        make_validator_it_is_not_none(val_target)
46
    )
47
    val_status_after = field_validator(val_target, mode="after")(
48
        make_validator_values_length_is_equal(val_target, 36)
49
    )
50
    val_target = "page_icon"
51
    page_icon: Annotated[str, Field(validate_default=True, description="Notion page icon"), BeforeValidator(make_validator_it_is_not_none(val_target)), AfterValidator(make_validator_value_is_less(val_target, 2))]
52
    # val_page_icon_before = field_validator(val_target, mode="before")(
53
    #     make_validator_it_is_not_none(val_target)
54
    # )
55
    # val_page_icon_after = field_validator(val_target, mode="after")(
56
    #     make_validator_value_is_less(val_target, 2)
57
    # )
58
    val_target = "is_page_archived"
59
    is_page_archived: Annotated[bool, False, BeforeValidator(make_validator_it_is_not_none(val_target))]
60
    # val_is_page_archived_before = field_validator(val_target, mode="before")(
61
    #     make_validator_it_is_not_none(val_target)
62
    # )
63
    # Validates nothing

展開する折りたたむ

このコードもFastAPI上で実行すると、先程のコードと同様にフィールドの代入漏れがあると例外を発生させるようになりました。（これが代入前のチェック。）

そして、フィールドの値自体が文字数の超過や不足が発生している場合も例外が発生するようになりました。（これが代入後のチェック。実は、先程のコードも同様のバリデーションチェックが可能です。）

1
# statusフィールドが存在しない場合のチェック
2
@app.get("/task")
3
def return_all_tasks():
4
    result = {"number": 1, "con_id": "TK000012345", "page_id": "TK000012345TK000012345TK000012345789", "page_title": "test test title no test", "page_icon": "🍞", "is_page_archived": False}
5
    NotionTask.model_validate(result, context=context)
6
    return [NotionTask(**result)]
7
# pydantic_core._pydantic_core.ValidationError: 1 validation error for NotionTask
8
# status
9
#   Value error, 'status' must not be 'default_value' [type=value_error, input_value='default_value', input_type=str]
10

11
# statusフィールドの文字列が短すぎる場合のチェック
12
@app.get("/task")
13
def return_all_tasks():
14
    result = {"number": 1, "con_id": "TK000012345", "page_id": "TK000012345TK000012345TK000012345789", "page_title": "test test title no test", "status": "TK000012345TK000012345TK00001234578", "page_icon": "🍞", "is_page_archived": False}
15
    NotionTask.model_validate(result, context=context)
16
    return [NotionTask(**result)]
17
# pydantic_core._pydantic_core.ValidationError: 1 validation error for NotionTask
18
# status
19
#   Value error, 'status' must have 36 characters [type=value_error, input_value='TK000012345TK000012345TK00001234578', input_type=str]
20

21
# statusフィールドの文字列が長すぎる場合のチェック
22
@app.get("/task")
23
def return_all_tasks():
24
    result = {"number": 1, "con_id": "TK000012345", "page_id": "TK000012345TK000012345TK000012345789", "page_title": "test test title no test", "status": "TK000012345TK000012345TK0000123457890", "page_icon": "🍞", "is_page_archived": False}
25
    NotionTask.model_validate(result, context=context)
26
    return [NotionTask(**result)]
27
# pydantic_core._pydantic_core.ValidationError: 1 validation error for NotionTask
28
# status
29
#   Value error, 'status' must have 36 characters [type=value_error, input_value='TK000012345TK000012345TK0000123457890', input_type=str]

展開する折りたたむ

このような流れで、Pydanticを用いてオブジェクトのフィールドの型安全を担保したコードを実装することが出来ます。これで自分のコードがより堅牢になると思います。

まとめ#

今回の記事は、クラスのフィールドのバリデーションチェックを@validatorで書いてみたが、@validatorはdeprecatedになってて、代わりに@field_validatorを使ってみる。しかし、@field_validatorにはpreとかalwaysフラグが無いから、from pydantic.functional_validators import field_validatorでインポートしたfield_validatorを使用する方法と、BeforeValidatorとAfterValidatorをAnnotateの中に入れる実装方法で実装してみた。という流れの記事でした。

例えば、データベースにデータを格納する時や、APIとしてレスポンスを返す時などに、Pydanticはより堅牢で明確な機能性を担保してくれるでしょう。

おしまい#

リサちゃん

よし、形になったぞ・・・

135ml

こういうのって最初が一番たいへんですよね。

以上になります！

Glaspという素晴らしそうなWebスクラップツールと相見えました。Notionにエクスポートしたい。

Fri, 20 Dec 2024 00:00:00 GMT

はじまり#

リサちゃん

おおっ、なんだこのアプリは

135ml

これは捗りそうだ。

Glaspというスクラップツール#

最近、「Glasp」というChrome拡張機能を見つけたので、その操作感についてまとめてみました。Glaspは一言で言うと、「選ぶだけで記録できるメモ帳」です。

結論としては、すごく使いやすかったです。しかし、まだまだ発展途上なので、もっともっと便利になっていきそうな気がします。

それでは、アカウントを作って使い始めるところからどうぞ。

Glaspを始める。#

まずは、「glasp」とGoogleの検索窓に打ち込んで検索すると、Glaspの拡張機能をインストールするページに飛べるので飛んでみます。

glasp.co

そして、Googleアカウントでサインインして、自分のGlaspのダッシュボードが作成されました。

そこで次に、設定に移ります。

GlaspのGoogle Chromeの拡張機能をインストールすると、Google Chromeブラウザ上で選択したテキストがハイライト表示されるようになります。すると、その瞬間にGlaspのダッシュボードというかノートブック的なものにそのハイライトが付いた部分およびそのWebページのURLがメモされます。

設定で、そのハイライトの色を変えられるようですね。デフォルトで青いハイライトが引かれるように設定しておきます。

そしたら、ノートブックをプライベートなものにしてみたいですね・・・。と思って、「Private」をクリックしてみると・・・、おっと、どうやら課金しないとプライベートなノートは作成できないようです。（Glaspのスタンス的には、それぞれのユーザーが作成したノートブックが世界中の人々でシェア出来るようにしたいらしいです。）

他の色々なサービスと、そのノートブックを共有してやり取りすることが出来るみたいです。あとでNotionにメモを移したりしたいですね。

Glaspを始めたばかりのダッシュボードはこんな状態です。クリップしたWeb記事は何一つありません。ここにメモを貯めていきたいと思います。

YouTubeの動画をメモする。#

設定は一旦終えて、実際にGlaspをGoogle Chrome上で使っていきましょう。

適当に動画を開いてどのようにGlaspが動くのかを確認します。開いた動画はNASに関する動画です。動画の再生領域の横に、Glaspの機能で文字起こしされた内容が表示されています。その文字起こししたテキストの一部をマウスで選択すると、青いハイライトが付きました。

ハイライトされた部分は、X（旧Twitter）にシェアしたり、Glasp上でタグ付けすることが出来ます。ハイライトの色も変えられるようですね。

そして、自分のGlaspのアカウントのダッシュボードを確認します。すると、先程ハイライトされた部分と、そのYouTubeのURLが記録されています。この記録したクリップ的なものに自分の考えやメモを書き足すことも出来ます。

他の動画もGlaspにメモしていきましょう。次は、視聴者の自宅のサーバーにコメントしていく実況者の動画です。この動画の文字起こしにも青いハイライトを付けました。

ハイライトをクリックしてから表示されたAdd a tagをクリックすると、タグを追加することが出来ます。PCというタグを追加してみました。このポップアップでは、自分の考えやメモを書くことも可能です。

クリップしたページをAIに要約させる。#

Glaspの文字起こし部分にSummarize Videoというボタンがあります。おそらく大規模言語モデルにページの内容を要約させるのでしょう。クリックしてみます。

おおっと・・・、Summarize VideoはどうやらGlaspの有料プランに加入しないと利用できないみたいです・・・。

なので、無料プランでも利用できるSummarize Video (Open New Tab)をクリックしてみます。おそらく、ChatGPTに要約させるのでしょう。

クリックすると、ブラウザ上でChatGPTのページが表示されて徐ろに文字起こし部分がそのままプロンプトされ始めました。これは便利ですね。

入力されたプロンプトに対して、GPT-4oが要約作業を始めました。果たしてどのような出力になるのでしょうか・・・。

出力された内容が英語だったので、和訳するように再度プロンプトしました。

しかし結果を見てみると、確かに動画の内容の要約にはなっているのですが、なんか僕が欲しい情報とは違いました・・・。（紹介されているサーバーの機器とかの情報を網羅して欲しかった。）ここは学習させたAIモデルが必要そうです。

フォローアッププロンプトを使う。#

AIに文字起こしをプロンプトした後に、追加で入力するプロンプトを設定することが可能です。

Glaspの設定画面で、Follow-up PromptsをTranslate output in Japaneseと設定しておきます。

さらに、Strategy for Longer Videos/Articlesで、Equally sized chunksからStart to Limitに変更しておきます。これで出力結果が少し変わるのか。

Follow-up Promptsを設定したことで、次にプロンプトする内容がブラウザ上で表示されるようになりました。これは便利ですね。

表示された部分をクリックすることでプロンプト出来ました。しかし、出力結果は先程とあまり変わらないような気がする・・・。こればっかりはしょうがないか・・・。

「Clone AI」を使ってみる。#

ちなみに、Glaspにクリップを貯めていくことで、自分のClone AIなる存在が自分のクリップの情報を元に自分の質問に対して回答してくれるようになります。

先程、NASの動画を見たのでNASに関する質問に答えられるかどうかを試してみます。「イチオシのNASを教えて。」とプロンプトしてみると・・・。

まだ難しかったようです・・・。おそらく、クリップしたWebサイトに書いてある情報を取り出すのではなく、クリップに記録されている内容しか見ないので、ちゃんとクリップに記録してある必要があるみたいですね。

他のAIモデルも使ってみる。#

先程、ChatGPTで要約してみましたが、今度は Google AI Studio で要約させてみたいと思います。 Glaspの設定で、DefaultからGoogle AI StudioにAI Modelを変更します。

先程と同様に、新規でGoogle AI Studioのタブが開かれました。視聴者の自宅のサーバーにコメントしていく実況者の動画を要約してもらいます。Google AI Studioの場合、Follow-up Promptsに設定したプロンプトが表示されたボタンは表示されませんでした。なので、手入力でフォローアッププロンプトを入力しました。

Google AI Studio（Gemini 1.5 Pro）の方が、ChatGPT-4oよりも欲しい情報が詰まっていました。僕の個人的にはGeminiの方が相性が良いのかなあやっぱり。

そして、Glaspのダッシュボード上でもショートカットキーを入力すると、AI Modelへの要約プロンプトを実行することが出来ます。デフォルト設定だとCtrl + X, Xです。

AI Modelで設定した「Google AI Studio」で要約作業が行われました。あっ、これはなんとなく使い方が分かってきたかもしれない・・・。

基本的には、要約→和訳の流れ。#

Glaspで記事や動画をクリップする時には、ハイライトするのも大事ですが、どうやらコンテンツの全文をメモしておくことで、Glaspの真価が発揮されるような気がします。

先程の動画から文字起こし部分を全てコピー（Copy Transcript）して・・・、

ダッシュボードで該当するクリップにコピーした全ての文字起こしを貼り付けます。そして、AIモデルに要約させるためのショートカットキーを入力します。

文字起こしの全文が入力されてAIが要約作業を行います。しかし出力量が少ないな・・・。

「Output more details in Japanese.」とプロンプトしてもう少し増やしました。

「You are a PC parts enthusiast. Output more details in Japanese.」とプロンプトしてみました。

次に、「You are a PC parts expert. Output more details in Japanese.」とプロンプトしてみました。

Roleを変えさせてプロンプトしてみましたが、enthusiastの方が情報量が多いですが文章が見づらくて、expertの方が文章が見やすいですが情報量が少なめですか？　プロンプトの仕方は調整が必要そうですね・・・。

ちなみに、最初にAIモデルに要約してもらうためのプロンプトは、Prompt for Summaryの設定である程度編集することが出来ます。

Notionにエクスポートする。#

それでは、クリップした内容をNotionにエクスポートしたいと思います。クリップ内に共有ボタンがあるのでExport to Notionをクリックします。

Please integrate with Notion from here.と表示されるので、hereをクリックしてNotionと連携できるようにします。

Notionと連携できるようになったら、再度Export to Notionをクリックして少し待ちます。

そしたら、あれっ・・・、Something went wrong.？？　失敗した？？

あれれ、それでは次にもう少し軽そうなクリップをNotionにエクスポートしたいと思います。

今度はNotionにエクスポート出来たようです。Notionで開いてみます。

Notionに連携したノートに「Glasp Highlights」という新しいデータベースが作成されて、エクスポートされたクリップがNotionのページとして保存されました。

「Glasp Highlights」データベースを確認すると、確かに先程エクスポートに失敗したクリップは保存されていませんでした。なるほど・・・、ある程度のボリューム以上の文章量で書き足すとエクスポート出来なくなってしまうのですね・・・。この閾値は後々改善されることを願うのみですね・・・。

AndroidとiOS用のアプリもある。#

このGlaspには、スマホ用のアプリも用意されています。しかしスマホでは、自分が常用しているブラウザ上でGlaspを使えるわけではないので、Glaspにクリップが貯まっていくことでGlasp上で表示されるフィードが自分好みになるまで、Glaspを使い続ける必要があります。そこはスマホアプリの難しいところですね。

2024-12-15時点における評価は、Google Play Storeでは2.5、Apple App Storeでは3.5で、あまり良い評価ではありません・・・。Google Play Storeでリリースされたのは2024-12-10と最近なのでこれから使いやすくなると思います。Apple App Storeでリリースされたのは2023-09-22です。ジワジワと好転していくのではないでしょうか・・・。

Google Play Store内のGlasp。 Apple App Store内のGlasp。

Glasp

Glasp Inc.無料posted withアプリーチ

まとめ#

今回は、GlaspというWeb上の動画や記事をクリップ出来るツールを紹介しました。

以下が本記事のまとめです。（2024-12-15時点）

Glaspは、Web上の文章をハイライトするだけでWebページのURLをクリップ出来る。
Webページの内容を大規模言語モデル（ChatGPT、Gemini、Claude、Mistralなど）に要約させるための機能もある。
フォローアッププロンプト機能が便利。
Clone AIで、今までクリップした内容を元に回答できる自分用のAIを作れる。
Notionにエクスポートすることも可能。しかし、大量の文字数でメモしているとエクスポート出来なくなる。

素晴らしい・・・まで、あと1歩足りませんでしたが、ハイライトするだけでクリップできてしまうのは便利なので、これからボチボチ使っていこうと思います。

おしまい#

リサちゃん

楽しみだ。

135ml

期待したい。

以上になります！

【PowerShell】ffmpegとgif2webpでmp4動画のサイズを小さくしたい

Tue, 17 Dec 2024 00:00:00 GMT

はじまり#

リサちゃん

これ、音声は要らんのよなあ

135ml

gifかwebpにしたら減らせるのだろうか

動画のサイズを小さくしたい。#

mp4ファイルって重いですよね・・・。ということで、動画のサイズをなんとか小さく出来ないものかと色々試行錯誤した結果をまとめてみました。今回は音声をサポートしていない拡張子（.gifおよび.webp）によるアニメーションに変換することで、ファイルサイズを小さくしていこうと思います。

今回使う変換方法#

今回、動画を別の拡張子に変換するために使った方法は、「ffmpeg」と「gif2webp」のパッケージです。 WindowsであればどちらのパッケージもScoopからインストールすることが可能です。

Terminal window

1
cd C:
2
Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope CurrentUser
3
Invoke-RestMethod -Uri https://get.scoop.sh | Invoke-Expression
4
$username = (Get-ChildItem Env:USERNAME).Value; Set-Location "C:\Users\$username\Downloads\picture_backup";
5
scoop update
6
scoop install libwebp
7
scoop install ffmpeg

ffmpeg#

「ffmpeg」は、メディアファイルを別のメディアファイルに変換するパッケージです。かなり昔から使われているみたいです。

FFmpeg

gif2webp#

「gif2webp」は、Google公式の「libwebp」の機能群の一部のパッケージです。GIFアニメーションからWebpアニメーションを生成することが出来ます。

gif2webp | WebP | Google for Developers

Steam コミュニティ :: Steam Web API ドキュメント

今回使う動画素材#

そしてちなみに、今回変換に使ったmp4の動画は、以前にアズールレーン公式がX（旧Twitter）から表現内容を修正するように依頼されたプロモーション動画をスクリーン録画したものです。動画だとちょっと重いので冒頭のスクショだけ。

変換結果のまとめ#

今回色々試した結果が以下の表になります。

No	変換用コマンド	元ファイル	変換後の拡張子	変換後のサイズ(MB)	画質	フレーム
1	-	mp4動画 (1920x1080, 60fps)	mp4	89	そのまま
2	`ffmpeg -i "$srcMovieAbsName" -vf split[s0][s1];[s0]palettegen[p];[s1][p]paletteuse -r 60 -loop 0 $dstMovieAbsName;`	mp4動画 (1920x1080, 60fps)	gif	1,413	劣化なし。	再生速度が遅い。
3	`ffmpeg -i "$srcMovieAbsName" -vf split[s0][s1];[s0]palettegen[p];[s1][p]paletteuse -r 30 -loop 0 $dstMovieAbsName;`	mp4動画 (1920x1080, 60fps)	gif	767	劣化なし。	変わらない。
4	`ffmpeg -i "$srcMovieAbsName" -vf scale=1920:-1 -r 60 -loop 0 $dstMovieAbsName;`	mp4動画 (1920x1080, 60fps)	gif	341	少し劣化する。	再生速度が遅い。
5	`ffmpeg -i "$srcMovieAbsName" -vf scale=1920:-1 -r 30 -loop 0 $dstMovieAbsName;`	mp4動画 (1920x1080, 60fps)	gif	276	少し劣化する。	変わらない。
6	`ffmpeg -i "$srcMovieAbsName" -vf scale=1080:-1 -r 30 -loop 0 $dstMovieAbsName;`	mp4動画 (1920x1080, 60fps)	gif	93	劣化する。	変わらない。
7	`ffmpeg -i "$srcMovieAbsName" -vf split[s0][s1];[s0]palettegen[p];[s1][p]paletteuse -r 60 -loop 0 $dstMovieAbsName;`	mp4動画 (1920x1080, 60fps)	webp	223	少し劣化する。	抜けるフレームが散見された。
8	`ffmpeg -i "$srcMovieAbsName" -vf scale=1920:-1 -r 60 -loop 0 $dstMovieAbsName;`	mp4動画 (1920x1080, 60fps)	webp	72	かなり劣化する。アーティファクトが残ってしまう。	変わらない。
9	`gif2webp "$srcMovieAbsName" -o $dstMovieAbsName`	3のGIF	webp	576	劣化なし。	抜けるフレームがあった。
10	`gif2webp "$srcMovieAbsName" -o $dstMovieAbsName -kmin 9 -kmax 17`	3のGIF	webp	576	劣化なし。	抜けるフレームがあった。
11	`gif2webp "$srcMovieAbsName" -o $dstMovieAbsName -kmin 6 -kmax 13`	3のGIF	webp	575	劣化なし。	抜けるフレームがあった。
12	`gif2webp "$srcMovieAbsName" -o $dstMovieAbsName -kmin 3 -kmax 5`	3のGIF	webp	566	劣化なし。	抜けるフレームがあった。
13	`gif2webp "$srcMovieAbsName" -o $dstMovieAbsName`	2のGIF	webp	1,101	劣化なし。	再生速度が遅い。
14	`gif2webp "$srcMovieAbsName" -o $dstMovieAbsName -kmin 3 -kmax 5`	2のGIF	webp	1083	ほぼ劣化なし。	再生速度が遅い。
15	`gif2webp "$srcMovieAbsName" -o $dstMovieAbsName`	4のGIF	webp	285	劣化する。	再生速度が遅い。
16	`gif2webp "$srcMovieAbsName" -o $dstMovieAbsName`	5のGIF	webp	220	少し劣化する。	抜けるフレームがあった。
17	`gif2webp "$srcMovieAbsName" -o $dstMovieAbsName -kmax 0`	2のGIF	webp	1,111	劣化なし。	再生速度が遅い。
18	`gif2webp "$srcMovieAbsName" -o $dstMovieAbsName -kmax 1`	2のGIF	webp	1,015	劣化なし。	再生速度が遅い。
19	`gif2webp "$srcMovieAbsName" -o $dstMovieAbsName -kmax 0`	3のGIF	webp	582	劣化なし。	抜けるフレームが散見された。
20	`gif2webp "$srcMovieAbsName" -o $dstMovieAbsName -kmax 1`	3のGIF	webp	508	劣化なし。	抜けるフレームが散見された。
21	`ffmpeg -i "$srcMovieAbsName" -lavfi "scale=1920:-1,setpts=PTS/2" -r 60 -loop 0 $dstMovieAbsName;`	mp4動画 (1920x1080, 60fps)	gif	277	少し劣化する。	変わらない。
22	`ffmpeg -i "$srcMovieAbsName" -lavfi "split[s0][s1];[s0]palettegen[p];[s1][p]paletteuse,setpts=PTS/2" -r 60 -loop 0 $dstMovieAbsName;`	mp4動画 (1920x1080, 60fps)	gif	768	劣化なし。	少し遅い？コンマ秒レベル。
23	`gif2webp "$srcMovieAbsName" -o $dstMovieAbsName -kmax 1`	22のGIF	webp	508	劣化なし。	少し遅い？コンマ秒レベル。
24	`ffmpeg -i "$srcMovieAbsName" -vf split[s0][s1];[s0]palettegen[p];[s1][p]paletteuse -r 60 -loop 0 $dstMovieAbsName;`	22のGIF	webp	エラーになる	エラーになる	エラーになる
25	`ffmpeg -i "$srcMovieAbsName" -lavfi split[s0][s1];[s0]palettegen[p];[s1][p]paletteuse -r 60 -loop 0 $dstMovieAbsName;`	22のGIF	webp	エラーになる	エラーになる	エラーになる
26	`$itsScale = "[float](1 / 2)"; ffmpeg -i "$srcMovieAbsName" -vf scale=1920:-1 -r 60 -loop 0 $dstMovieAbsName -itsscale $itsScale`	mp4動画 (1920x1080, 60fps)	gif	341	劣化なし。	再生速度が遅い。（なぜだ。）
27	`$itsScale = "[float](1 / 2)"; ffmpeg -i "$srcMovieAbsName" -vf scale=1920:-1 -r 60 -loop 0 $dstMovieAbsName -itsscale $itsScale`	mp4動画 (1920x1080, 60fps)	webp	72	かなり劣化する。アーティファクトが残ってしまう。	抜けるフレームがあった。再生速度は変わらない。（なぜだ。）

上記の表を踏まえて、以下の所感を得ました。

同じアスペクト比で幅が半分以下になる画質かつノイズが入るのを許容できないのであれば、MP4からGIFへの変換はオススメじゃない。
GIFアニメーションからWebpアニメーションに変換すると、画質を落とさずにファイルサイズを減らせる。

ffmpeg#

ffmpegでは、mp4ファイルをgifもしくはwebpに変換することが可能です。そして、フィールドに対する設定値の詳細は以下の通りです。

基本的に、vfフィールドにsplit[s0][s1];[s0]palettegen[p];[s1][p]paletteuseを指定すると変換時間が長くなりサイズが大きくなる。その代わり、画質の劣化が発生しない。（この指定の仕方は「グローバルパレット」と呼ぶらしい。）
vfフィールドにscale=1920:-1を指定すると、アスペクト比を変えずに幅の値を変えることが出来る。そして、変換時間が短くなりサイズを減らせるが、画質の劣化が発生する。
lavfiフィールドにsetpts=PTS/2という風に指定すると、出力されるGIFを2倍速に出来る。
ちなみに、itsscaleフィールドで倍速指定しても、なぜか倍速にならなかった。「$itsScale = “[float](1 / 2)”; ffmpeg -i "$srcMovieAbsName" -vf $vfStr -r $fps -loop $loop $dstMovieAbsName -itsscale $itsScale」という風に指定したのだが。（26の記録）

同じアスペクト比で動画の幅を半分にすれば、元の動画よりも少ないサイズに出来そうです。しかし、そうなると変換後の方がサイズに対する画質のコスパが悪いですね・・・。

gif2webp#

gif2webpでは、gifファイルをwebpに変換することが可能です。ffmpegで少ない欠損で変換したgifを変換しました。そして、フィールドに対する設定値の詳細は以下の通りです。 -kminフィールドおよび-kmaxフィールドの詳細を公式リファレンスから抜粋して、llama-3.1-nemotron-70b-instructに和訳してもらいました。

Note

出力アニメーションの中で、連続するキーフレーム（独立してデコード可能なフレーム）間の最小距離と最大距離を指定します。ツールは、必要に応じて出力アニメーションにいくつかのキーフレームを挿入して、この基準を満たします。 kmax = 0 の場合、キーフレームの挿入がオフになります。kmax = 1 の場合、すべてのフレームがキーフレームになります。これらの特殊なケースでは、kmin の値は考慮されません。典型的な値は、3 - 30 の範囲です。デフォルト値は、無損失圧縮の場合 kmin = 9、kmax = 17、有損圧縮の場合 kmin = 3、kmax = 5 です。これら 2 つのオプションは、フレーム数が多い (>50) アニメーション画像にのみ関連します。より低い値を使用すると、より多くのフレームがキーフレームに変換されます。これにより、平均してフレームをデコードするために必要なフレーム数が少なくなる可能性があり、デコード性能が向上する可能性があります。しかし、ファイルサイズがわずかに大きくなる可能性があります。より高い値を使用すると、デコード性能が低下する可能性がありますが、ファイルサイズが小さくなる可能性があります。

kmin = 9、kmax = 17で変換すると無損失圧縮になり、kmin = 3、kmax = 5で変換すると有損圧縮になるみたいですね。しかし、個人的にはあまり画質に変わりはなかったので、どちらかというとkmin = 3、kmax = 5の方が良いでしょうか。また、-kmax 1の方が-kmax 0より少しだけサイズを減らせます。その二者間の画質の違いにもあまり差はありません。

まとめ#

今回は、ffmpegとgif2webpを使って、.mp4ファイルから.gifもしくは.webpの拡張子に変換して、サイズを減らす試みでした。 ffmpegのリファレンスはここにあります。さらに詳細に設定できるかもしれません。

ffmpeg.org

ffmpeg Documentation

ffmpeg.org

音声をサポートしていない拡張子に変換すればファイルサイズを減らせると思ったのですが、そういうことでもありませんでした。ムズカシイですねぇ。

おしまい#

リサちゃん

あんまり減らせないかあ

135ml

難しかったか・・・。

以上になります！

【Python】Steam Web API Keyを発行して、そこから最近遊んだゲームを可視化する

Mon, 16 Dec 2024 00:00:00 GMT

はじまり#

リサちゃん

さて、今までどんなゲームを遊んだかなあ。

ペンギン

Pythonでデータを可視化でございますか。

PythonからSteamの情報を覗く。#

なんか最近、Pythonを再び触り始めたので、今回は少し趣向を変えてやっていこうと思います。

そこで今回は、自分のSteamアカウントに紐付いている情報を引っ張ってきて、そのデータを何らかのグラフというかチャートの形でプロットしていきたいと思います。

steamcommunity.com

steamcommunity.com

まあでも最近あんまりゲームしていないんで見栄えの良いグラフになるかが不安です・・・。それじゃあ行ってみましょう。

今回使うパッケージ#

Pythonのバージョンは、3.12です。

今回は、Steam Web APIを直接叩くのではなく、PyPIにあるpython-steam-apiパッケージを使って、Steamの情報を抜き出していきたいと思います。このパッケージは、「Steam Web API」という公式APIを叩くためのラッパーのようなものです。

このパッケージ、リファレンスは見つけられなかったのですが、パッケージの使用例の部分が沢山書いてあるので、リファレンスを見る必要はないかなと思いました。気になったところはレスポンスをもう少し深く見れば良いし。豊富なドキュメントで助かります。

pypi.org

Client Challenge

pypi.org

可視化するためのパッケージとしては、matplotlibの結果をFastAPIとPanelで表示する感じで行きます。

Overview — Panel v1.9.1

Logicool G ゲーミングキーボード G515 LIGHTSPEED TKL 薄型ワイヤレステンキーレスキーボード G515-WL-TCBK タクタイル茶軸確かな打鍵感日本語配列 LIGHTSPEED Bluetooth 接続対応 LIGHTSYNC RGB ブラック PC 国内正規品amzn.to

Steam Web API Keyを生成する。#

Steam Web APIを叩くために、API Keyを生成します。

まずは、Steamアプリを自分のスマホにインストールしてログインして、「Steamガードモバイル認証」をオンにする必要があります。ここの手順は省略します。

そしたら、このページからSteam Web API Keyを生成できます。

そのページで、ドメイン名を入力して、「Steam Web API利用規約に同意します」にチェックを入れて、「登録」します。

すると、「確認が必要です（Confirmation Required）」という文言が表示されるます。

そしたら次に、自分のスマホのSteamアプリを開きます。そしたら、画面下部のメニューバーから一番右の「縦並びの3本の横線」ボタンをタップして、Confirmationsをタップします。

Confirmationsをタップすると、先程のSteam Web API Keyを生成するためのページからのリクエストが届いているので、これをConfirmします。

そして、PCのページの方を確認すると、Steam Web API Keyが生成されました。生成したキーはこのページで確認することができます。

Steamの情報を取得する。#

ユーザーの情報を取得する。#

それでは、先程生成したSteam Web API Keyでpython-steam-apiパッケージを使っていきます。ちなみに、Steam Web APIから情報を取得する対象のSteamアカウントは、外部へと公開している設定になっている必要があります。

こっちのパッケージの方が、Steam Web APIから直接叩くよりもレスポンスの内容が整理されていて助かります。

まずは、python-steam-apiパッケージをインストールします。

Terminal window

1
pip install python-steam-api

そしたら最初に、ユーザーの基本情報を取得していきます。

1
import os
2
from pprint import pprint
3

4
from steam_web_api import Steam
5

6
STEAM_API_KEY = os.environ.get("STEAM_API_KEY")
7
steam = Steam(STEAM_API_KEY)
8

9
user = steam.users.search_user("the12thchairman")
10
pprint(user)

レスポンスが取得できました。アバター画像やら最後にログオフした日時などが取れました。クランの概念を今まで知らなかった・・・。

1
{'player': {'avatar': 'https://avatars.steamstatic.com/427ef7d5f8ad7b21678f69bc8afc95786cf38fe6.jpg',
2
  'avatarfull': 'https://avatars.steamstatic.com/427ef7d5f8ad7b21678f69bc8afc95786cf38fe6_full.jpg',
3
  'avatarhash': '427ef7d5f8ad7b21678f69bc8afc95786cf38fe6',
4
  'avatarmedium': 'https://avatars.steamstatic.com/427ef7d5f8ad7b21678f69bc8afc95786cf38fe6_medium.jpg',
5
  'communityvisibilitystate': 3,
6
  'loccountrycode': 'US',
7
  'personaname': 'The12thChairman',
8
  'personastate': 0,
9
  'personastateflags': 0,
10
  'primaryclanid': '103582791429521408',
11
  'profilestate': 1,
12
  'profileurl': 'https://steamcommunity.com/id/the12thchairman/',
13
  'steamid': '76561198995017863',
14
  'timecreated': 1570311509}
15
}

展開する折りたたむ

次に、steamidからユーザー情報を紐づけていきます。

1
import os
2
from pprint import pprint
3

4
from steam_web_api import Steam
5

6
STEAM_API_KEY = os.environ.get("STEAM_API_KEY")
7
steam = Steam(STEAM_API_KEY)
8

9
STEAM_ID = os.environ.get("MY_STEAM_ID")
10
user = steam.users.get_user_details(STEAM_ID)
11
pprint(user)

同様に、ユーザー情報に関するレスポンスが取得できました。

1
{'player': {'avatar': 'https://avatars.steamstatic.com/d7fee5bba9e4a5aaacff74551c145d58289041df.jpg',
2
    'avatarfull': 'https://avatars.steamstatic.com/d7fee5bba9e4a5aaacff74551c145d58289041df_full.jpg',
3
    'avatarhash': 'd7fee5bba9e4a5aaacff74551c145d58289041df',
4
    'avatarmedium': 'https://avatars.steamstatic.com/d7fee5bba9e4a5aaacff74551c145d58289041df_medium.jpg',
5
    'communityvisibilitystate': 3,
6
    'lastlogoff': 1733937104,
7
    'loccountrycode': 'JP',
8
    'locstatecode': '40',
9
    'personaname': 'kinkinbeer135ml',
10
    'personastate': 1,
11
    'personastateflags': 0,
12
    'primaryclanid': '103582791429521408',
13
    'profilestate': 1,
14
    'profileurl': 'https://steamcommunity.com/id/kinkingame24bit/',
15
    'steamid': 'XXXXXXXXXXXXXXXXXX',
16
    'timecreated': 1540612096}}

展開する折りたたむ

そのSteamアカウントのフレンド一覧を取得することも可能です。フィールドの数が煩雑になってきたのでpydanticで型安全を担保します。（レスポンスの内容は省略します。）

src/config.py:

1
import os
2

3
def get_env_variable(key: str) -> str:
4
    # return os.environ[key]
5
    return os.getenv(key)
6

7
def get_steam_api_key():
8
    return get_env_variable("STEAM_API_KEY")
9

10
def get_my_steam_id():
11
    return get_env_variable("MY_STEAM_ID")

src/steam.py:

1
import os
2
from pprint import pprint
3
from typing import List, Optional
4
from pydantic import BaseModel, HttpUrl
5
import inspect
6

7
from steam_web_api import Steam
8
# Local packages
9
import config as cfg
10

11
class SteamPlayerProfile(BaseModel):
12
    avatar: HttpUrl
13
    avatarfull: HttpUrl
14
    avatarhash: str
15
    avatarmedium: HttpUrl
16
    communityvisibilitystate: int
17
    personaname: str
18
    personastate: int
19
    personastateflags: int
20
    primaryclanid: str
21
    profilestate: int
22
    profileurl: HttpUrl
23
    steamid: str
24
    timecreated: int
25

26
class SteamFriendProfile(SteamPlayerProfile):
27
    friend_since: int
28
    relationship: str
29

30
def get_steam_client() -> Steam:
31
    return Steam(cfg.get_steam_api_key())
32

33
def retrieve_user(steam: Steam, steam_id: str) -> SteamPlayerProfile:
34
    pprint(f"{func_name}: start retrieving steam player info")
35
    user = steam.users.get_user_details(steam_id)
36
    steam_profile = SteamPlayerProfile(**user["player"])
37

38
    func_name = inspect.currentframe().f_code.co_name
39
    pprint(f"{func_name}: finish retrieving steam player info")
40
    pprint(steam_profile)
41
    return steam_profile
42

43
def retrieve_friends(steam: Steam, steam_id: str)-> List[SteamPlayerProfile]:
44
    pprint(f"{func_name}: start retrieving steam friends info")
45
    user = steam.users.get_user_friends_list(steam_id)
46
    def to_profile_class(profile: dict) -> SteamFriendProfile:
47
        return SteamFriendProfile(**profile)
48
    steam_profiles = list(map(to_profile_class, user["friends"]))
49

50
    func_name = inspect.currentframe().f_code.co_name
51
    pprint(f"{func_name}: finish retrieving steam friends info")
52
    pprint(steam_profiles)
53
    return steam_profiles
54

55
if __name__ == "__main__":
56
    steam = get_steam_client()
57
    STEAM_ID = cfg.get_my_steam_id()
58
    user = retrieve_user(steam, STEAM_ID)
59
    friends = retrieve_friends(steam, STEAM_ID)

展開する折りたたむ

ゲームの情報を取得する。#

そしたら次に、ユーザーが所持しているゲームの一覧を取得してみます。加えて、先程のようにPydanticベースのクラスで型検証して、デコレータで関数の実行部分の可視化もします。

1
from pprint import pprint
2
from typing import List, Optional
3
from pydantic import BaseModel, HttpUrl
4
from functools import wraps
5

6
def function_decorator(func):
7
    @wraps(func)
8
    def wrapTheFunction(*args, **kwargs):
9
        pprint(f"{func.__name__}(): start executing...")
10
        result = func(*args, **kwargs)
11
        # print(f"I am doing some bullshit before executing func.__name__()")
12
        pprint(f"{func.__name__}(): finish executing.")
13

14
        return result
15

16
    return wrapTheFunction
17

18
class SteamGameProfile(BaseModel):
19
    appid: int
20
    img_icon_url: str
21
    name: str
22
    playtime_2weeks: Optional[int] = None
23
    playtime_deck_forever: int
24
    playtime_disconnected: int
25
    playtime_forever: int
26
    playtime_linux_forever: int
27
    playtime_mac_forever: int
28
    playtime_windows_forever: int
29
    rtime_last_played: int
30

31
@function_decorator
32
def retrieve_owned_games(steam: Steam, steam_id: str):
33
    res = steam.users.get_owned_games(steam_id)
34
    def to_profile_class(profile: dict) -> SteamGameProfile:
35
        return SteamGameProfile(**profile)
36
    steam_games = list(map(to_profile_class, res["games"]))
37
    pprint(steam_games)
38
    pprint(res["game_count"])
39
    pprint(len(steam_games))
40
    return steam_games
41

42
if __name__ == "__main__":
43
    steam = get_steam_client()
44
    STEAM_ID = cfg.get_my_steam_id()
45
    games = retrieve_owned_games(steam, STEAM_ID)

展開する折りたたむ

実行すると色々とゲームに関する情報を取得できました。2週間以内に起動されたゲームだけには、"playtime_2weeks"というフィールドがありました。PydanticではそのフィールドだけオプショナルでNoneに設定しています。

1
'retrieve_owned_games(): start executing...'
2
[SteamGameProfile(appid=400, img_icon_url='cfa928ab4119dd137e50d728e8fe703e4e970aff', name='Portal', playtime_2weeks=None, playtime_deck_forever=0, playtime_disconnected=0, playtime_forever=205, playtime_linux_forever=0, playtime_mac_forever=0, playtime_windows_forever=205, rtime_last_played=1691772949),
3
 SteamGameProfile(appid=40100, img_icon_url='96e22cb9c9b063c9f0398f248fef850a679ced5a', name='Supreme Commander 2', playtime_2weeks=None, playtime_deck_forever=0, playtime_disconnected=0, playtime_forever=0, playtime_linux_forever=0, playtime_mac_forever=0, playtime_windows_forever=0, rtime_last_played=0),
4
 SteamGameProfile(appid=620, img_icon_url='2e478fc6874d06ae5baf0d147f6f21203291aa02', name='Portal 2', playtime_2weeks=None, playtime_deck_forever=0, playtime_disconnected=0, playtime_forever=2, playtime_linux_forever=0, playtime_mac_forever=0, playtime_windows_forever=2, rtime_last_played=1696106875),
5

6
...
7

8
 SteamGameProfile(appid=1601580, img_icon_url='5e66161686d4e2503a8a42aab9e8bc1c46c68fc1', name='Frostpunk 2', playtime_2weeks=None, playtime_deck_forever=0, playtime_disconnected=0, playtime_forever=1569, playtime_linux_forever=0, playtime_mac_forever=0, playtime_windows_forever=1569, rtime_last_played=1727178622),
9
 SteamGameProfile(appid=983870, img_icon_url='8fe2f591098d69505dab3154c7397ca2f7594bc2', name='FOUNDRY', playtime_2weeks=None, playtime_deck_forever=0, playtime_disconnected=0, playtime_forever=0, playtime_linux_forever=0, playtime_mac_forever=0, playtime_windows_forever=0, rtime_last_played=0),
10
 SteamGameProfile(appid=2854710, img_icon_url='4f408e9f135d7d2d117af3697c7f1a4bfaf10771', name='Chocolate Factory', playtime_2weeks=4, playtime_deck_forever=0, playtime_disconnected=0, playtime_forever=2017, playtime_linux_forever=0, playtime_mac_forever=0, playtime_windows_forever=2017, rtime_last_played=1733042847)]
11
185
12
185
13
'retrieve_owned_games(): finish executing.'

それではそのゲームで自分が積み重ねたstatsやachievementsを確認してみます。

1
class Achievement(BaseModel):
2
    achieved: int
3
    name: str
4

5
class Stat(BaseModel):
6
    name: str
7
    value: int
8

9
class SteamGameData(BaseModel):
10
    achievements: Optional[List[Achievement]] = None
11
    gameName: str
12
    stats: Optional[List[Stat]] = None
13
    steamID: str
14

15
@function_decorator
16
def retrieve_game_data(steam: Steam, steam_id: str, app_id: int):
17
    game_data = None
18
    try:
19
        res = steam.apps.get_user_stats(steam_id, app_id)
20
        game_data = SteamGameData(**res["playerstats"])
21
    except Exception as e:
22
        pprint(e.args[0])
23
        if "400 Bad Request" not in e.args[0]:
24
            raise e.args[0] # Raise content of exception.
25
        pass
26
    pprint(game_data)
27
    return game_data
28

29
if __name__ == "__main__":
30
    steam = get_steam_client()
31
    STEAM_ID = cfg.get_my_steam_id()
32

33
    game_data = retrieve_game_data(steam, STEAM_ID, 1888160)
34
    print("\n")
35
    game_data = retrieve_game_data(steam, STEAM_ID, 1259790)
36
    print("\n")
37
    game_data = retrieve_game_data(steam, STEAM_ID, 2854710)

展開する折りたたむ

statsフィールドだけ無いゲームや、statsフィールドとachievementsフィールドの両方とも無いのでリクエストすると例外が発生するゲームもあります。なので、レスポンスで400 Bad Requestが返ってくる場合にはNoneとすることにしました。

個人的に、テトリスのstatsは見てみたかったですね。

1
'retrieve_game_data(): start executing…'
2
SteamGameData(achievements=[Achievement(achieved=1, name='ACH02'), Achievement(achieved=1, name='ACH03'), Achievement(achieved=1, name='ACH04'), Achievement(achieved=1, name='ACH05'), Achievement(achieved=1, name='ACH06'), Achievement(achieved=1, name='ACH07'), Achievement(achieved=1, name='ACH08'), Achievement(achieved=1, name='ACH09'), Achievement(achieved=1, name='ACH10'), Achievement(achieved=1, name='ACH11'), Achievement(achieved=1, name='ACH12'), Achievement(achieved=1, name='ACH13'), Achievement(achieved=1, name='ACH14'), Achievement(achieved=1, name='ACH15'), Achievement(achieved=1, name='ACH16'), Achievement(achieved=1, name='ACH17'), Achievement(achieved=1, name='ACH18'), Achievement(achieved=1, name='ACH19'), Achievement(achieved=1, name='ACH20'), Achievement(achieved=1, name='ACH21'), Achievement(achieved=1, name='ACH22'), Achievement(achieved=1, name='ACH23'), Achievement(achieved=1, name='ACH24'), Achievement(achieved=1, name='ACH25'), Achievement(achieved=1, name='ACH26'), Achievement(achieved=1, name='ACH27'), Achievement(achieved=1, name='ACH28'), Achievement(achieved=1, name='ACH29')], gameName='ARMORED CORE VI FIRES OF RUBICON', stats=None, steamID='XXXXXXXXXXXXX')
3
'retrieve_game_data(): finish executing.'
4
'retrieve_game_data(): start executing…'
5
SteamGameData(achievements=[Achievement(achieved=1, name='ID_02_WonKnockoutPast03'), Achievement(achieved=1, name='ID_03_WonKnockoutPast05'), Achievement(achieved=1, name='ID_04_WonKnockoutPast10'), Achievement(achieved=1, name='ID_29_TetoMinoErase1000'), Achievement(achieved=1, name='ID_30_TetoMinoErase10000'), Achievement(achieved=1, name='ID_31_TetoTETRISx50'), Achievement(achieved=1, name='ID_32_TetoTETRISx100'), Achievement(achieved=1, name='ID_33_TetoB2Bx25'), Achievement(achieved=1, name='ID_34_TetoB2Bx50'), Achievement(achieved=1, name='ID_35_Teto5REN'), Achievement(achieved=1, name='ID_36_Teto8REN'), Achievement(achieved=1, name='ID_37_TetoPERFECT1'), Achievement(achieved=1, name='ID_38_TetoPERFECT3'), Achievement(achieved=1, name='ID_39_TetoMinoErase50000'), Achievement(achieved=1, name='ID_40_TetoTETRISx200'), Achievement(achieved=1, name='ID_41_TetoB2Bx100'), Achievement(achieved=1, name='ID_42_TetoMinoErase100000')], gameName='Tenpex', stats=[Stat(name='stat_knockoutPastMaxCount', value=14), Stat(name='stat_adventureAchivement', value=1), Stat(name='stat_puyoEraseCount', value=327), Stat(name='stat_puyoChain3Count', value=3), Stat(name='stat_puyoChain4Count', value=2), Stat(name='stat_puyoChain5Count', value=1), Stat(name='stat_puyoAllEraseCount', value=1), Stat(name='stat_tetoMinoEraseCount', value=855830), Stat(name='stat_tetoTetrisCount', value=3533), Stat(name='stat_tetoB2BCount', value=2832), Stat(name='stat_tetoRENMaxValue', value=8), Stat(name='stat_tetoPerfectCount', value=216), Stat(name='stat_sVS', value=1728), Stat(name='stat_sSWAP', value=6), Stat(name='stat_sMIX', value=4), Stat(name='stat_sMARATHON', value=1542)], steamID='XXXXXXXXXXX')
6
'retrieve_game_data(): finish executing.'
7
'retrieve_game_data(): start executing…'
8
'400 Bad Request {}'
9
None
10
'retrieve_game_data(): finish executing.'

steam.apps.get_user_achievements("<steam_id>", "<app_id>")と検索することで、achievementsのみを取得することも可能みたいです。

1
class Achievement(BaseModel):
2
    achieved: int
3
    apiname: str
4
    description: str
5
    name: str
6
    unlocktime: int
7

8
class SteamGameAchievements(BaseModel):
9
    achievements: List[Achievement]
10
    gameName: str
11
    steamID: str
12
    success: bool
13

14
@function_decorator
15
def retrieve_achievements(steam: Steam, steam_id: str, app_id: int):
16
    achievements = None
17
    try:
18
        res = steam.apps.get_user_achievements(steam_id, app_id)
19
        achievements = SteamGameAchievements(**res["playerstats"])
20
    except Exception as e:
21
        pprint(e.args[0])
22
        if "400 Bad Request" not in e.args[0]:
23
            raise e.args[0] # Raise content of exception.
24
        pass
25
    pprint(achievements)
26
    return achievements
27

28
if __name__ == "__main__":
29
    steam = get_steam_client()
30
    STEAM_ID = cfg.get_my_steam_id()
31

32
    achievements = retrieve_achievements(steam, STEAM_ID, 1888160)
33
    achievements = retrieve_achievements(steam, STEAM_ID, 1259790)
34
    achievements = retrieve_achievements(steam, STEAM_ID, 2854710)

展開する折りたたむ

steam.apps.get_user_achievements("<steam_id>", "<app_id>")と検索する方が、achievementに関する情報がより詳細に格納されています。

1
'retrieve_achievements(): start executing…'
2
SteamGameAchievements(achievements=[Achievement(achieved=0, apiname='ACH00', description='Unlocked all achievements.', name='Armored Core', unlocktime=0), Achievement(achieved=0, apiname='ACH01', description='', name='The Perfect Mercenary', unlocktime=0), Achievement(achieved=1, apiname='ACH02', description='', name='Stargazer', unlocktime=1696261035), Achievement(achieved=1, apiname='ACH03', description='', name='Master of Arena', unlocktime=1695489096), Achievement(achieved=1, apiname='ACH04', description='', name='Asset Holder', unlocktime=1695996405), Achievement(achieved=1, apiname='ACH05', description='', name='Tuning Expert', unlocktime=1697118086), Achievement(achieved=1, apiname='ACH06', description='', name='The Fires of Raven', unlocktime=1694797344), Achievement(achieved=1, apiname='ACH07', description='', name='Liberator of Rubicon', unlocktime=1695064984), Achievement(achieved=1, apiname='ACH08', description='', name='Alea Iacta Est', unlocktime=1696261035), Achievement(achieved=1, apiname='ACH09', description='', name='Weapon Collector', unlocktime=1695996404), Achievement(achieved=1, apiname='ACH10', description='', name='External Parts Collector', unlocktime=1695996378), Achievement(achieved=1, apiname='ACH11', description='', name='Internal Parts Collector', unlocktime=1695996392), Achievement(achieved=1, apiname='ACH12', description='', name='Expansion Collector', unlocktime=1695104565), Achievement(achieved=1, apiname='ACH13', description='', name='Combat Log Collector', unlocktime=1695576602), Achievement(achieved=1, apiname='ACH14', description='', name='Data Log Collector', unlocktime=1693499027), Achievement(achieved=1, apiname='ACH15', description='', name='Testing Complete', unlocktime=1694468979), Achievement(achieved=1, apiname='ACH16', description='', name='Illegal Entry', unlocktime=1693148748), Achievement(achieved=1, apiname='ACH17', description='', name='Operation Wallclimber', unlocktime=1693497884), Achievement(achieved=1, apiname='ACH18', description='', name='Contact', unlocktime=1693516862), Achievement(achieved=1, apiname='ACH19', description='', name='Ocean Crossing', unlocktime=1693772650), Achievement(achieved=1, apiname='ACH20', description='', name='A New Threat', unlocktime=1694181014), Achievement(achieved=1, apiname='ACH21', description='', name='Ayre and the Coral', unlocktime=1694185005), Achievement(achieved=1, apiname='ACH22', description='', name='Into Unknown Territory', unlocktime=1694448640), Achievement(achieved=1, apiname='ACH23', description='', name='Re-education', unlocktime=1694620467), Achievement(achieved=1, apiname='ACH24', description='', name='The Floating City', unlocktime=1694623817), Achievement(achieved=1, apiname='ACH25', description='', name='MIA', unlocktime=1695570379), Achievement(achieved=1, apiname='ACH26', description='', name='Training Complete', unlocktime=1694113205), Achievement(achieved=1, apiname='ACH27', description='Assembled an AC.', name='Hardware Engineer', unlocktime=1693232881), Achievement(achieved=1, apiname='ACH28', description="Upgraded your AC's OS.", name='Software Engineer', unlocktime=1693499667), Achievement(achieved=1, apiname='ACH29', description='Changed the coloration of your AC.', name='Graphic Designer', unlocktime=1693149176)], gameName='ARMORED CORE™ VI FIRES OF RUBICON™', steamID='XXXXXXXXXXXXXXXXXXX', success=True)
3
'retrieve_achievements(): finish executing.'
4
'retrieve_achievements(): start executing…'
5
SteamGameAchievements(achievements=[Achievement(achieved=0, apiname='ID_01_AllRulePlayed', description='Played all 6 offline modes', name='Competitor', unlocktime=0), Achievement(achieved=1, apiname='ID_02_WonKnockoutPast03', description='Defeated 3 opponents in an Endurance match', name='Duelist (x3)', unlocktime=1691515720), Achievement(achieved=1, apiname='ID_03_WonKnockoutPast05', description='Defeated 5 opponents in an Endurance match', name='Duelist (x5)', unlocktime=1691515720), Achievement(achieved=1, apiname='ID_04_WonKnockoutPast10', description='Defeated 10 opponents in an Endurance match', name='Duelist (x10)', unlocktime=1691517402), Achievement(achieved=0, apiname='ID_05_AllTokoPuyoRulePlayed', description='Played all 3 Puyo Puyo Challenge modes', name='Competitor (Puyo Puyo)', unlocktime=0), Achievement(achieved=0, apiname='ID_06_AllTokoTetoRulePlayed', description='Played all 3 Tetris Challenge modes', name='Competitor (Tetris)', unlocktime=0), Achievement(achieved=0, apiname='ID_07_ClearAdventure', description='Completed the main story within Adventure mode and watched the ending', name='Historian', unlocktime=0), Achievement(achieved=0, apiname='ID_08_WonLeagueMatch01', description='Won your first Puzzle League match', name='Gladiator (x1)', unlocktime=0), Achievement(achieved=0, apiname='ID_09_WonClubMatch', description='Won your first Free Play match', name='Prize Fighter', unlocktime=0), Achievement(achieved=0, apiname='ID_10_AdventureAchievement50', description='Achieved 50% completion in Adventure mode', name='Wanderer', unlocktime=0), Achievement(achieved=0, apiname='ID_11_WonKnockoutPast15', description='Defeated 15 opponents in an Endurance match', name='Duelist (x15)', unlocktime=0), Achievement(achieved=0, apiname='ID_12_AdventureAchievement70', description='Achieved 70% completion in Adventure mode', name='Devotee', unlocktime=0), Achievement(achieved=0, apiname='ID_13_WonLeagueMatch10', description='Won ten Puzzle League matches', name='Gladiator (x10)', unlocktime=0), Achievement(achieved=0, apiname='ID_14_AdventureAchievement100', description='Achieved 100% completion in Adventure mode', name='Completionist', unlocktime=0), Achievement(achieved=0, apiname='ID_15_PuyoErase1000', description='Popped 1,000 Puyos in completed matches', name='Puyo King (x1,000)', unlocktime=0), Achievement(achieved=0, apiname='ID_16_PuyoErase10000', description='Popped 10,000 Puyos in completed matches', name='Puyo King (x10,000)', unlocktime=0), Achievement(achieved=0, apiname='ID_17_Puyo3Chain100', description='Performed a 3-Chain 100 times in completed matches', name='3-Chain Master', unlocktime=0), Achievement(achieved=0, apiname='ID_18_Puyo4Chain100', description='Performed a 4-Chain 100 times in completed matches', name='4-Chain Master', unlocktime=0), Achievement(achieved=0, apiname='ID_19_Puyo5Chain100', description='Performed a 5-Chain 100 times in completed matches', name='5-Chain Master', unlocktime=0), Achievement(achieved=0, apiname='ID_20_Puyo6Chain100', description='Performed a 6-Chain 100 times in completed matches', name='6-Chain Master', unlocktime=0), Achievement(achieved=0, apiname='ID_21_PuyoAllErase50', description='Performed an All Clear 50 times in completed matches.', name='Screen Cleaner (x50)', unlocktime=0), Achievement(achieved=0, apiname='ID_22_PuyoAllErase100', description='Performed an All Clear 100 times in completed matches', name='Screen Cleaner (x100)', unlocktime=0), Achievement(achieved=0, apiname='ID_23_Puyo3ColorErase', description='Cleared 3 different-colored Puyo groups simultaneously in a completed match', name='Chromatic Popper', unlocktime=0), Achievement(achieved=0, apiname='ID_24_Puyo4ColorErase', description='Cleared 4 different-colored Puyo groups simultaneously in a completed match', name='Prismatic Popper', unlocktime=0), Achievement(achieved=0, apiname='ID_25_PuyoErase50000', description='Popped 50,000 Puyos in completed matches', name='Puyo King (x50,000)', unlocktime=0), Achievement(achieved=0, apiname='ID_26_Puyo7Chain150', description='Performed a 7-Chain 150 times in completed matches', name='7-Chain Master', unlocktime=0), Achievement(achieved=0, apiname='ID_27_PuyoAllErase150', description='Performed an All Clear 150 times in completed matches', name='Screen Cleaner (x150)', unlocktime=0), Achievement(achieved=0, apiname='ID_28_PuyoErase100000', description='Popped 100,000 Puyos in completed matches', name='Puyo King (x100,000)', unlocktime=0), Achievement(achieved=1, apiname='ID_29_TetoMinoErase1000', description='Cleared 1,000 Minos in completed matches', name='Mino King (x1,000)', unlocktime=1688252641), Achievement(achieved=1, apiname='ID_30_TetoMinoErase10000', description='Cleared 10,000 Minos in completed matches', name='Mino King (x10,000)', unlocktime=1688292201), Achievement(achieved=1, apiname='ID_31_TetoTETRISx50', description='Performed a Tetris Line Clear 50 times in completed matches', name='Tetris Champ (x50)', unlocktime=1688254876), Achievement(achieved=1, apiname='ID_32_TetoTETRISx100', description='Performed a Tetris Line Clear 100 times in completed matches', name='Tetris Champ (x100)', unlocktime=1688291516), Achievement(achieved=1, apiname='ID_33_TetoB2Bx25', description='Performed a Back-to-Back 25 times in completed matches', name='Show Off (x25)', unlocktime=1688254876), Achievement(achieved=1, apiname='ID_34_TetoB2Bx50', description='Performed a Back-to-Back 50 times in completed matches', name='Show Off (x50)', unlocktime=1688292629), Achievement(achieved=1, apiname='ID_35_Teto5REN', description='Performed a 5-Combo in a completed match', name='Combo Maker', unlocktime=1688302367), Achievement(achieved=1, apiname='ID_36_Teto8REN', description='Performed an 8-Combo in a completed match', name='Combo Master', unlocktime=1688401629), Achievement(achieved=1, apiname='ID_37_TetoPERFECT1', description='Performed a Perfect Clear in a completed match', name='Perfectionist (x1)', unlocktime=1721329100), Achievement(achieved=1, apiname='ID_38_TetoPERFECT3', description='Performed a Perfect Clear 3 times in completed matches', name='Perfectionist (x3)', unlocktime=1721329241), Achievement(achieved=1, apiname='ID_39_TetoMinoErase50000', description='Cleared 50,000 Minos in completed matches', name='Mino King (x50,000)', unlocktime=1688324982), Achievement(achieved=1, apiname='ID_40_TetoTETRISx200', description='Performed a Tetris Line Clear 200 times in completed matches', name='Tetris Champ (x200)', unlocktime=1688297436), Achievement(achieved=1, apiname='ID_41_TetoB2Bx100', description='Performed a Back-to-Back 100 times in completed matches', name='Show Off (x100)', unlocktime=1688318590), Achievement(achieved=1, apiname='ID_42_TetoMinoErase100000', description='Cleared 100,000 Minos in completed matches', name='Mino King (x100,000)', unlocktime=1688456802), Achievement(achieved=0, apiname='ID_00_AllGet', description='For obtaining all trophies.', name='All Trophies Obtained', unlocktime=0)], gameName='Puyo Puyo™ Tetris® 2', steamID='XXXXXXXXXXXXXXXX', success=True)
6
'retrieve_achievements(): finish executing.'
7
'retrieve_achievements(): start executing…'
8
('400 Bad Request {"playerstats":{"error":"Requested app has no '
9
'stats","success":false}}')
10
None
11
'retrieve_achievements(): finish executing.'

Steamの情報を可視化する。#

それでは獲得したSteamの情報をWebページで表示できるようにしていきます。

まずは、FastAPIおよびPanelのパッケージをインストールします。

Terminal window

1
pip install FastAPI
2
pip install Panel[FastAPI]

app.pyでFastAPIのルーター的なものを実装して、panel_creator.pyで実際にSteamの情報を表示する処理を書いていきます。

src/app.py:

1
# Builtin packages
2
import os
3
# Third party packages
4
from fastapi import FastAPI
5
from panel.io.fastapi import add_applications
6
from fastapi.middleware.cors import CORSMiddleware
7
import uvicorn
8
# Local packages
9
import panel_creator
10

11
app = FastAPI()
12

13
origins = ["*"]
14
app.add_middleware(
15
    CORSMiddleware,
16
    allow_origins=origins,  # List of allowed origins
17
    allow_credentials=True,
18
    allow_methods=["*"],  # Allow all methods
19
    allow_headers=["*"],  # Allow all headers
20
)
21

22
@app.get("/")
23
async def read_root():
24
    return {"Hello": "World"}
25

26
@app.get("/steam")
27
async def read_steam():
28
    return {"Hello": "Steam"}
29

30
add_applications({
31
    "/pnl_app21": panel_creator.create_game_thumbnails()
32
}, app=app)
33

34
if __name__ == "__main__":
35
    uvicorn.run(app, host="0.0.0.0", port=int(os.environ.get("PORT", 8080)))

展開する折りたたむ

src/panel_creator.py:

1
# Builtin packages
2
from pprint import pprint
3
from typing import List
4
# Third party packages
5
import panel as pn
6
import numpy as np
7
import pandas as pd
8
import matplotlib.pyplot as plt
9
import matplotlib.figure
10
import datetime as dt
11
from bokeh.models import CustomJS, Slider
12
# Local packages
13
import steam
14
import config as cfg
15

16
pn.extension(comms="vscode")  # to use on VSCode
17

18
def create_game_thumbnails() -> pn.template.base.BaseTemplate.servable:
19
    steam_client = steam.get_steam_client()
20
    STEAM_ID = cfg.get_my_steam_id()
21
    games = steam.retrieve_owned_games(steam_client, STEAM_ID)
22

23
    dashboard = create_dashboard_with_html_header()
24
    def get_img_icon(game: steam.SteamGameProfile) -> pn.pane.image.Image:
25
        img_icon = f"https://avatars.akamai.steamstatic.com/{game.img_icon_url}_full.jpg"
26
        pn.pane.Image()
27
        return pn.pane.Image(img_icon, alt_text=f"{game.name}_icon", width=20, height=20)
28

29
    imgs = tuple(map(get_img_icon, games))
30
    NUMBER_OF_ICON_PER_ROW = 30
31
    def create_img_panels(elements: List[pn.pane.image.Image], number_of_icon_per_row: int) -> List[pn.layout.base.Row]:
32
        columns = []
33
        col = []
34
        for i, component in enumerate(elements):
35
            col.append(component)
36
            if (i + 1) % number_of_icon_per_row == 0:  # Create a new column per 30 components
37
                columns.append(pn.Row(*col, sizing_mode="scale_width"))
38
                col = []
39
        if col:  # Append rest components into the last column.
40
            columns.append(pn.Row(*col, sizing_mode="scale_width"))
41
        panels = pn.Column(*columns, sizing_mode="scale_width")
42
        return panels
43

44
    panels = create_img_panels(imgs, NUMBER_OF_ICON_PER_ROW)
45
    dashboard.main.append(pn.Column(*panels, sizing_mode="scale_width"))
46

47
    return dashboard.servable()
48

49
def create_dashboard_with_html_header() -> pn.template.material.MaterialTemplate:
50
    custom_header = """
51
    <link rel="icon" type="image/x-icon" href="./../static/favicon_08bit.ico">
52
    """
53

54
    # Create Panel template to append custom HTML
55
    dashboard = pn.template.MaterialTemplate(
56
        title="My Panel App",
57
        header=custom_header
58
    )
59
    return dashboard

展開する折りたたむ

ゲームのアイコンが一覧で取れるようになりました。

次に、src/panel_creator.py にサムネイルを一覧で取得するように実装します。

1
# Builtin packages
2
from pprint import pprint
3
from typing import List
4
# Third party packages
5
import panel as pn
6
import numpy as np
7
import pandas as pd
8
import matplotlib.pyplot as plt
9
import matplotlib.figure
10
import datetime as dt
11
from bokeh.models import CustomJS, Slider
12
# Local packages
13
import steam
14
import config as cfg
15

16
pn.extension(comms="vscode")  # to use on VSCode
17

18
@steam.function_decorator
19
def create_dashboard_with_html_header() -> pn.template.material.MaterialTemplate:
20
    custom_header = """
21
    <link rel="icon" type="image/x-icon" href="./../static/favicon_08bit.ico">
22
    """
23

24
    # Create Panel template to append custom HTML
25
    dashboard = pn.template.MaterialTemplate(
26
        title="My Panel App",
27
        header=custom_header
28
    )
29
    return dashboard
30

31
# @steam.function_decorator
32
def _get_game_img(game: steam.SteamGameProfile, img_category: str = None) -> pn.pane.image.Image:
33
    img_icon = ""
34
    width=20
35
    height=20
36
    margin=(10, 10)
37
    if img_category is None:
38
        raise ValueError("'img_category' must not be None.")
39
    elif img_category == "icon":
40
        img_icon = f"https://avatars.akamai.steamstatic.com/{game.img_icon_url}_full.jpg"
41
        # Not change width, height and margin.
42
    elif img_category == "thumbnail":
43
        img_icon = f"https://shared.fastly.steamstatic.com//store_item_assets/steam/apps/{game.appid}/library_600x900.jpg"
44
        width=200
45
        height=300
46
        margin=(0, 0)
47
    else:
48
        raise ValueError("something went wrong.")
49
    pn.pane.Image()
50
    return pn.pane.Image(img_icon, alt_text=f"{game.name}_icon", width=width, height=height, margin=margin)
51

52
@steam.function_decorator
53
def create_img_panels(elements: List[pn.pane.image.Image], number_of_icon_per_row: int, sizing_mode: str = "stretch_both") -> List[pn.layout.base.Row]:
54
    columns = []
55
    col = []
56
    for i, component in enumerate(elements):
57
        col.append(component)
58
        if (i + 1) % number_of_icon_per_row == 0:  # Create a new column per 30 components
59
            columns.append(pn.Row(*col, sizing_mode=sizing_mode, margin=(0, 0)))
60
            col = []
61
    if col:  # Append rest components into the last column.
62
        columns.append(pn.Row(*col, sizing_mode=sizing_mode, margin=(0, 0)))
63
    panels = pn.Column(*columns, sizing_mode=sizing_mode)
64
    return panels
65

66
@steam.function_decorator
67
def create_game_icons() -> pn.template.base.BaseTemplate.servable:
68
    steam_client = steam.get_steam_client()
69
    STEAM_ID = cfg.get_my_steam_id()
70
    games = steam.retrieve_owned_games(steam_client, STEAM_ID)
71

72
    dashboard = create_dashboard_with_html_header()
73
    iterable_01 = lambda x, y: [x] * len(y)
74
    imgs = tuple(map(_get_game_img, games, iterable_01("icon", games)))
75

76
    NUMBER_OF_ICON_PER_ROW = 30
77
    panels = create_img_panels(imgs, NUMBER_OF_ICON_PER_ROW, "scale_width")
78
    pprint(panels)
79
    dashboard.main.append(pn.Column(*panels, sizing_mode="scale_width"))
80

81
    return dashboard.servable()
82

83
@steam.function_decorator
84
def create_game_thumbnails() -> pn.template.base.BaseTemplate.servable:
85
    steam_client = steam.get_steam_client()
86
    STEAM_ID = cfg.get_my_steam_id()
87
    games = steam.retrieve_owned_games(steam_client, STEAM_ID)
88

89
    dashboard = create_dashboard_with_html_header()
90
    iterable_01 = lambda x, y: [x] * len(y)
91
    imgs = tuple(map(_get_game_img, games, iterable_01("thumbnail", games)))
92

93
    NUMBER_OF_ICON_PER_ROW = 12
94
    panels = create_img_panels(imgs, NUMBER_OF_ICON_PER_ROW, "stretch_both")
95
    pprint(panels)
96
    dashboard.main.append(pn.Column(*panels, sizing_mode="scale_width"))
97

98
    return dashboard.servable()
99

100

101
def create_game_achievements():
102

103
    dashboard = pn.Column(layout)
104

105
    return dashboard.servable()

展開する折りたたむ

今度は、ゲームのサムネイルが一覧で取れるようになりました。リンク切れになっているタイトルがチラホラあったりもします。

そして、ゲーム毎にサムネイル、タイトル、 Achievements や Stats を表示させます。

1
# Builtin packages
2
from pprint import pprint
3
from typing import List, Tuple, TypeVar
4
import functools
5
import datetime
6
# Third party packages
7
import panel as pn
8
import numpy as np
9
import pandas as pd
10
import matplotlib.pyplot as plt
11
import matplotlib.figure
12
import datetime as dt
13
from bokeh.models import CustomJS, Slider
14
from steam_web_api import Steam
15
# Local packages
16
import steam
17
import config as cfg
18

19
pn.extension(comms="vscode")
20

21
def format_from_timestamp_to_format_iso_datetime(timestamp: int, will_be_utc: bool) -> str:
22
  """
23
  Convert a Unix timestamp into an ISO 8601 formatted date string.
24

25
  :param timestamp: Unix timestamp (int or float)
26
  :param will_be_utc: Boolean representing whether the date is going to format in UTC time
27
  :type timestamp: int or float
28
  :return: ISO 8601 formatted date string or empty string if input is invalid
29
  """
30
  if not timestamp:
31
    return None
32
  if not isinstance(timestamp, (int, float)):
33
    raise ValueError("Timestamp must be an integer or float.")
34
  if will_be_utc:
35
    jst_delta = 9 * 60 * 60
36
    timestamp += jst_delta
37
  try:
38
    return datetime.datetime.fromtimestamp(timestamp).isoformat()
39
  except (ValueError, TypeError):
40
    return ""
41

42
def convert_from_iso_datetime_to_format_date_str(iso_date_string: str) -> str:
43
  """
44
  Format ISO date string into a datetime object or return an empty string.
45

46
  :param date_string: String representing a date
47
  :return: Formatted datetime object or empty string
48
  """
49
  if not iso_date_string:
50
    return None
51
  if not isinstance(iso_date_string, str):
52
    raise ValueError("ISO date string must be a string.")
53
  try:
54
    return datetime.datetime.fromisoformat(iso_date_string).strftime("%Y-%m-%d %H:%M:%S")
55
  except ValueError:
56
    return ""
57

58
def format_minutes_to_hours(minutes: int) -> str:
59
    hours = minutes // 60
60
    remaining_minutes = minutes % 60
61
    spacer = " "
62

63
    if hours > 0 and remaining_minutes > 0:
64
        return f"{hours}{spacer}hours {remaining_minutes}{spacer}minutes"
65
    elif hours > 0:
66
        return f"{hours}{spacer}hours "
67
    else:
68
        return f"{remaining_minutes}{spacer}minutes"
69

70
def _create_h2(game: steam.SteamGameProfile) -> Tuple[pn.pane.image.Image, pn.pane.Markdown]:
71
        icon  = _get_game_img(game, "icon")
72
        h2 = pn.pane.Markdown(f"## {game.name}", styles={})
73
        pprint(icon.object if icon is not None else icon)
74
        pprint(h2.object if h2 is not None else h2)
75
        return (icon, h2)
76

77
def _create_playtime(game: steam.SteamGameProfile) -> pn.pane.Markdown:
78
    iso_datetime = format_from_timestamp_to_format_iso_datetime(game.rtime_last_played, True)
79
    date_str = convert_from_iso_datetime_to_format_date_str(iso_datetime)
80
    playtime_2weeks_formatted = format_minutes_to_hours(game.playtime_2weeks) if game.playtime_2weeks is not None else game.playtime_2weeks
81
    playtime_disconnected_formatted = format_minutes_to_hours(game.playtime_disconnected) if game.playtime_disconnected is not None else game.playtime_disconnected
82
    playtime_forever_formatted = format_minutes_to_hours(game.playtime_forever) if game.playtime_forever is not None else game.playtime_forever
83
    playtime = pn.pane.Markdown(f"""
84
    | Playtime | Value |
85
    | ----------- | ----------- |
86
    | Playtime recent 2 weeks | {playtime_2weeks_formatted} |
87
    | Disconnected Playtime | {playtime_disconnected_formatted} |
88
    | Forever Playtime | {playtime_forever_formatted} |
89
    | Recent time last played | {date_str} |
90
    """, styles={})
91
    pprint(playtime.object if playtime is not None else playtime)
92
    return playtime
93

94
def _create_stats_data_info(stats_data: steam.SteamGameStatsData) -> TypeVar("T", pn.pane.Markdown, None):
95
    stats_info = None
96
    if stats_data is not None:
97
        if stats_data.stats is not None:
98
            def create_stats_value_table(a: steam.Achievement) -> str:
99
                return f"| {a.name} | {a.value} |"
100
            stats = tuple(map(create_stats_value_table, stats_data.stats))
101
            stats_info = functools.reduce(lambda a, b: f"{a}\n{b}", stats)
102
            stats_info = f"| Stat Name | Stat Value |\n| ----------- | ----------- |\n{stats_info}"
103
            stats_info = pn.pane.Markdown(stats_info)
104
    pprint(stats_info.object if stats_info is not None else stats_info)
105
    return stats_info
106

107
def _create_achievement_info(achievements: steam.SteamGameAchievements) -> Tuple[TypeVar("T", pn.pane.Markdown, None), TypeVar("T", pn.pane.Markdown, None)]:
108
    achievement_info = None
109
    description_info = None
110
    if achievements is not None:
111
        achievement_info = pn.pane.Markdown(f"""
112
        | Playtime | Value |
113
        | ----------- | ----------- |
114
        | Achievements can be retrieved | {achievements.success} |
115
        """, styles={})
116
        if achievements.achievements is not None:
117
            def create_achievement_value_table(a: steam.Achievement) -> str:
118
                iso_datetime = format_from_timestamp_to_format_iso_datetime(a.unlocktime, True)
119
                date_str = convert_from_iso_datetime_to_format_date_str(iso_datetime)
120
                return f"| {a.name} | {a.apiname} | {a.description} | {a.achieved} | {date_str} |"
121
            descriptions = tuple(map(create_achievement_value_table, achievements.achievements))
122
            description_info = functools.reduce(lambda a, b: f"{a}\n{b}", descriptions)
123
            description_info = f"| Achievement Name | Achievement API Name | Description | Is Achieved | Unlock Time |\n| ----------- | ----------- | ----------- | ----------- | ----------- |\n{description_info}"
124
            description_info = pn.pane.Markdown(description_info)
125
    pprint(achievement_info.object if achievement_info is not None else achievement_info)
126
    pprint(description_info.object if description_info is not None else description_info)
127
    return (achievement_info, description_info)
128

129
def _get_game_detail(game: steam.SteamGameProfile, steam_client: Steam, STEAM_ID: str) -> pn.layout.base.Column:
130
    # Retrieve game data to show
131
    game_data = steam.retrieve_game_data(steam_client, STEAM_ID, game.appid)
132
    achievements = steam.retrieve_achievements(steam_client, STEAM_ID, game.appid)
133

134
    # Create Heading 2
135
    (icon, h2) = _create_h2(game)
136
    # Create playtime info
137
    playtime = _create_playtime(game)
138
    # Create achievement info
139
    (achievement_info, description_info) = _create_achievement_info(achievements)
140
    # Create stat info
141
    stats_data = _create_stats_data_info(game_data)
142
    # Create image
143
    thumbnail = _get_game_img(game, "thumbnail")
144

145
    # Create layout in the panel
146
    row1 = pn.Row(icon, h2, margin=(0, 0))
147
    row2_2 = pn.Column(achievement_info, description_info)
148
    row2_3 = pn.Row(stats_data)
149
    row2 = pn.Row(thumbnail, playtime, row2_2, row2_3)
150
    result = pn.Column(row1, row2)
151
    return result
152

153
@steam.function_decorator
154
def create_game_details() -> pn.template.base.BaseTemplate.servable:
155
    my_steam_client = steam.get_steam_client()
156
    MY_STEAM_ID = cfg.get_my_steam_id()
157
    games = steam.retrieve_owned_games(my_steam_client, MY_STEAM_ID)
158

159
    dashboard = create_dashboard_with_html_header()
160
    iterable_01 = lambda x, y: [x] * len(y)
161

162
    # games = games[:4] # tmp TODO
163
    game_details = tuple(map(_get_game_detail, games, iterable_01(my_steam_client, games), iterable_01(MY_STEAM_ID, games)))
164
    dashboard.main.append(pn.Column(*game_details, sizing_mode="scale_width"))
165
    return dashboard.servable()

展開する折りたたむ

panel.pane.Markdownのクラスを使って、ゲームのAchievementsを表示させることが出来ました。

同様に、ゲームのStatsも右の方に表示することが出来ました。PanelではMarkdownを書けるのが便利ですね。

まあ、上記のコードだと処理が直列になっているので、並行もしくは並列化したいですね。とりあえず今回はこんなところで終わっておきます・・・。

まとめ#

今回は、Pythonを使って、matplotlibでプロットしたチャートを、FastAPIおよびPanelでWebページとして表示するツールを作る流れを紹介しました。

以下、本記事のまとめです。

python-steam-apiパッケージの方が、Steam Web APIよりもレスポンスの情報が整理されている。
python-steam-apiで、ユーザーの基本情報や所持しているゲームの情報を取得することが出来る。
PanelではMarkdownを使ってページの描画を制御できる。

今回、プロットするための情報があまり無かったのでグラフは作りませんでした。なぜなら、python-steam-apiで時系列データを取得できなかったからです。これに関しては、毎月のタイミングとかでデータを取得するしかないですかね。データが貯まったらプロットしたチャートも映してみたいです。

ゲームとプログラミングのお供に#

エレコムラピッドトリガーゲーミングキーボード V custom VK720AL 有線磁気式アナログ検知スイッチ搭載 75％サイズロープロファイルブラック TK-VK720ALBKamzn.to

Logicool G(ロジクール G) ゲーミングマウスパッド G240 クロス表面標準サイズ 340×280×1mm マウスパッド G240f 国内正規品amzn.to

How can I customize the tab-to-space conversion factor in VS Code?

おしまい#

リサちゃん

なんか作れそうな感じはするなあ。

ペンギン

データが貯まるまで待ちですか。

以上になります！

Pythonのタブサイズがどうしても「4」にならない

Sun, 15 Dec 2024 00:00:00 GMT

はじまり#

リサちゃん

コイツ、いつまで経っても「2」だな・・・

135ml

いつまでも「4」だな。

Pythonのタブサイズがどうしても「2」になる。#

ずーっとウザかった。Pythonのタブサイズがどうしても「4」にならなかった。というか、インデントのサイズがどうしても「4」にならなかった。

ほら。

どうして刻むんだ。

この「タブサイズ」と「インデントサイズ」の双方の概念を把握しているかどうかが、今回の問題の肝です。最近、この問題がやっと解決したのでこの記事にメモしておきます。

解決法その1：設定のTab Size#

最も基本的な項目です。

ここの設定では、基本的なタブのサイズが設定されます。しかし、僕は基本的にタブのサイズは2が良いと思っているので、ここは2のままで、Pythonの時だけ4にして欲しい。

ちなみに、settings.jsonだと"editor.tabSize"の項目に該当します。

解決法その2：Detect Indentation の設定#

Detect Indentationという設定項目も見ておきます。

この設定がオンになっていると、ファイルのインデントを見て、そのファイルにおけるインデントのサイズを設定します。オフになっていれば、エディタで設定してあるインデントのサイズしか反映されないわけです。

個人的には、settings.jsonで設定した値だけを反映してほしいので、オフにしておきます。

ちなみに、settings.jsonだと"editor.detectIndentation"の項目に該当します。Falseにすればオフになります。

解決法その3：フォーマッタの設定#

Prettierなどの拡張機能に対する設定でタブサイズやインデントサイズが設定されていないかどうかをも見るべきところです。しかし、僕はフォーマッタは入れていませんし、Pylintとかも入れていません。（ESLintは入っていますが今回は関係ありません。）

ちなみに、settings.jsonだと個々のフォーマッタ用の項目に該当したり、フォーマッタ用の設定ファイルで確認できますね。

解決法その4：.editorconfigのindent_size#

「Editorconfig」は、コードエディタ間でファイル(コード)のフォーマットを一貫させるための機能です。そして、.editorconfigは、その設定ファイルの形式です。JetBrainsの各IDEや、AtomとかXcodeでも使えるみたいですね。

その.editorconfigをこんな風に設定してみます。

1
# Editor configuration, see https://editorconfig.org
2
root = true
3

4
[*.py]
5
indent_size = 4

設定してみると・・・やりました！ Pythonファイルの時にだけ、インデントのサイズが4になりました！

うーんでもなあ・・・、インデントのサイズを設定するためにわざわざ1つファイルを増やさなければならないのが気に入りません・・・。他に方法は無いのか？

解決法その5：settings.jsonでどちらか片方しか設定していない。#

ここまで記事を書いてきて、何か気になります・・・。タブサイズ？　インデントサイズ？

そう、もしかしたら、settings.jsonの中で、タブサイズもしくはインデントサイズの片方しか設定していないのではないでしょうか・・・。僕のVSCodeがPythonのインデントをずっと「2」で表示し続けていた時のsettings.jsonのPythonにおける設定がこれです。

1
...
2

3
  "[python]": {
4
    "diffEditor.ignoreTrimWhitespace": false,
5
    "editor.tabSize": 4,
6
    "editor.formatOnPaste": true,
7
    "editor.formatOnSave": true
8
  },
9

10
...

そこで、このようにsettings.jsonを変更します。

1
...
2

3
  "[python]": {
4
    "diffEditor.ignoreTrimWhitespace": false,
5
    "editor.tabSize": 4,
6
    "editor.indentSize": 4, // <- New
7
    "editor.formatOnPaste": true,
8
    "editor.formatOnSave": true
9
  },
10

11
...

設定してみると・・・やりました！ Pythonファイルの時にだけ、タブおよびインデントのサイズが4になりました！

ちなみに、settings.jsonだと"editor.tabSize"もしくは"editor.indentSize"の項目に該当します。

まとめ#

この記事を見ることで、古今東西の人のPython利用者のタブおよびインデントのサイズが「4」になることを願っています。

タブおよびインデントのサイズをどうにかしたいと思っている人は、他にもいらっしゃるみたいですね。（8スペースのタブを4スペースのインデントを設定する？そんなことあるの？）

Stack Overflow

How do I customize the tab-to-space conversion factor when using Visual Studio Code? For instance, right now in HTML it appears to produce two spaces per press of TAB, but in TypeScript it produce...

stackoverflow.com

動かして学ぶ！Python FastAPI開発入門amzn.to

動かして学ぶ! Pythonサーバレスアプリ開発入門amzn.to

おしまい#

リサちゃん

やっと「4」になった・・・！！

135ml

一生「2」にならないで欲しいな。

以上になります！

【YouTubeなど】動画の更新状況_2024年11月

Sat, 14 Dec 2024 00:00:00 GMT

はじまり#

ペンギン

先月の動画の更新状況です。

リサちゃん

何を上げたのかなあ？

2024年11月に投稿した動画の一覧#

投稿した動画の数：9

【Satisfactory】硫酸と梱包された硫酸で作る被覆型ウランセル #47 | 未知の設備でゆっくり工業化【ゆっくり実況】#

動画投稿日：2024/11/01

【アズールレーン】通商破壊でロイヤル・フォーチュンを放置して勝利#

動画投稿日：2024/11/04

【Palworld】ジェッドラン20体とアグニドラ20体とテラナイト50体でベラルージュ極に挑む！#

動画投稿日：2024/11/08

【Palworld】最高速ベイントールで昼間のセイントール達を捕まえる！#

動画投稿日：2024/11/11

【ELDEN RING】ただモーグを倒すだけの教育的な動画#

動画投稿日：2024/11/15

【ELDEN RING】ただ暗黒の星々アステールを倒すだけの動画#

動画投稿日：2024/11/18

【アズールレーン】酒匂は顔が無くても可愛い #Shorts#

動画投稿日：2024/11/19

【アズールレーン】酒匂はのっぺらぼうでも可愛い#

動画投稿日：2024/11/22

【Chocolate Factory】スイーツパッケージなんて作れるわけがない！！ #14【ゆっくり実況】#

動画投稿日：2024/11/25

kinkingame24bitのYouTubeチャンネル#

よろしければ、チャンネルのご登録お願い致します。

おしまい#

ペンギン

先月は9本か。

リサちゃん

よければ視聴してみて下さい。

以上になります！

Project IDXでFastAPIベースのPanelアプリを作りたかったんだけど結局よく分からなかった

Fri, 13 Dec 2024 00:00:00 GMT

はじまり#

リサちゃん

またかぁ？　このIDEはぁ？

135ml

使えるかもしれん。

※当ページはアフィリエイト広告を利用しています。

Project IDXとかいうクラウドIDEでWebアプリを作りたい#

以前に存在を知った「Project IDX」という、Googleが開発中の、ブラウザ上もといクラウド上でUIテストとかも出来てしまうIDEを調べました。そして今回、それを実際に使ってみようというわけです。

Project IDXというクラウドIDEを触ってみました。

Googleが現在開発中でベータ版のProject IDXというIDEに関する記事です。Cloud Shell Editorを使っている身からしたらどれぐらい強くなるのかワクワクです。

「Project IDX」が気になった方は、公式のサイトはこちらです。2024-12-07時点ではWaitlist等は無く、すぐに開発を始めることが出来ます。

Project IDX が Firebase Studio に統合されました

Project IDX が Firebase Studio に統合されたことをお知らせする記事。既存のユーザー向けの移行の詳細と新機能について説明しています。

FastAPI framework, high performance, easy to learn, fast to code, ready for production

今回作りたいWebアプリ#

今回は、PythonのWeb APIフレームワークであるFastAPIと、インタラクティブなダッシュボードをWeb上に作成できるライブラリであるPanelを使ってWebアプリを作っていきます。

fastapi.tiangolo.com

FastAPI - FastAPI

fastapi.tiangolo.com

Overview — Panel v1.9.1

GitHubにあるPanelのリポジトリからその様子を見てみると、Webページ上でなんかドラッグしたりすることが出来たりしそうなので、これをProject IDX上のプレビュー画面で実際にやってみたら便利だろうなあっと思って、まずはProject IDXでその両者のパッケージを動かせる状態にするところから始めていきたいと思います。

そして、Panel公式のページの中に、FastAPIを使ってPanelのダッシュボードを作るチュートリアル的なものがあるので、そのコードを試してみます。

Running Panel apps in FastAPI — Panel v1.9.1

結論：環境の作り方がよく分からなかった。#

あーーー、くそう・・・。結局はベータ版ってことかぁ・・・？？

Project IDXでは現在（2024-12-07時点）では、公式から提供されているPythonのフレームワークのテンプレートは、「Python Flask」と「Python Django」の2種類しか置いてありません。

なので、FastAPI + Panelのテンプレートは自分で用意する必要がありますが・・・、これがなんともまあ訳が分からなかった。結局、どこをどう設定すればPanelアプリをプレビューすることが出来るのかが分からなかったんですよね。

ですがしかし、その奮闘する過程で奇跡的に1つのワークスペースだけ、FastAPIベースのPanelアプリを開発することに成功した環境がありました。実際に開発して画面の中のUIを動かすことも出来たので、この謎が極まる複雑怪奇な環境構築さえ出来てしまえば、快適なWebアプリ開発を恍惚として堪能できた筈なんですよね。

これが実際にProject IDX上で、FastAPIで提供したAPIパスから色々なダッシュボードを操作している映像です。

エディタ上でレンダリングされたWebページの反応速度は悪くありません。インタラクティブにウィジェットを操作することが出来ています。

しかし結局、このプレビューを再現することは叶いませんでした・・・。

このクラウドIDEはベータ版・・・。そうは問屋が卸してくれませんでした・・・。

一応、今回動かしたPythonのソースを貼っておきます。 app.py:

1
from src import panel
2

3
from fastapi import FastAPI
4
from panel.io.fastapi import add_applications
5
from fastapi.middleware.cors import CORSMiddleware
6

7
import uvicorn
8
import os
9

10
app = FastAPI()
11

12
origins = ["*"]
13
app.add_middleware(
14
    CORSMiddleware,
15
    allow_origins=origins,  # List of allowed origins
16
    allow_credentials=True,
17
    allow_methods=["*"],  # Allow all methods
18
    allow_headers=["*"],  # Allow all headers
19
)
20

21
@app.get("/")
22
async def read_root():
23
    return {"Hello": "World"}
24

25
def create_panel_app():
26
    return panel.create_slider(10, 3, "⭐")
27

28
add_applications({
29
    "/panel_app1": create_panel_app
30
    , "/panel_app2": panel.create_column("I am a Panel object!")
31
    , "/panel_app3": "my_panel_app.py"
32
    , "/panel_app4": panel.create_figure_linking_slider()
33
    , "/panel_app5": panel.create_tabs()
34
    , "/panel_app6": panel.create_data_frame(400)
35
    , "/panel_app7": panel.create_text_input("Input file path.")
36
    , "/panel_app8": panel.create_button("Read the specified file")
37
    , "/panel_app9": panel.create_other_widgets()
38
    , "/panel_app10": panel.create_big_tabs()
39
    , "/panel_app11": panel.create_sine_wave()
40
    , "/panel_app12": panel.create_figure_linking_slider()
41
}, app=app)
42

43
if __name__ == "__main__":
44
    uvicorn.run(app, host="0.0.0.0", port=int(os.environ.get("PORT", 8080)))

展開する折りたたむ

src/panel.py:

1
import panel as pn
2
import numpy as np
3
import pandas as pd
4
import matplotlib.pyplot as plt
5
import matplotlib.figure
6
import datetime as dt
7
from bokeh.models import CustomJS, Slider
8

9
pn.extension(comms="vscode")  # to use on VSCode
10
# pn.extension(comms="bokeh")  # to use on Bokeh
11

12
# slider = pn.widgets.FloatSlider(name="Slider", start=0, end=10, value=5)
13

14
def create_slider(end: int, default_value: int, gauge_icon: str = "⭐") -> pn.widgets.IntSlider:
15
    slider = pn.widgets.IntSlider(name='Slider', start=0, end=end, value=default_value)
16
    return slider.rx() * gauge_icon
17

18
slider = pn.widgets.FloatSlider(name="Slider", start=0, end=10, value=5)
19
@pn.depends(slider.param.value)
20
def plot_sine_curve(value) -> matplotlib.figure:
21
    fig, ax = plt.subplots()
22
    x = np.linspace(0, 10, 100)
23
    y = np.sin(x + value)
24
    ax.plot(x, y)
25
    plt.close(fig) # Prevent from memory leak.
26
    return fig
27

28
def create_figure_linking_slider() -> pn.Column:
29
    return pn.Column(slider, plot_sine_curve).servable()
30

31
def create_column(title: str) -> pn.Column:
32
    return pn.Column(title)
33

34
def create_tabs() -> pn.Column:
35
    tab1 = pn.Column("This is tab 1")
36
    tab2 = pn.Column("This is tab 2")
37
    tabs = pn.Tabs(("Tab 1", tab1), ("Tab 2", tab2))
38
    return tabs.servable()
39

40
def create_big_tabs() -> pn.Column:
41
    tab1 = create_other_widgets()
42
    tab2 = create_other_widgets()
43
    tabs = pn.Tabs(("Tab 11", tab1), ("Tab 12", tab2))
44
    return tabs.servable()
45

46
def create_data_frame(width: int) -> pn.widgets.DataFrame:
47
    data = {"col1": [1, 2, 3], "col2": [4, 5, 6]}
48
    df = pd.DataFrame(data)
49
    table = pn.widgets.DataFrame(df, width=width)
50
    return table.servable()
51

52
def create_text_input(title: str, placeholder: str = "Input me."):
53
    return pn.widgets.TextInput(name=title, placeholder=placeholder)
54

55
def create_button(title: str, button_type: str = "primary"):
56
    return pn.widgets.Button(name=title, button_type=button_type)
57

58
def create_other_widgets():
59
    # 2. チェックボックスタグルグループ
60
    checkbutton_group = pn.widgets.CheckButtonGroup(
61
        name="Checkbox Group"
62
        , value=["Apple", "Pear"]
63
        , options=["Apple", "Banana", "Pear", "Strawberry"]
64
        , orientation="horizontal"
65
    )
66
    # 2. チェックボックスタグルグループ
67
    checkbox_group = pn.widgets.CheckBoxGroup(
68
        name="Checkbox Group"
69
        , value=["Apple", "Pear"]
70
        , options=["Apple", "Banana", "Pear", "Strawberry"]
71
        , inline=True
72
    )
73
    # 3. ラジオボタングループ
74
    radio_group = pn.widgets.RadioButtonGroup(
75
        name="Radio Button Group"
76
        , options=["Biology", "Chemistry", "Physics"]
77
        , button_type="success"
78
    )
79
    multi_choice = pn.widgets.MultiChoice(
80
        name="MultiChoice"
81
        , value=["Apple", "Pear"]
82
        , options=["Apple", "Banana", "Pear", "Strawberry", "melon", "dragon fruit", "orange", "grape", "muscat", "avocado", "peach", "tomato"]
83
    )
84
    # 5. マルチセレクト
85
    multi_select = pn.widgets.MultiSelect(
86
        name="MultiSelect"
87
        , value=["Apple", "Pear"]
88
        , options=["Apple", "Banana", "Pear", "Strawberry"]
89
        , size=8
90
    )
91
    # 6. トグルボタン
92
    toggle_group = pn.widgets.ToggleGroup(
93
        name="ToggleGroup"
94
        , options=["Biology", "Chemistry", "Physics"]
95
    )
96
    # 7. セレクター (様々なウィジェットのラッパー)
97
    selector = pn.widgets.Select(
98
        name="Select"
99
        , options=["Biology", "Chemistry", "Physics"]
100
    )
101
    # 8. カラーピッカー
102
    color_picker = pn.widgets.ColorPicker(
103
        name="Color Picker"
104
        , value="#99ef78"
105
    )
106
    # 9. 日付ピッカー
107
    date_picker = pn.widgets.DatePicker(
108
        name="Date Picker"
109
        , value=dt.datetime(2024, 4, 1, 11, 37)
110
    )
111
    # 10. 静的なテキスト (既に使用済み)
112
    data_slider = pn.widgets.DateSlider(
113
        name="Date Slider"
114
        , start=dt.datetime(2019, 1, 1)
115
        , end=dt.datetime(2019, 6, 1)
116
        , value=dt.datetime(2019, 2, 8)
117
    )
118
    # 11. text editor
119
    text_editor = pn.widgets.TextEditor(placeholder="Enter some text")
120
    # 12. json editor
121
    spinner = pn.widgets.JSONEditor(value={
122
        "dict"  : {"key": "value"},
123
        "float" : 3.14,
124
        "int"   : 1,
125
        "list"  : [1, 2, 3],
126
        "string": "A string",
127
    }, width=400)
128
    # 13. ファイル入力
129
    file_input = pn.widgets.FileInput(name="File Input")
130
    # 14. リテラル入力 (コード入力)
131
    literal_input = pn.widgets.LiteralInput(
132
        name="Literal Input (dict)"
133
        , value={"key": [1, 2, 3]}
134
        , type=dict
135
    )
136
    # 15. パスワード入力
137
    password_input = pn.widgets.PasswordInput(
138
        name="Password"
139
        , placeholder="Enter your password here..."
140
    )
141
    # 16. テキストエリア入力
142
    textarea_input = pn.widgets.TextAreaInput(
143
        name="Text Area Input"
144
        , placeholder="Enter a string here..."
145
    )
146
    # 17. Switch
147
    switch = pn.widgets.Switch(name="Switch")
148
    # 18. file dropper
149
    file_dropper = pn.widgets.FileDropper()
150

151
    player = pn.widgets.Player(
152
        name="Player"
153
        , start=0
154
        , end=100
155
        , value=32
156
        , loop_policy="loop"
157
        , show_value=True
158
        , value_align="start"
159
    )
160

161
    autocomplete = pn.widgets.AutocompleteInput(
162
        name="Autocomplete Input"
163
        , options=["Biology", "Chemistry", "Physics"]
164
        , case_sensitive=False
165
        , search_strategy="includes"
166
        , placeholder="Write something here"
167
    )
168
    # 全てのウィジェットをカラムに配置
169
    return pn.Column(
170
        checkbutton_group
171
        , checkbox_group
172
        , radio_group
173
        , multi_choice
174
        , multi_select
175
        , toggle_group
176
        , selector
177
        , color_picker
178
        , date_picker
179
        , data_slider
180
        , text_editor
181
        , spinner
182
        , file_input
183
        , literal_input
184
        , password_input
185
        , textarea_input
186
        , switch
187
        , file_dropper
188
        , player
189
        , autocomplete
190
        , create_slider(10, 5)
191
        , create_figure_linking_slider()
192
        , create_column("Column Title")
193
        , create_tabs()
194
        , create_data_frame(400)
195
        , create_text_input("Text Input")
196
        , create_button("Button")
197
    ).servable()
198

199
def create_sine_wave():
200
    # Create the initial plot
201
    x = np.linspace(0, 10, 500)
202
    y = np.sin(2 * np.pi * x)
203

204
    fig, ax = plt.subplots()
205
    line, = ax.plot(x, y)
206
    ax.set_xlabel("x")
207
    ax.set_ylabel("sin(2πx)")
208
    ax.set_title("Sine Wave")
209

210
    # Create sliders for frequency and amplitude
211
    frequency_slider = Slider(start=0.1, end=5, value=1, step=.1, title="Frequency")
212
    amplitude_slider = Slider(start=0.1, end=5, value=1, step=.1, title="Amplitude")
213

214

215
    # Define the update function (using CustomJS for interactivity,  better for larger datasets than pn.bind)
216
    code = """
217
        const data = source.data;
218
        const f = cb_obj.value;
219
        const a = amplitude_slider.value;
220
        const x = data['x'];
221
        const y = data['y'];
222
        for (var i = 0; i < x.length; i++) {
223
            y[i] = a * Math.sin(2 * Math.PI * f * x[i]);
224
        }
225
        source.change.emit();
226
    """
227

228
    # Convert the matplotlib figure to a bokeh figure (required for interaction within panel)
229
    from bokeh.io import show
230
    from bokeh.plotting import figure
231
    from bokeh.models import ColumnDataSource
232

233
    source = ColumnDataSource(data=dict(x=x, y=y))
234

235
    p = figure(width=400, height=400, tools="crosshair,pan,wheel_zoom,box_zoom,reset")
236
    p.line('x', 'y', source=source, line_width=3, line_alpha=0.6)
237

238

239
    # Attach the callback to the sliders
240
    callback = CustomJS(args={'source': source, 'frequency_slider': frequency_slider, 'amplitude_slider': amplitude_slider}, code=code)
241
    frequency_slider.js_on_change('value', callback)
242
    amplitude_slider.js_on_change('value', callback)
243

244
    # Arrange the elements in a Panel layout
245
    dashboard = pn.Column(
246
        pn.Row(frequency_slider, amplitude_slider),
247
        p  # Use the Bokeh figure directly
248
    )
249

250
    return dashboard.servable()

展開する折りたたむ

苦戦したついでにその過程を書き連ねます#

同じような野望を持って、Panelアプリを再現しようと思った後世の方々に、環境を構成するために試してみた事柄を書き連ねていきたいと思います。

dev.nixの構成#

.idx/dev.nixというファイルで構成する。#

まず、Project IDXでワークスペースを作成して、そのためのVMが起動すると、とある構成ファイルを元に環境が構築されていきます。それが.idx/dev.nixファイルです。「NIX」という記法で書いていきます。yamlとかjsonみたいな感じの拡張子です。

その構成ファイルの作り方のリファレンスは、公式のものが載っています。

Project IDX が Firebase Studio に統合されました

Project IDX が Firebase Studio に統合されたことをお知らせする記事。既存のユーザー向けの移行の詳細と新機能について説明しています。

How we use Nix on Project IDX

そして、その構成ファイルは主に4つのフィールドに分かれています。

channel・・・ワークスペースのバージョン的なもの。2024-12-04時点では、stable-23.05、stable-23.11、stable-24.05、unstableのいずれかです。（stable-24.11を出して欲しい・・・。）
packages・・・ワークスペースにインストールしたいパッケージ情報。リスト形式。
env・・・設定したい環境変数を key-value ライクにリスト形式で書きます。
idx・・・ワークスペースを作った後にどんな処理をさせるかを書きます。

package#

packageフィールドには、Pythonを入れたりpipを入れたりしていきます。はたまた、FastAPIを入れたりPanelを入れたりすることも出来るわけですが、ここのフィールドでそのライブラリとかまで指定する必要があるのかどうかは現在自分は解明できていません。

Pakcageの識別子は、以下のNixOSのパッケージリストの一覧から調べて書いていきます。python311Packages.pipやらpython311Packages.uvicornやらが識別として存在します。

search.nixos.org

NixOS Search

search.nixos.org

ちなみに、「NixOS」という文字が見えたので、そーいうOS上で動いているのかと思ったのですが、それは違うらしいです。

このProject IDXというIDEは、「NixOS」というシステムを組み込んでいるわけではなく、①広く利用されていて、②キャッシュが効いて速い、「Nixパッケージ」のシステムを取り入れているということらしいです。つまり、みんなが使いやすくてスピーディに開発できるように「Nix」を採用したっぽいですね。（そうか、NIXはNginx用のファイルを作る時にも使うのか。）

Firebase Studio

Over here on Project IDX, we like to work fast. A big part of that means making sure we’re building the tools we need to increase efficiency and streamline the grunt work that hampers our velocity. As developers coding in a browser-based workspace, one of the pain points we felt keenly was the startup cost of setting up a new workspace with all the dependencies we needed, and the environment configuration we wanted. So, one of our priorities in building IDX was to address that pain point with streamlined workspace configuration — which we did by building Nix into IDX.

idx#

envは飛ばしておいて、次に鬼門となるidxフィールドです。

このidxフィールドが最も設定する部分が広いです。開発していくWebアプリをプレビューするのかどうかもここに書いていきます。

idxフィールドでは主に4種類にフィールドが分かれています。

extensions・・・IDEで予めインストールしたい拡張機能をリスト形式で書きます。
workspace・・・ワークスペースを作ったり開いた時に実行したいことを書きます。
previews・・・・プレビューを表示するための事柄を書きます。

extensionsフィールドでは、拡張機能のパッケージの識別子を完全修飾された拡張機能 ID のリストで書いていきます。${publisherId}.${extensionId}みたいな感じです。

エディタの拡張機能の部分で探したり、Open VSX Registryから探して記載しています。

open-vsx.org

Open VSX Registry

open-vsx.org

workspaceフィールドでは、onCreateとonStartの2種類のトリガーで行う処理（Bashコマンド）を記述していきます。

onCreateはワークスペースが作られる時に参照されるフィールドです。なので、ワークスペースをリビルドする時にはこのフィールドで宣言されているinstallの内容は実行されません。なので、ビルドの仕様がまだ決まっていない時は、onStartのフィールドの方のinstallに実行内容を書く方が良さそうです。（ビルドする内容が固まったら、onCreateだけに記載して、ワークスペースを再開する時にいちいちコマンドが実行されないようにしても良さそう。）

そして、previewフィールドで、アプリのプレビューをしていくかどうかを決めることが出来ます。enable = true;と書けばプレビューできるようになります。しかし、そのenableフィールドの隣にさらにpreviewsフィールドがあって、（idx.preview.previewということです。）その中でプレビューするためのコマンドと、ポート番号などを書いていきます。

Python Flaskアプリを参考に設定していく。#

それでは、公式テンプレートのPython Flaskアプリから、構成ファイルをまねていきたいと思います。

Python Flaskテンプレートでは、このような構成になっています。

1
# To learn more about how to use Nix to configure your environment
2
# see: https://developers.google.com/idx/guides/customize-idx-env
3
{ pkgs, ... }: {
4
  # Which nixpkgs channel to use.
5
  channel = "stable-24.05"; # or "unstable"
6
  # Use https://search.nixos.org/packages to find packages
7
  packages = [ pkgs.python3 ];
8
  idx = {
9
    # Search for the extensions you want on https://open-vsx.org/ and use "publisher.id"
10
    extensions = [ "ms-python.python" ];
11
    workspace = {
12
      # Runs when a workspace is first created with this `dev.nix` file
13
      onCreate = {
14
        install =
15
          "python -m venv .venv && source .venv/bin/activate && pip install -r requirements.txt";
16
        # Open editors for the following files by default, if they exist:
17
        default.openFiles = [ "README.md" "src/index.html" "main.py" ];
18
      }; # To run something each time the workspace is (re)started, use the `onStart` hook
19
    };
20
    # Enable previews and customize configuration
21
    previews = {
22
      enable = true;
23
      previews = {
24
        web = {
25
          command = [ "./devserver.sh" ];
26
          env = { PORT = "$PORT"; };
27
          manager = "web";
28
        };
29
      };
30
    };
31
  };
32
}

展開する折りたたむ

channelは最新版のstable-24.05ですね。そして、idxフィールドでは、workspace.onCreateとpreviewsが目立ちます。onCreate.installで、Pythonの仮想環境を作ってその中にpip installしていますね。そして、default.openFilesではワークスペースを作成した時に予め最初に開いておくファイルが書いてあります。onCreate.installの部分は拝借しておきましょう。

そして、previews.previewsでは、./devserver.shというものを使ってプレビューを再現しているようです。その中身を見てみましょう。

1
#!/bin/sh
2
source .venv/bin/activate
3
python -m flask --app main run -p $PORT --debug

venvの中に入って、Flaskを起動するようになっていますね。この部分をFastAPIを起動するように編集すれば良さそうです。

最終的なFastAPI用のdev.nix#

これが最終的な.idx/dev.nixです。少々長いですが、何が必要なのかどうかが分かっていないので冗長に書いています。

1
# To learn more about how to use Nix to configure your environment
2
# see: https://developers.google.com/idx/guides/customize-idx-env
3
{ pkgs, ... }: {
4
  channel = "stable-24.05"; # "stable-23.05" or "unstable"
5
  # Use https://search.nixos.org/packages to  find packages
6
  packages = [
7
    pkgs.python3
8
    pkgs.python311Packages.pip
9
    pkgs.google-cloud-sdk
10
    pkgs.python311Packages.fastapi
11
    pkgs.python311Packages.uvicorn
12
    pkgs.python311Packages.panel
13
  ];
14
  # Sets environment variables in the workspace
15
  env = { };
16

17
  idx = {
18
    # search for the extension on https://open-vsx.org/ and use "publisher.id"
19
    extensions = [
20
      "ms-python.python"
21
      "rangav.vscode-thunder-client"
22
    ];
23
    workspace = {
24
      # runs when a workspace is first created with this `dev.nix` file
25
      # to run something each time the environment is rebuilt, use the `onStart` hook
26
      onCreate = {
27
        create-venv = ''
28
          python -m venv .venv
29
          source .venv/bin/activate
30
          pip install --no-cache-dir -r requirements/dev.txt
31
        '';
32
      };
33
      onStart = {
34
        # install = ''
35
        #   python -m venv .venv
36
        #   source .venv/bin/activate
37
        #   pip install --no-cache-dir -r requirements/dev.txt
38
        # '';
39
        # Open editors for the following files by default, if they exist:
40
        default.openFiles = [ "README.md" "app.py"];
41
        # default.openFiles = [ "README.md" ];
42
        # run-server = "./devserver.sh";
43
        # Example: start a background task to watch and re-build backend code
44
        # watch-backend = "npm run watch-backend";
45
      };
46

47
    };
48
    # preview configuration, identical to monospace.json
49
    previews = {
50
      enable = true;
51
      previews = [
52
        {
53
          command = [
54
            "./devserver.sh"
55
          ];
56
          env = {
57
            PORT = "$PORT";
58
          };
59
          id = "web";
60
          manager = "web";
61
        }
62
      ];
63
    };
64
    # previews = {
65
    #   enable = true;
66
    #   previews = [
67
    #     {
68
    #       command = [
69
    #         "./devserver.sh"
70
    #       ];
71
    #       env = {
72
    #         PORT = "$PORT";
73
    #       };
74
    #       id = "web";
75
    #       manager = "web";
76
    #     }
77
    #   ];
78
    # }
79
  };
80
}

展開する折りたたむ

requirements.txtの中身#

現時点で最も怪しいと思っている、requirements.txtの中身です。基本的には、後述のFastAPIをProject IDXで構成する同志の方々のものを真似ていますが、これでPanelのプレビュー画面を再現するまでには至っていません・・・。

1
annotated-types==0.7.0
2
anyio==4.7.0
3
autopep8==2.0.4
4
click==8.1.7
5
exceptiongroup==1.2.0
6
fastapi==0.115.6
7
h11==0.14.0
8
idna==3.10
9
pycodestyle==2.11.1
10
pydantic==2.10.3
11
pydantic_core==2.27.1
12
sniffio==1.3.1
13
starlette==0.41.3
14
tomli==2.0.1
15
typing_extensions==4.12.2
16
uvicorn>=0.32.1
17
# Panel
18
panel[fastapi]>=1.5.2
19
# Google Cloud
20
functions_framework>=3.5.0
21
# Cloud SQL
22
cloud-sql-python-connector[pg8000]
23
sqlalchemy>=2.0.36

展開する折りたたむ

パッケージ達の概要としてはこんな感じです。HTTP関連のヤツらまでは必須だと思います。

コアとなるパッケージ:

fastapi==0.105.0: 高速でモダンなWeb APIフレームワーク。Pythonの型ヒントを利用して、APIの定義、検証、ドキュメント生成を効率的に行えます。
uvicorn==0.24.0.post1: ASGI（Asynchronous Server Gateway Interface）サーバー。FastAPIアプリケーションを実行するために使用されます。高速で軽量なサーバーとして知られています。
starlette==0.27.0: ASGIツールキットおよびフレームワーク。FastAPIはStarletteをベースに構築されています。ルーティング、ミドルウェア、WebSocketなどの機能を提供します。
pydantic==2.5.2: データ検証と設定管理ライブラリ。Pythonの型ヒントを使用して、データの型、制約、変換などを定義できます。FastAPI は Pydantic を使用してリクエストボディとレスポンスボディを検証します。
pydantic_core==2.14.5: Pydantic 2 のコアバリデーションロジックを提供するライブラリ。パフォーマンス向上のため分離されています。

非同期処理関連:

anyio==3.7.1: 非同期プログラミングのためのライブラリ。異なる非同期イベントループ実装（asyncio, trio）を抽象化し、移植性の高いコードを書くことができます。
sniffio==1.3.0: 実行時にどの非同期ライブラリ（asyncio, trio）が使用されているかを検出するライブラリ。anyioのようなライブラリで使用されます。

HTTP関連:

h11==0.14.0: HTTP/1.1プロトコルを実装した低レベルライブラリ。uvicornなどのASGIサーバーで使用されます。
idna==3.6: 国際化ドメイン名（IDNA）を処理するためのライブラリ。URLパーサーなどで使用されます。

型ヒント関連:

typing_extensions==4.9.0: Pythonの標準ライブラリのtypingモジュールに含まれていない型ヒントを提供するライブラリ。新しいPythonバージョンで導入された型ヒントを古いバージョンで使用する場合などに利用されます。
annotated-types==0.6.0: 型ヒントにアノテーションを追加するためのライブラリ。より詳細な型情報を提供できます。

ユーティリティ:

click==8.1.7: コマンドラインインターフェース（CLI）を作成するためのライブラリ。FastAPIアプリケーションでCLIコマンドを定義するために使用できます。
tomli==2.0.1: TOMLファイルのパーサー。設定ファイルの読み込みなどに使用できます。

コードフォーマット/静的解析:

autopep8==2.0.4: PEP 8スタイルガイドに従ってPythonコードを自動的にフォーマットするツール。
pycodestyle==2.11.1: PEP 8スタイルガイドに準拠しているかをチェックする静的解析ツール。

構成時の引っかかりポイント#

結局引っかかったままでしたが、途中で遭遇した引っかかりポイントをまとめます。

1. VSX（拡張機能）の再インストール#

dev.nixで言うところの、idx.extensionsのフィールドに当たります。この拡張機能のインストール処理は、まあよく分かりません。拡張機能がインストールされたら、エディタ上にインストールされた旨が表示されるものですが、不思議なことに表示されません。なので、実際にはインストールされているのにインストールされていないことになっている。（もしくはインストールされていないのにインストールされていることになっている。）

このアベコベ状態を解消するのは、Project IDXの開発陣の方々にお任せして、使う側としてまず覚えておく必要があることは、idx.extensionsで指定した拡張機能は「ワークスペースを作った時にだけ指定すれば良い。」ということです。

まあ、このdev.nixという構成ファイルはワークスペースを作って開いた後も編集して、ワークスペースを「リビルド」することが出来るのですが、その際にビルド時に元々書いてあったidx.extensionsのフィールドにある拡張子はコメントアウトしましょう。そうしないと、dev.nix内の処理がつっかえてしまいます。installatoin failed. already installed.みたいなエラーログだったり、こんなエラーログと共に。

Installing extensions… Updating the extension ‘ms-python.python’ to the version 2024.20.0 Installing extension ‘ms-python.python’ v2024.20.0… Error while installing extension ms-python.python: Can’t install ‘ms-python.python’ extension because it is not compatible with the current version of Code OSS for Cloud Workstations (version 1.89.1). Failed Installing Extensions: ms-python.python

特にバージョン指定をしなくても、ただエディタ上でPythonを使いたいだけなので、とりあえず一度Pythonを入れてしまって、リビルドの際にはコメントアウトです。他の拡張機能も同様ですね。

2. どのパッケージを参照しているんだか分からない。#

requirements.txtのパッケージを参照してソースが動いているんだか、packagesフィールドで指定したパッケージを参照して動いているんだかよく分からないんですよね。まあでも、Python Flaskテンプレートを見たら、PythonをNixパッケージで入れたら、あとはpip install -r requirements.txtか・・・。

しかし、後述のFastAPIをProject IDXで構成する同志の方々はpkgs.python311Packages.pipをパッケージの中に入れている・・・。うーむ、解せん。まだよく分かっていません。

3. プレビュー画面が表示されない。（その1：バージョンが古い）#

最大の峠がここでした。未だに越えきれていません。

FastAPIをProject IDXで構成する同志の方々のdev.nixを拝見させていただいて、FastAPIをプレビューできる構成ファイルを見つけたのでここに共有しておきます。

idx-templates/fastapi at main · prakhar1989/idx-templates

Contribute to prakhar1989/idx-templates development by creating an account on GitHub.

この構成ファイルは、 channel = "stable-23.05"; で少し古いのですが、これでビルドするとFastAPIのページをプレビューすることが出来るようになります。これにはかなり助かりました。

しかし、このdev.nixのままでは、FastAPIでPanelを表示するページのプレビューは表示できませんでした。なので、その際に色々奮闘して、奇跡的に成功した dev.nix では、 channel = "stable-24.05"; になっていたので、おそらくそのバージョンでないとPanelの画面はプレビュー出来ないのでは無いのかと思っています。

それでは、ここから長い長いプレビュー画面を探求する旅路の記録へと参ります。

4. プレビュー画面が表示されない。（その2：Try again実行が早い。）#

プレビュー表示されなくなるというのは、 Error starting preview が表示される状態を指します。この状態は、 dev.nix の実行中でエラーが発生しています。なので、 dev.nix もしくはそのファイルで参照しているファイルを直してから Try again をすると再実行されます。修正部分が正しかったら、ちゃんとプレビューが表示されるようになります。

Error starting preview が表示される原因として、pipなどによるパッケージがまだインストールが完了していないことが考えられます。その場合は、インストールが完了するまで待ちましょう。と言っても、いつ完了するのかを確認する方法が分からないので、1分ぐらい待てば確実でしょうか。

奇跡的に成功した環境で、 Error starting preview が表示された際には、ワークスペースが開いてから少し待っていたら開いたというわけです。

5. プレビュー画面が表示されない。（その3：「Try again」を実行したかどうか。）#

これは先程とは逆のパターンですね。Error starting previewの文字を見た瞬間にすぐさまリビルドしてしまうパターン。

Try againを実行すると、No Module Namedが表示されたりする時もありますが、待機していると無事正常にレンダリングされるようになったりします。Try againしてから30秒は待ち続けた方が良いと再度記しておきます。

6. プレビュー画面が表示されない。（その4：「pycache」や「.venv」があるかどうか。）#

Pythonでpipとかでパッケージをインストールするとディレクトリの中に出てきますよね、__pycache__や.venv。それらがあると、自分が今設定した内容が果たして本当に思い描いている環境を再現する至っているのか、それが分からなくなります。

なので、リビルドする際には、__pycache__や.venvは消しておいた方が良い。環境差異が発生しにくくなります。

7. プレビュー画面が表示されない。（その5：「リビルド＝ゼロからやり直す」わけではない。）#

これは、コンテナをいつも使っていたりすると引っかかりそうですが・・・。（僕が沼った最大の原因はここかもしれません。）

Project IDXのワークスペースをリビルドすることは、環境をゼロから作り直しているわけではなく、加筆しているような感覚です。つまり、リビルドした後に上手く環境を構築できたと思ってその瞬間のファイルをメモしたら、そのリビルドの前にやったファイルの内容もメモっておく必要があったりするわけです。

なので、リビルドする前にrequirements.txtの中身を消したりしていると、その中身がビルドに必要なものだったりする可能性もあるわけです。僕は、この点を理解していなくて、奇跡的に成功したワークスペースで一体どういう構成ファイルを使ってリビルドしてきたかどうかを忘れてしまったのでした。そして未だに再現できていない・・・。

そのため、新しい環境のビルドを試している間は、自分がビルドに使ったパッケージ等はしっかりメモしておくことが必要です。コンテナを読み込み直したり、VMを再起動しているわけではないんですねえ。（もしくは、Project IDXのHome画面に戻って、ワークスペースの横にある横三点リーダーをクリックしてResetで再起動することができます。その分だけ時間が掛かるんですけどね・・・。）

9. Panelのページのプレビュー画面に出てくるエラー出力が貧弱すぎる。#

FastAPIの表示に上手くいくと、JSONは間違いなくちゃんと返してくれるようになります。

そんな感じでFastAPIの表示には上手くいくものの、Panelの表示が出来ない時、Internal Server Errorとだけ表示されます。Internal Server Errorとしか表示されません。

ブラウザを使って中身を見れるわけでも無いので、もうお手上げです。奇跡的に成功したワークスペースを参考に色々とパッケージを揃えていくものの、ずーっと、Internal Server Errorとだけ表示されます。

まとめ#

今回は、Project IDXというクラウドIDEでPanelライブラリとFastAPIフレームワークによるWebアプリの開発で挫折した記事でした。

以下、本記事のまとめです。

Project IDXのワークスペースは、.idx/dev.nixというファイルで構成していく。
idx.workspaceのonCreateの時などに、既に拡張機能をインストールしていたら、onStart時にはインストールする必要はない。むしろエラーの原因になるので、既に入っている拡張機能はコメントアウトしておく。
ワークスペースが開いて、Error starting previewが表示されたら、Try againをクリックして30秒ぐらい待っておくと、ちゃんとプレビューが開くことがある。
__pycache__や.venvによって、プレビューが開くかどうか左右されたりもする。
「リビルド＝ゼロからやり直す」わけではない。

Project IDXに関する情報は、以下の公式ページでも確認することが出来ます。

أصبح Project IDX الآن جزءًا من Firebase Studio

إعلان عن أنّ Project IDX أصبح جزءًا من Firebase Studio، مع تفاصيل حول عملية الانتقال للمستخدمين الحاليين والميزات الجديدة

なんか公式のトラブルシューティング関連のページもありました。

Project IDX が Firebase Studio に統合されました

Project IDX が Firebase Studio に統合されたことをお知らせする記事。既存のユーザー向けの移行の詳細と新機能について説明しています。

Firebase Studio Community

Project IDXのコミュニティはここにあります。ここでもIDXを使っている開発者達が互いにトラブルシューティングし合っています。

The Firebase Studio Community is the place to get your questions answered, hear directly from the team, and share your knowledge.

community.firebasestudio.dev

今回のProject IDXの構成の話って、もしかしてNginxを分かっていないとムズカシイ・・・？くそう、やったことないぞ・・・。（今度NASを組むから齧るかもしれないが。）

クラウドIDE関連記事#

その他のクラウドIDE関連の記事を貼っておきます。やっぱり当分はコイツで開発することにします。

【Google Cloud】Eclipse TheiaがルーツのCloud Shell上で使用できるエディタ

Cloud Shell Editorの紹介記事です。VSCodeライクに、Google Cloudで無料で使えます。UI、使用感、そして他のクラウド上で動くエディタとも比較しました。

nginx実践入門 (WEB+DB PRESS plus)amzn.to

Nginx ポケットリファレンスamzn.to

NGINX Unit Cookbook: Recipes for Using a Versatile Open Source Serveramzn.to

おしまい#

リサちゃん

これからどう化けるかか。

135ml

とりあえず今回は疲れた・・・

以上になります！

【PowerShell】ffmpegでmp4をgifに変換する

Thu, 12 Dec 2024 00:00:00 GMT

はじまり#

リサちゃん

GIFにしたいよなあ。

135ml

軽くしたいよなあ。

mp4をgifに変換したい。#

動画として何かしらを残しておきたい時、音声フォーマットは要らないんだよなあ。という時があります。

つまり、MP4じゃなくていい、GIFでいい。

というわけで今回は、PowerShellからmp4ファイルをgifファイルに変換していきたいと思います。

ffmpegで変換していく。#

今回、mp4からgifにファイルを変換するために、「ffmpeg」のライブラリを使っていきます。情報は沢山出てきました。定番みたいですね。

FFmpeg

ffmpegは様々なパッケージ管理ライブラリからインストールできます。今回は、Scoopからインストールしていきます。

Terminal window

1
scoop update
2
scoop install ffmpeg

そして、ffmpegでファイルを変換していきます。実行するバッチファイルはこんな感じです。

Terminal window展開する折りたたむ

1
@echo off
2
setlocal enabledelayedexpansion
3

4
echo "%1"
5

6
:: Check if space is contained.
7
set "filePath=%~1"
8
echo "Check if the source file name contains SPACE characters. That causes a bug."
9
set /p tmp="The process is starting. Input any key."
10

11
Start /WAIT Powershell -Windowstyle Normal -NoProfile -ExecutionPolicy Unrestricted -File ".\Z5-5_convert_mp4_to_gif.ps1" %1 10 1080
12

13
:FINISH
14
set /p tmp="The process is terminated. Input any key."
15

16
endlocal

展開する折りたたむ

PowerShellファイルの中身はこんな感じです。

ffmpegの-vfオプションを"split[s0][s1];[s0]palettegen[p];[s1][p]paletteuse"と指定すると、高画質に出力されます。しかし、サイズがかなり大きくなります。

逆に、"scale=1920:-1"という感じで指定すると、アスペクト比を維持しながら出力して、画質は悪くなりますがサイズがかなり減らせます。

Terminal window展開する折りたたむ

1
function Convert-Mp4ToGif([string]$srcMovieAbsName, [Int32]$loop, [Int32]$fps, [Int32]$imgWidth) {
2
  <#
3
    .Synopsis
4
      Converts an input video into an animated GIF
5
    .Description
6
      Converts an input video into a high-quality animated GIF.
7
      Supported extensions are mp4, mkv.
8
    .INPUTS
9
      System.String # Path to the source MP4 file.
10
      System.Int32 # 0: output GIF with loops forever. -1: output GIF with no loops.
11
      System.Int32 # FPS of the output GIF.
12
      System.Int32 # Width of the output GIF. 0: Outputs with higher quality with default width.
13
    .Example
14
      Convert-Mp4ToGif -srcMovieAbsName "C:\path\to\video.mp4" -fps 30
15
      Get-ChildItem -Path "C:\path\to\videos" -Filter "*.mp4" | ForEach-Object { Convert-Mp4ToGif -srcMovieAbsName $_.FullName -loop 0 -fps 15 -imgWidth 0 }
16
      Get-ChildItem -Path "C:\path\to\videos" -Filter "*.mkv" | ForEach-Object { Convert-Mp4ToGif -srcMovieAbsName $_.FullName -loop 0 -fps 15 -imgWidth 0 }
17
    .Link
18
      Nothing.
19
    .Notes
20
      Enjoy.
21
  #>
22
  Write-Host ("{0}: converting mp4 to gif.`n" -f $MyInvocation.MyCommand.Name);
23
  Write-Output "Input: $srcMovieAbsName";
24
  $srcFile = Get-Item -Path $srcMovieAbsName;
25
  Write-Output "{0}" -f $srcFile.BaseName;
26

27
  $dstExt = ".gif";
28
  $srcFileDirectory = Split-Path $srcFile.FullName
29
  $dstMovieAbsName = "{0}\{1}{2}" -f $srcFile.Directory, $srcFile.BaseName, $dstExt;
30
  Write-Host ("{0}: destination decided.`n" -f $MyInvocation.MyCommand.Name);
31
  Write-Output "directory: $srcFileDirectory"
32
  Write-Output "destination to output: $dstMovieAbsName"
33

34
  $vfStr = "split[s0][s1];[s0]palettegen[p];[s1][p]paletteuse";
35
  if ($imgWidth -ne 0){
36
    $vfStr = "scale={0}:-1" -f $imgWidth;
37
  }
38
  ffmpeg -i "$srcMovieAbsName" -vf $vfStr -r $fps -loop $loop $dstMovieAbsName;
39
  Write-Host ("{0}: finished converting mp4 to gif.`n" -f $MyInvocation.MyCommand.Name);
40

41
  return $dstMovieAbsName;
42
}
43

44

45
$targetFolder = (Get-Location).Path;
46
$srcMovieAbsName = $Args[0];
47
$dstFps = $Args[1];
48
$dstImgWidth = $Args[2];
49
Write-Host ("{0}: destination decided.`n" -f $MyInvocation.MyCommand.Name);
50
Write-Output "srcMovieAbsName: $srcMovieAbsName"
51
if ($srcMovieAbsName.Contains(" ")) {
52
  $tmp = Read-Host "Source file name contains space characters. Input 'y' to cancel this process.";
53
  return;
54
}
55
if (-not $srcMovieAbsName.Contains(".")) {
56
  $tmp = Read-Host "Source file name does not contain a dot as extension. Input 'y' to cancel this process.";
57
  return;
58
}
59

60
Convert-Mp4ToGif $srcMovieAbsName 0 $dstFps $dstImgWidth;
61

62
$tmp = Read-Host "Input 'y' to move source files and terminate this process......";
63
If ($tmp -eq "y") {
64
  $folderName = ".\5_original_files";
65
  If (!(Test-path $targetFolder\$folderName)) {
66
    New-Item -Name $folderName -ItemType Directory;
67
  }
68
  # Move-Item -Path .\*.mp4 -Destination $folderName -Exclude *$suffix*;
69
}

展開する折りたたむ

変換されたGIFはこんな風に動きました。FPS10です。

まとめ#

今回の記事では、ffmpegライブラリを使って、mp4をgifに変換する流れを紹介しました。

これで動画を手頃なサイズで共有できるようになりましたね。

PowerShell関連記事#

その他のPowerShell関連の記事を貼っておきます。

【PowerShell、HTML】画像の不要な部分を数値化して、その座標でトリミングする

HTMLとJavaScriptとPowerShellで画像を一気にトリミングする記事です。OutOfMemoryExceptionとExternalExceptionをWrite-Errorでやり過ごしたりします。

おしまい#

リサちゃん

軽くなったなあ。

135ml

GIFになったなあ。

以上になります！

【Cloud SQL】GolangでDBインスタンスの開始停止をDiscordで通知する

Mon, 09 Dec 2024 00:00:00 GMT

はじまり#

リサちゃん

うーん、あの関数って実行されたのかなあ・・・

135ml

いちいちコンソールを開くのは面倒だよなあ

以前に作ったCloud SQLを自動で制御するツール#

以前にCloud SQLにDBインスタンスを自動で起動もしくは停止するCloud Run Functionsを作成して、自動実行させるようにしました。

【Cloud SQL】GolangでDBインスタンスの開始停止をスケジュール実行して節約する

Golangで書いたCloud Run FunctionでCloud SQLインスタンスの起動と停止を行い、Cloud SchedularとPub/Subでスケジュール実行してコスト削減を図ります。

いやぁ、ちゃんと自動で実行されているとは思うんですけど、もしかしたらちゃんと実行されてないかもしれないじゃないですか。いや、されてると思うんですけど。しかし、Google Cloudのコンソールをいちいち開くのは面倒くさい。

・・・という心配の種が生まれないように、今回はGoで実装したCloud Run Functionsに、Discordに関数の実行を通知する機能を追加したいと思います。それではやっていきましょう。

DiscordのWebhookを叩きます。#

「Discord Go」でググると、こんなパッケージがヒットします。

GitHub - bwmarrin/discordgo: (Golang) Go bindings for Discord

(Golang) Go bindings for Discord. Contribute to bwmarrin/discordgo development by creating an account on GitHub.

Webhook Resource - Documentation - Discord

しかし今回は、ただWebhookを叩けばいいだけなので、その「discordgo」のパッケージは使わないことにします。 Discord Webhook APIのリファレンスがこちら。

Documentation - Discord

Reference for Discord webhook objects and management endpoints.

docs.discord.com

Discordを開いて、Webhook URLを取得しておきます。

それでは早速Discordに通知する機能の実装部分です。

1
// Package mypkg contains a Function to request to Discord Webhooks.
2
package mypkg
3

4
import (
5
  "bytes"
6
  "encoding/json"
7
  "errors"
8
  "fmt"
9
  "net/http"
10
)
11

12
// Payload represents the payload structure for Discord notification.
13
type Payload struct {
14
  Username string      `json:"username"`
15
  Content  string      `json:"content"`
16
  Embeds   interface{} `json:"embeds,omitempty"`
17
  TTS      bool        `json:"tts"`
18
}
19

20
// Embed represents a single embed structure.
21
type Embed struct {
22
  Title     string `json:"title"`
23
  Color     int    `json:"color"`
24
  URL       string `json:"url"`
25
  Footer    Footer `json:"footer"`
26
  Timestamp string `json:"timestamp,omitempty"`
27
}
28

29
// Footer represents the footer for an embed.
30
type Footer struct {
31
  Text    string `json:"text"`
32
  IconURL string `json:"icon_url"`
33
}
34

35
// CreatePayloadOfDiscordNotification creates a payload for Discord webhook notification.
36
func CreatePayloadOfDiscordNotification(botName, content string, embeds []Embed, isTTS bool) (Payload, error) {
37
  if len(botName) > 2000 {
38
    return Payload{}, errors.New("'botName' must be less than or equal to 2000 characters")
39
  }
40
  if len(content) > 2000 {
41
    return Payload{}, errors.New("'content' must be less than or equal to 2000 characters")
42
  }
43
  if len(embeds) > 10 {
44
    return Payload{}, errors.New("length of 'embeds' must be less than or equal to 10")
45
  }
46

47
  return Payload{
48
    Username: botName,
49
    Content:  content,
50
    Embeds:   embeds,
51
    TTS:      isTTS,
52
  }, nil
53
}
54

55
// CreateEmbedsToNotifyCloudSql creates embeds for notification about DB booting.
56
func CreateEmbedsToNotifyCloudSql(textToTransit, urlToTransit, iconURL string) []Embed {
57
  return []Embed{
58
    {
59
      Title: textToTransit,
60
      Color: 4569935,
61
      URL:   urlToTransit,
62
      Footer: Footer{
63
        Text:    "GoogleCloudSQL",
64
        IconURL: iconURL,
65
      },
66
    },
67
  }
68
}
69

70
// NotifyToDiscord sends a notification to a Discord webhook.
71
func NotifyToDiscord(webhookURL string, payload Payload) (string, error) {
72
  payloadBytes, err := json.Marshal(payload)
73
  if err != nil {
74
    return "", fmt.Errorf("failed to marshal payload: %v", err)
75
  }
76

77
  req, err := http.NewRequest("POST", webhookURL, bytes.NewBuffer(payloadBytes))
78
  if err != nil {
79
    return "", fmt.Errorf("failed to create HTTP request: %v", err)
80
  }
81
  req.Header.Set("Content-Type", "application/json")
82

83
  client := &http.Client{}
84
  resp, err := client.Do(req)
85
  if err != nil {
86
    return "", fmt.Errorf("failed to send HTTP request: %v", err)
87
  }
88
  defer resp.Body.Close()
89

90
  if resp.StatusCode != http.StatusOK && resp.StatusCode != http.StatusNoContent {
91
    return "", fmt.Errorf("unexpected HTTP response: %s", resp.Status)
92
  }
93

94
  return "Notification sent successfully", nil
95
}
96

97
// NotifyDbBooting sends a notification about Google Cloud SQL.
98
func NotifyDbBooting(content, textToTransit, urlOfConsoleForDbInstance, webhookUrl, iconUrl string) (map[string]string, error) {
99
  botName := "CloudSQLあゆ"
100

101
  embeds := CreateEmbedsToNotifyCloudSql(textToTransit, urlOfConsoleForDbInstance, iconUrl)
102
  payload, err := CreatePayloadOfDiscordNotification(botName, content, embeds, false)
103
  if err != nil {
104
    return nil, err
105
  }
106

107
  response, err := NotifyToDiscord(webhookUrl, payload)
108
  if err != nil {
109
    return nil, err
110
  }
111

112
  fmt.Println(response)
113
  return map[string]string{
114
    "destinations":    "discord",
115
    "discord_content": content,
116
  }, nil
117
}

展開する折りたたむ

こんな風に叩けば動く「NotifyDbBooting」という関数が出来ました。

1
func main() {
2
  content := "データベース起動！"
3
  textToTransit := "DBを起動したよ！"
4
  urlOfConsoleForDbInstance, ok := os.LookupEnv("MY_DB_INSTANCE_URL"); if !ok {
5
    fmt.Printf("Error: %v\n", ok)
6
  }
7
  webhookURL, ok := os.LookupEnv("MY_DISCORD_WEBHOOK_URL"); if !ok {
8
    fmt.Printf("Error: %v\n", ok)
9
  }
10
  iconURL, ok := os.LookupEnv("CLOUD_SQL_ICON_URL"); if !ok {
11
    fmt.Printf("Error: %v\n", ok)
12
  }
13

14
  result, err := mypkg.NotifyDbBooting(content, textToTransit, urlOfConsoleForDbInstance, webhookURL, iconURL)
15
  if err != nil {
16
    fmt.Printf("Error: %v\n", err)
17
  } else {
18
    fmt.Printf("Notification result: %+v\n", result)
19
  }
20
}

展開する折りたたむ

リクエストでpostするJSONの内容（ペイロード）は、このように構成されています。

Username：Webhookで送られる通知の送り主（ボット）の名前。
Content：Webhookで送られる通知の文章。
Embeds：Webhookで送られる通知では一部の情報を埋め込んで、その情報を目立たせることが出来る。その「埋め込み」の内容。
TTS：そのWebhookで送られた通知を表示する時に、その内容を音声として再生させるかどうか。

リクエストでpostするJSON内の"Embeds"フィールドの中身は、このように構成されています。

Title：埋込み内のテキストの内容。
Color：埋込みの帯の色。
URL：埋込み内のテキストにリンクされているURL。
Footer
- Text：フッターのテキストの内容。
- IconURL：フッターにはアイコンを付けられる。そのアイコン画像のURL。

Cloud Run Functionsの更新。#

それでは、「cloudsql-launcher」という名前のCloud Run Fucntionsをデプロイします。既に同じ関数名でデプロイしてあったら上書きされます。

Terminal window

1
gcloud functions deploy cloudsql-launcher \
2
  --gen2 \
3
  --runtime=go123 \
4
  --project={My_PROJECT} \
5
  --region={MY_REGION} \
6
  --source=. \
7
  --entry-point=ProcessPubSub \
8
  --trigger-service-account={MY_APP_ENGINE_SERVICE_ACCOUNT} \
9
  --trigger-topic={MY_PUBSUB_TOPIC_ID} \
10
  --allow-unauthenticated \
11
  --timeout=180s \

Cloud Schedulerメッセージの追加。#

Pub/Subトピックから決まった時間に発行するCloud Schedulerジョブを新規作成します。まずは、DBインスタンス起動用のジョブを追加します。

Terminal window展開する折りたたむ

1
gcloud scheduler jobs create pubsub start-{MY_DB_INSTANCE}-instance \
2
  --schedule="0 4 * * 0-6" \
3
  --description="Trigger Cloud Functions to start Cloud SQL instance." \
4
  --project="{My_PROJECT}" \
5
  --location="{MY_LOCATION}" \
6
  --time-zone="Asia/Tokyo" \
7
  --topic="{MY_PUBSUB_TOPIC_ID}" \
8
  --message-body="{ \
9
    \"Instance\": \"{MY_DB_INSTANCE_ID}\", \
10
    \"Project\": \"{MY_PROJECT_ID}\", \
11
    \"Action\": \"start\", \
12
    \"DbInstanceUrl\": \"{MY_DB_INSTANCE_URL}\", \
13
    \"DiscordWebhookUrl\": \"{MY_DISCORD_WEBHOOK_URL}\", \
14
    \"CloudSqlIconUrl\": \"{CLOUD_SQL_ICON_URL}\" \
15
  }" \

展開する折りたたむ

まずは、DBインスタンス停止用のジョブを追加します。

Terminal window展開する折りたたむ

1
gcloud scheduler jobs create pubsub stop-{MY_DB_INSTANCE}-instance \
2
  --schedule="0 7 * * 0-6" \
3
  --description="Trigger Cloud Functions to stop Cloud SQL instance." \
4
  --project="{My_PROJECT}" \
5
  --location="{MY_LOCATION}" \
6
  --time-zone="Asia/Tokyo" \
7
  --topic="{MY_PUBSUB_TOPIC_ID}" \
8
  --message-body="{ \
9
    \"Instance\": \"{MY_DB_INSTANCE_ID}\", \
10
    \"Project\": \"{MY_PROJECT_ID}\", \
11
    \"Action\": \"stop\", \
12
    \"DbInstanceUrl\": \"{MY_DB_INSTANCE_URL}\", \
13
    \"DiscordWebhookUrl\": \"{MY_DISCORD_WEBHOOK_URL}\", \
14
    \"CloudSqlIconUrl\": \"{CLOUD_SQL_ICON_URL}\" \
15
  }" \

展開する折りたたむ

Cloud Schdulerで発行されるジョブを新しく追加しました。古いものは後で一時停止しておきます。

Note

ちなみに、gcloud scheduler jobs createでジョブを作成した後[1]+ Done gcloud scheduler jobs createというメッセージがCLI上で表示されたら、コマンドのどこかが間違っている可能性があります。例えば、JSONの中のURLが間違ってたり。（クエリパラメーターの?（クエスチョンマーク）や&（アンパサンド）をエスケープしていなかったり。でも二重引用符をエスケープしていたらエスケープする必要がなかったり。）

Cloud Run関数の実行結果を確認。#

それではデプロイしたCloud Run FunctionsおよびPub/Subの実行結果をDiscordで確認します。しっかりDBの起動もしくは停止の関数が動くと、関数が起動した時間にDiscordでボットから通知が飛んでいます。

まとめ#

今回は、Go言語でCloud SQLに作成したDBインスタンスを自動で開始および停止するCloud Run Functionsが実行された時に、Discord上で通知を飛ばす機能を実装する手順を紹介しました。

これで、Cloud Run Functionsが実行されたことをDiscord上で把握できます。助かるぞお。

おしまい#

リサちゃん

よし、今日も実行されたな

135ml

DB停止！

以上になります！

Project IDXというクラウドIDEを触ってみました。

Sun, 08 Dec 2024 00:00:00 GMT

はじまり#

リサちゃん

なんだぁ？　このIDEはぁ？

135ml

使えるかもしれん。

Project IDXとかいうクラウドIDE#

つい最近に存在を知った、クラウドIDEの一種です。

最近、ちょっとした便利ツールの開発にはCloud Shell Editorを使ってばかりいますが、コイツには使用制限時間というものがあります。1週間で50時間まで。それでまあ、色々と作りたくなってくるとこんな1日7時間なんていう時間では収まらなくなるものでして、何かしら2つ目のIDEが欲しくなってきたんですよね。

そこで最近、パラパラパラ～っと調べてみると、なんかあるじゃないですか。Cloud Shell Editorに似たようなIDEが！

そのIDEの名前は、「Project IDX」。

このIDEも、クラウド上、Web上で触ることが出来るIDEでして、開発元はCloud Shell Editorと同じくGoogle様です。

そんなわけで、Geminiが組み込まれていたり、Google CloudやFirebaseとの連携がスムーズに出来そう。

2024-12-05時点では、無料で利用することが出来ます。

Project IDXの概要#

Project IDXは、巷で盛んなフレームワークとプログラミング言語をサポートしていて、コーディング、ビルド、デプロイ、デバッグなどの一通りの機能を備えています。

Project IDXの理念#

Project IDX公式のブログを見てみたいと思います。

Project IDXのIntroduction的なページから確認してみます。

Firebase Studio

Introducing Project IDX, An Experiment to Improve Full-stack, Multiplatform App Development

At the heart of Project IDX is our conviction that you should be able to develop from anywhere, on any device, with the full fidelity of local development. Every Project IDX workspace has the full capabilities of a Linux-based VM, paired with the universal access that comes with being hosted in the cloud, in a datacenter near you.

ですよねえ。どこからでも、どのデバイスからでも開発できるっていうIDEが欲しいんですよね。

プラットフォーム間でアプリをプレビューする#

Project IDXでは、Webアプリのプレビューが出来て、さらにモバイルアプリのプレビューも可能なようです。

Creating successful apps today means optimizing your app design and behavior across platforms, and previewing your apps just as your users would see them. To make this easier, Project IDX includes a built-in web preview and, coming soon, a fully-configured Android emulator and an embedded iOS simulator, all available directly in the browser.

Project IDX には、組み込みの Web プレビューが搭載されていて、ゆくゆくは完全に構成された Android エミュレーターと組み込みの iOS シミュレーターが、全てのブラウザーで直接利用できるようになるみたいです。今回は確認しませんでしたが、モバイル開発がスムーズに行えそうな印象です。

フレームワークとプログラミング言語のテンプレート#

Project IDXでは、フレームワークとプログラミング言語のテンプレートが用意されているので、そのテンプレから開発を始めることが出来ます。2024-12-05時点では以下のランタイムのテンプレが提供されています。（あれ、モバイルのところにKotlinが無いのが意外。）

フロントエンド:

Angular
Astro
React
Next.js
Svelte
Simple HTML
Vue.js
SolidJS
Preact
Nuxt
React + Google Maps Platform

バックエンド:

Go
Python Flask
Node Express
Rust
Laravel
Python Django
Gemini API (Go Backend)
Gemini API (Python Backend)
.NET
Java
Dart
C++
Ruby
PHP

モバイル:

Flutter
React Native + Expo

AI & ML:

Gemini API
LangChain with Gemini
Firebase Genkit
IDX Agents: GitHub Action
IDX Agents: VSCode Extension
Gemini API Notebook
Gemini API + Google Maps Platform

Databases:

Postgres
MySQL (Experimental)
Prisma
MongoDB
Firebase Data Connect

その他:

Blank Workspace
React + Google Maps Platform
Firebase Data Connect

そしてこれらの言語やフレームワークなどのテンプレに加えて、アプリのテンプレもありました。Solutionsというセクションの中にありました。

GitHubからのインポートから、ワークスペースからのデプロイまで#

Project IDXで作業を開始する時に、独自のアプリを IDX に持ち込むか、GitHub のパブリックリポジトリまたはプライベートリポジトリから作業を開始できます。

そして、色々と開発を進めていって、そのワークスペースから直接、Web プロジェクトまたは Flutter Web プロジェクトを Firebase Hosting 等にデプロイ出来るようです。

AIによるコーディング支援#

Cloud Shell EditorでもGeminiが使えるように、Project IDXでもGeminiを使ってコーディングを加速させることが出来ます。

コードの候補を表示したり、チャットベースでコードを作成してもらうことも可能です。

Geminiとチャットしたデータは学習に利用されるようです。データは18ヶ月間保存されるらしい。

ワークスペースの数は無料で5個まで#

そんなにあれやこれやとワークスペースを無尽蔵に作成できるわけではなく、Google Developer Programのスタンダードプラン（無料）に参加すると、5個までIDXのワークスペースを作成できるようになるようです。

Settings | Google Developer Program | Google for Developers

以下が、Google Developer Programのスタンダードプランの参加特典のようです。

Gemini in developer documentation and tools・・・AI チャットを使用すると、役立つドキュメント、サンプルコード、学習コンテンツを入手できます。API を調べて、ドキュメントの検索エクスペリエンスを強化します。Android Studio と IDX の AI コンパニオンを利用すると、コードの生成、エラーのトラブルシューティング、ベストプラクティスの学習が可能になり、高品質のアプリをより迅速に構築できるようになります。
Additional IDX workspaces・・・開発用に 3 つの追加の IDX ワークスペースのロックを解除します (メンバーシップがない場合のデフォルトは 2 つ)。
Google Cloud ラーニング・・・Cloud Innovators のメンバーには、プレミアムクラウド学習のためのクレジットが毎月 35 クレジット (小売価格 35 ドル/月) 無料で提供されます。
Save progress and collections・・・Android、Cloud、Firebase をはじめとする 30 以上の Google デベロッパープロダクトに関する学習の進捗状況を記録し、カスタムコレクションを作成できます。
Early access to new products and features・・・リリース前に新製品を試すための特別招待を受け取ります。Google のエンジニアリングチームにフィードバックを共有してください。
バッジを獲得・・・イベントへの参加やさまざまなデベロッパーの実績に応じて、700 以上のバッジを獲得できます。

とりあえず入ってみる。#

スマホから入ってみる。#

それではProject IDXの中身を見ていきましょう。

2024-12-05時点では、Waitlistなどに申請する必要はなく、すぐにエディタを触り始めることが出来ます。

まずは、スマホのブラウザから確認してみます。なんと、スマホからでもHome画面は特に問題なく覗くことが出来ました。

同じGoogleが開発しているCloud Shell Editorでは、スマホから開こうとすると「モバイルブラウザはサポートされていません。GCPアプリでCloud Shellをお試しください。」という警告文が表示されます。もしかして、Android、Chromebookから開発できるようにしているということか？？（単にベータ版だから表示していないだけかも。）

それでは立ち戻ってProject IDXです。今回は適当にPython Flaskアプリを作成してみます。

VMが立ち上がって、Flaskの環境が構築されていきます・・・。アプリを作り始めるところまでの環境の全てを自動でセットアップしてくれます。Cloud Shellでは、gcloudやPythonやGoが最初から入っていたりはするんですけど、Flaskなどのフレームワークによるアプリの雛形を構築するような機能は無いんですよね。便利ですねえ。（まあ、ここで手に入れたテンプレをGitHubにテンプレートリポジトリとしてプッシュするのもアリな気がしてきた。）

セットアップが終わりました！　それではスマホから編集ができるかどうかを確かめてみます。

・・・でも、やっぱり画面がこの状態からスクロールすることが出来ず、スワイプでズームしても意図したところにフォーカスすることは出来ませんでした。さすがにまだスマホから開発を進めることは難しそうです・・・。

スマホの向きを横にしても厳しそうでした。これ以上は無理ダッッ・・・。

PCから入ってみる。#

さて、今度はPCからProject IDXの玄関をちゃんと見てみます。

PCから閲覧すると、先程紹介したGoogle Developer Programへの参加を促すダイアログが表示されました。

そして、Home画面に遷移すると、先程作成したFlask アプリが見えたので、引き続きやっていきたいと思います。

これがProject IDXをPCから見た時の画面になります。

ワークスペースにあるファイルの内容を、ワークスペース右側で確認することが出来るようになっていました。

ファイルを更新すれば、右側のプレビューも更新できます。プレビューの更新方法としてはHot Reload``Full Reload``Hard Restartの3種類が選べました。Hot Reloadでは、ファイルを保存すると自動的に更新されるので開発が楽に進められそうです。

それでは適当に/studentというパスを追加して、そのパスで表示するページの内容も確認してみます。ファイルの中でエラーが発生すると、右側のプレビューでエラートレースを確認することが出来ます。

ファイルを修正してプレビューを更新します。右側のプレビューの検索窓には元々「/」と入力されていましたが、そこを/studentに変えてリロードすると、/studentのパスの処理が実行されて、ページを更新することが出来ました。

サイドバーを確認してみる。#

ワークスペース左側のサイドバーを確認していきます。

上から、ナビゲーションメニュー、ディレクトリ内のファイル閲覧、ファイルの検索、ソース管理、デバッグ、拡張機能、テスト、最後にはProject IDXというボタンもありました。

拡張機能は、OpenVSXからインストールできるみたいです。最初はPythonしかインストールされていませんでした。

試しに、Markdown Preview GitHub Stylingを入れてみます。

拡張機能が動いて、Markdownのプレビューを確認することができました。

さらに、サイドバーからProject IDXを選択すると、Google系のクラウドサービスへのデプロイやその他APIをアプリに組み込むことが出来そうです。IDE上で表示されていたのは以下のサービスでした。

Host Web App with Firebase
Deploy to Cloud Run
Add Gemini API
Add Google Maps Platform
Add Secret Manager

そして、拡張機能を一気にインポートできるように、プロファイルのインポート機能もありました。そのために、エクスポートからする必要がありますが、現時点では以下の項目をエクスポート出来るようです。つまり利用できるのは、settings.json、「UIの状態」や「拡張機能」ってことですかね。キーバインドはまだですかね？

試しに、Cloud Shell Editorにあるプロファイルをインポートしてみます。あっ、キーバインドとスニペットもインポートできるみたいです。新規のプロファイルを作ります。

インポートが終わりました。プロファイル内にあるOpenVSXの拡張機能はしっかりインストールされて、UIもプロファイルのものに反映されました。

その他にもUIをゴニョゴニョ変えられそうですね。

gcloudとか出来るのでしょうか#

そういえば、Terminalをまだ触っていませんでした。試しにgcloudがインストールされているかどうかを試してみます。gcloud versionが通ったので、gcloudは最初からインストールされているみたいですね。

gcloud app deployと打ってみると、認証が始まりそうな感じがしました。そうですね、Cloud Shell Editorとは違って、Google Cloudのプロジェクトにはまだログインしていない状態ですよね。gcloud auth loginをすれば、このFlaskアプリをデプロイ出来そうです。

まとめ#

今回は、Googleが開発していてベータ版が公開されている（2024-12-05時点）「Project IDX」というクラウドIDEの紹介記事でした。

以下、本記事のまとめです。

Project IDXでは、Webブラウザ上でGitHubリポジトリのクローン、コーディング、クラウドサービスへのアプリのデプロイまで一貫して行うことが出来る。
フレームワークとプログラミング言語のテンプレートが用意されていて、セットアップやファイルの準備まで自動で行ってくれる。すぐに開発を始められる。
モバイルアプリの開発およびエミュレーターで挙動を確認することが出来る。
Project IDXでは、無料でワークスペースを5個まで作成することが出来る。
Project IDXは、もしかしたらAndroidのブラウザからでも開発できるようになるかもしれない。
別のクラウドIDEやVSCodeなどにあるプロファイルをそのままインポート出来る。

Project IDXに関する情報は、以下の公式ページでも確認することが出来ます。

أصبح Project IDX الآن جزءًا من Firebase Studio

إعلان عن أنّ Project IDX أصبح جزءًا من Firebase Studio، مع تفاصيل حول عملية الانتقال للمستخدمين الحاليين والميزات الجديدة

今度触る時は、Androidのエミュレーターがちゃんと動くかどうか等を確認してみたいですね。

クラウドIDE関連記事#

その他のクラウドIDE関連の記事を貼っておきます。

【Google Cloud】Eclipse TheiaがルーツのCloud Shell上で使用できるエディタ

Cloud Shell Editorの紹介記事です。VSCodeライクに、Google Cloudで無料で使えます。UI、使用感、そして他のクラウド上で動くエディタとも比較しました。

おしまい#

リサちゃん

これからどう化けるかか。

135ml

楽しみだ。

以上になります！

【PowerShell、HTML】画像の不要な部分を数値化して、その座標でトリミングする

Sat, 07 Dec 2024 00:00:00 GMT

はじまり#

リサちゃん

こんなにいっぱいトリミングは大変だぁぁッ！

135ml

じゃあ、一気に出来るようにしよう。

HTMLとJavaScriptとPowerShellで一気にトリミング。#

色々と記事を書いていて、そのための画像を作っていると必要になってくるんですよね。画像のトリミングツール。

以前に作ったものもあるんですけど、もうちょい楽に動かせないのかと思って、この際新しく作り直しました。

ツール全体の処理の流れとしては、ブラウザ上で画像を表示してその上でバーを動かしてトリミングする座標を特定して、その座標をPowerShellの関数に渡してその画像があるフォルダ内の画像を一気にトリミングする。といった感じのものです。

トリミングする様子はこんな感じです。それでは行ってみましょう。

HTML、JavaScriptによる座標の可視化#

それではまずは、画像のどの部分が不要なのかを可視化出来るツールを作っていきます。

以前に、Pythonでmatplotlibとtkinterのライブラリを使った大所帯でトリミングツールを作りました。今回作ろうと思っているツールも殆ど同じ機能のものです。

【Python】複数の画像を一気にトリミングするスクリプトを作った話

複数の画像を一気にトリミングするツールをPythonで作りました。使い方としては、最初に切り出したい範囲を選んで確定したら、そのエリアで後続の画像も切り出します。利用したモジュールは、OpenCVやTkinter、matplotlibになります。

しかし、この程度のトリミングツールにそんなに大層なライブラリを使う必要はなく、Pythonをインストールする必要もありません。

今回は、HTMLで作っていきたいと思います。HTMLで作れそうなことは勘付いていましたが、フロントエンド開発の経験が殆どない僕は実際にどういうものを使えば作れるのかは分かっていませんでした。

ですがしかし、生成AI、今回はNVIDIA様のNemotron 70B-Instruct君に聞いたら、使えそうなコードを作ってくれましたので、それを元に作りました。（本当に生成AIって凄いですね・・・。）

HTMLとJavaScriptのコードの概観#

というわけで、実際にトリミング座標描画ツールを実装したHTMLおよびJavaScriptコードは以下になります。HTMLに設置したdivタグに画像を表示して、その上にバーも表示してさらに移動させることが出来るみたいです。

index.html:

1
<!DOCTYPE html>
2
<html lang="ja">
3

4
<head>
5
  <meta charset="UTF-8">
6
  <meta name="viewport" content="width=device-width, initial-scale=1.0">
7
  <title>image_trimmer</title>
8
  <link rel="stylesheet" href="style.css">
9
</head>
10

11
<body>
12
  <input type="file" id="imageLoader" accept="image/*">
13
  <div id="imageView" style="position: relative; width: fit-content;">
14
    <img id="imageElement" src="" alt="Choose an image.">
15
    <!-- Vertical Bar（X-axis_upper） -->
16
    <div id="draggableBarXUpper"
17
      style="position: absolute; width: 5px; height: 100%; background-color: red; cursor: grab; left: 0;"></div>
18
    <!-- Horizontal Bar（Y-axis_upper） -->
19
    <div id="draggableBarYUpper"
20
      style="position: absolute; width: 100%; height: 5px; background-color: blue; cursor: grab; top: 0;"></div>
21
    <!-- Vertical Bar（X-axis_lower） -->
22
    <div id="draggableBarXLower"
23
      style="position: absolute; width: 5px; height: 100%; background-color: yellow; cursor: grab; left: 0;"></div>
24
    <!-- Horizontal Bar（Y-axis_lower） -->
25
    <div id="draggableBarYLower"
26
      style="position: absolute; width: 100%; height: 5px; background-color: green; cursor: grab; top: 0;"></div>
27
  </div>
28
  <div style="display: flex; gap: 10px;">
29
    <span>X: </span>
30
    <input type="text" id="coordinateXUpperDisplay" readonly style="width: 100px;">
31
    <span id="coordinateXUpperUnit">px</span>
32
    <span>Y: </span>
33
    <input type="text" id="coordinateYUpperDisplay" readonly style="width: 100px;">
34
    <span id="coordinateYUpperUnit">px</span>
35
  </div>
36
  <div style="display: flex; gap: 10px;">
37
    <span>X: </span>
38
    <input type="text" id="coordinateXLowerDisplay" readonly style="width: 100px;">
39
    <span id="coordinateXLowerUnit">px</span>
40
    <span>Y: </span>
41
    <input type="text" id="coordinateYLowerDisplay" readonly style="width: 100px;">
42
    <span id="coordinateYLowerUnit">px</span>
43
  </div>
44
  <p id="lockStatus"></p><!-- Paragraph to show the status of lock -->
45
  <div style="display: flex; gap: 10px;">
46
    <span>X: </span>
47
    <input type="text" id="coordinateXUpperDisplayToRecord" style="width: 100px;">
48
    <span id="coordinateXUnit">px</span>
49
    <span>Y: </span>
50
    <input type="text" id="coordinateYUpperDisplayToRecord" style="width: 100px;">
51
    <span id="coordinateYUnit">px</span>
52
  </div>
53
  <div style="display: flex; gap: 10px;">
54
    <span>X: </span>
55
    <input type="text" id="coordinateXLowerDisplayToRecord" style="width: 100px;">
56
    <span id="coordinateXUnit">px</span>
57
    <span>Y: </span>
58
    <input type="text" id="coordinateYLowerDisplayToRecord" style="width: 100px;">
59
    <span id="coordinateYUnit">px</span>
60
  </div>
61
  <p id="copyToCb"></p><!-- Paragraph to show the status whether coordinates are copied into clipboard or not. -->
62

63
  <script src="script.js"></script>
64
</body>
65

66
</html>

展開する折りたたむ

style.css（要るのか？）:

1
/* style.css - Image and Bar Basic Styles */
2
#draggableBarYUpper {
3
  left: 0;
4
  /* Initialize position to the left edge of the image */
5
  top: 0;
6
  /* Align vertically to the center of the image */
7
  transform: translateY(-50%);
8
}
9

10
#draggableBarXUpper {
11
  top: 0;
12
  /* Initialize position to the top of the image */
13
  left: 0;
14
  /* Align horizontally to the center of the image */
15
  /* No need for 'left: 50%' and 'transform' to match the image width */
16
}
17

18
#draggableBarYLower {
19
  left: 0;
20
  /* Initialize position to the left edge of the image */
21
  top: 100;
22
  /* Note: This seems to be a specific offset rather than centering */
23
  transform: translateY(-50%);
24
}
25

26
#draggableBarXLower {
27
  top: 0;
28
  /* Initialize position to the top of the image */
29
  left: 0;
30
  /* Align horizontally to the center of the image */
31
  /* No need for 'left: 50%' and 'transform' to match the image width */
32
}

展開する折りたたむ

script.js:

1
// script.js - Image Loading and Mouse Tracking Bar Functionality
2

3
const handleImageChange = (e) => {
4
  update(false, { isInputting: false, e: null }, { isUpdating: false, e: e }, { isImageChanged: true, e: e });
5
  updateLockStatusDisplay(true, false); // Show default lock state post-image loading
6
}
7
document.getElementById("imageLoader").addEventListener("change", handleImageChange);
8

9
const handleBarsAndCoordinates = (e) => {
10
  const isLocked = updateLockStatusDisplay(false, null); // Update lock status on mouse move
11
  if (!isLocked) { // Allow bar movement only if not locked
12
    update(false, { isInputting: false, e: null }, { isUpdating: true, e: e }, { isImageChanged: false, e: null });
13
  }
14
}
15
document.addEventListener("mousemove", handleBarsAndCoordinates);
16

17
const updateCoordinateInput = (e) => {
18
  updateLockStatusDisplay(true, true); // Update lock status
19
  update(false, { isInputting: true, e: e }, { isUpdating: false, e: e }, { isImageChanged: false, e: null });
20
}
21
document.addEventListener("mousedown", updateCoordinateInput);
22

23
const unlockBar = (e) => {
24
  updateLockStatusDisplay(true, false); // Update lock status
25
  update(true, { isInputting: false, e: null }, { isUpdating: false, e: null }, { isImageChanged: false, e: null });
26
}
27
document.addEventListener("mouseup", unlockBar);
28

29
const updateLockStatusDisplay = (isUpdating, isLocking) => {
30
  let flg;
31
  if (isUpdating) {
32
    flg = isLocking;
33
  }
34

35
  const lockStatusDisplay = document.getElementById("lockStatus"); // element to indicate lock state
36
  lockStatusDisplay.innerText = flg ? "Locking..." : "Releasing now.";
37
  lockStatusDisplay.style.color = flg ? "red" : "green"; // Change color based on lock status
38
  return flg;
39
}
40

41
const copyToClipboard = (copyStatusesToCb, coordinateXUpper, coordinateYUpper, coordinateXLower, coordinateYLower) => {
42
  const sep = " ";
43
  const copyText = `${coordinateXUpper.value}${sep}${coordinateYUpper.value}${sep}${coordinateXLower.value}${sep}${coordinateYLower.value}`;
44
  navigator.clipboard.writeText(copyText).then(() => {
45
    const newElement = document.createElement("p");
46
    newElement.textContent = "copied!";
47
    copyStatusesToCb.insertAdjacentElement("afterend", newElement);
48
    setTimeout(() => {
49
      newElement.remove();
50
    }, 1000);
51
  }, (err) => {
52
    console.error("Asynchronous clipboard write failed.", err);
53
  });
54
}
55

56
const updateStateOfBarActivation = (indexOfActiveBar) => {
57
  const NUMBER_OF_BAR = 2;
58
  return (isBarStateUpdating, propsForCoordRecordInput, propsForUpdateCoordAndBar, propsForImageChanging) => {
59
    console.log("updateStateOfBarActivation(): updating state start.");
60
    if (isBarStateUpdating) {
61
      indexOfActiveBar += 1;
62
      if (indexOfActiveBar === NUMBER_OF_BAR) {
63
        indexOfActiveBar = 0;
64
      }
65
    }
66
    console.log("updateStateOfBarActivation(): the active bar is decided.");
67

68
    const imageElement = document.getElementById("imageElement");
69
    let coordinateXUpperToRecord = document.getElementById("coordinateXUpperDisplayToRecord");
70
    let coordinateYUpperToRecord = document.getElementById("coordinateYUpperDisplayToRecord");
71
    let coordinateXLowerToRecord = document.getElementById("coordinateXLowerDisplayToRecord");
72
    let coordinateYLowerToRecord = document.getElementById("coordinateYLowerDisplayToRecord");
73
    const copyStatusDisplayToCb = document.getElementById("copyToCb");
74

75
    if (propsForCoordRecordInput.isInputting) {
76
      const imageRect = imageElement.getBoundingClientRect();
77
      const x = propsForCoordRecordInput.e.clientX - imageRect.left;
78
      const y = propsForCoordRecordInput.e.clientY - imageRect.top;
79
      switch (indexOfActiveBar) {
80
        case 0:
81
          coordinateXUpperToRecord.value = `${x}`;
82
          coordinateYUpperToRecord.value = `${y}`;
83
          break;
84
        case 1:
85
          coordinateXLowerToRecord.value = `${x}`;
86
          coordinateYLowerToRecord.value = `${y}`;
87
          break;
88
      }
89
      copyToClipboard(copyStatusDisplayToCb, coordinateXUpperToRecord, coordinateYUpperToRecord, coordinateXLowerToRecord, coordinateYLowerToRecord);
90
    }
91
    console.log("updateStateOfBarActivation(): coordinates are recorded.");
92

93
    const coordinateXUpperDisplay = document.getElementById("coordinateXUpperDisplay");
94
    const coordinateYUpperDisplay = document.getElementById("coordinateYUpperDisplay");
95
    const coordinateXLowerDisplay = document.getElementById("coordinateXLowerDisplay");
96
    const coordinateYLowerDisplay = document.getElementById("coordinateYLowerDisplay");
97
    const draggableBarXUpper = document.getElementById("draggableBarXUpper");
98
    const draggableBarYUpper = document.getElementById("draggableBarYUpper");
99
    const draggableBarXLower = document.getElementById("draggableBarXLower");
100
    const draggableBarYLower = document.getElementById("draggableBarYLower");
101

102
    if (propsForUpdateCoordAndBar.isUpdating) {
103
      const updateBarsAndCoordinates = (imgRect, ev, barX, barY, coordX, coordY) => {
104
        if (ev.clientX >= imgRect.left && ev.clientX <= imgRect.right &&
105
          ev.clientY >= imgRect.top && ev.clientY <= imgRect.bottom) {
106
          // Track the bar to the mouse within the image
107
          barY.style.top = `${ev.clientY - imgRect.top}px`;
108
          barY.style.transform = 'translateY(-50%)'; // Always center align
109
          coordY.value = `${ev.clientY - imgRect.top}`;
110

111
          barX.style.left = `${ev.clientX - imgRect.left}px`;
112
          coordX.value = `${ev.clientX - imgRect.left}`;
113
        }
114
      }
115
      const imageRect = imageElement.getBoundingClientRect();
116
      let draggableBarX = draggableBarXUpper;
117
      let draggableBarY = draggableBarYUpper;
118
      let coordXDisplay = coordinateXUpperDisplay;
119
      let coordYDisplay = coordinateYUpperDisplay;
120
      switch (indexOfActiveBar) {
121
        case 0:
122
          // Nothing to do.
123
          break;
124
        case 1:
125
          draggableBarX = draggableBarXLower;
126
          draggableBarY = draggableBarYLower;
127
          coordXDisplay = coordinateXLowerDisplay;
128
          coordYDisplay = coordinateYLowerDisplay;
129
          break;
130
      }
131
      updateBarsAndCoordinates(imageRect, propsForUpdateCoordAndBar.e, draggableBarX, draggableBarY, coordXDisplay, coordYDisplay);
132
    }
133
    console.log("updateStateOfBarActivation(): bars and coordinates are updated.");
134

135
    console.log(propsForImageChanging)
136
    if (propsForImageChanging.isImageChanged) {
137
      const selectedImage = propsForImageChanging.e.target.files[0];
138
      if (!selectedImage) return;
139
      const reader = new FileReader();
140
      reader.onload = (event) => {
141
        imageElement.src = event.target.result;
142
        // Initialize bar after image load
143
        draggableBarYUpper.style.top = "50%"; // Align to image center
144
        draggableBarYUpper.style.transform = "translateY(-50%)";
145
        draggableBarXUpper.style.left = "0px"; // Align to image left edge
146
        coordinateXUpperDisplay.value = "0";
147
        coordinateYUpperDisplay.value = `${(imageElement.offsetHeight / 2)}`;
148
      };
149
      reader.readAsDataURL(selectedImage);
150
    }
151
    console.log("updateStateOfBarActivation(): image is loaded.");
152

153
    console.log("updateStateOfBarActivation(): updating state finished.")
154
  }
155
}
156

157
const update = updateStateOfBarActivation(0);

展開する折りたたむ

このトリミングツールのJavaScriptの関数の依存関係の見取り図はこんな感じです。とりあえず、要素の状態が切り替わる処理をupdateStateOfBarActivation関数に全て集めて、イベント関数からその関数に向かって「何を変えるのか」を一点集中させました。

生成AIが作ったコードはマズイ#

いやー久しぶりにHTMLとピュアJavaScriptを組んでみて、というか生成AIに組ませたらとんでもないことになりましたね。どの要素がどうなってんだか全く追えないコードに成り果てていました。(+д+)ﾏｽﾞｰ

（Gitに履歴が残っていました。AI君が作ったものを半分ぐらい直した状態でした。どの要素をどの処理で使っているのかが全然追えない・・・。）なんか普段、バックエンドのコードを書くことが多いので、フロントエンドのコードだと現時点での生成AIには手に追えなさそうですね・・・、まあライブラリとAPIを教えてくれるのは有り難いですけど。

1
// script.js - 画像読み込みとマウス追従バーの実装
2
let imageElement = document.getElementById("imageElement");
3
let draggableBarXUpper = document.getElementById("draggableBarXUpper");
4
let draggableBarYUpper = document.getElementById("draggableBarYUpper");
5
let draggableBarXLower = document.getElementById("draggableBarXLower");
6
let draggableBarYLower = document.getElementById("draggableBarYLower");
7
let coordinateXUpperDisplay = document.getElementById("coordinateXUpperDisplay");
8
let coordinateYUpperDisplay = document.getElementById("coordinateYUpperDisplay");
9
let coordinateXLowerDisplay = document.getElementById("coordinateXLowerDisplay");
10
let coordinateYLowerDisplay = document.getElementById("coordinateYLowerDisplay");
11
let coordinateXUpperDisplayToRecord = document.getElementById("coordinateXUpperDisplayToRecord");
12
let coordinateYUpperDisplayToRecord = document.getElementById("coordinateYUpperDisplayToRecord");
13
let coordinateXLowerDisplayToRecord = document.getElementById("coordinateXLowerDisplayToRecord");
14
let coordinateYLowerDisplayToRecord = document.getElementById("coordinateYLowerDisplayToRecord");
15
let lockStatusDisplay = document.getElementById("lockStatus"); // ロック状態表示用要素
16
let isBarLocked = false; // バーがロックされているかどうかのフラグ
17
let indexOfActiveBar = 0;
18
let copyToCbStatusDisplay = document.getElementById("copyToCb");
19

20
document.getElementById("imageLoader").addEventListener("change", handleImageChange);
21

22
document.addEventListener("mousemove", (e) => {
23

24

25
  if (!isBarLocked) { // Allow bar movement only if not locked
26
    const updateBarsAndCoordinates = (imgRect, ev, barX, barY, coordX, coordY) => {
27
      if (ev.clientX >= imgRect.left && e.clientX <= imgRect.right &&
28
        ev.clientY >= imgRect.top && e.clientY <= imgRect.bottom) {
29
        // Track the bar to the mouse within the image
30
        barY.style.top = `${ev.clientY - imgRect.top}px`;
31
        barY.style.transform = 'translateY(-50%)'; // Always center align
32
        coordY.value = `${ev.clientY - imgRect.top}`;
33

34
        barX.style.left = `${e.clientX - imgRect.left}px`;
35
        coordX.value = `${ev.clientX - imgRect.left}`;
36
      }
37
    }
38

39
    const imageRect = imageElement.getBoundingClientRect();
40
    let draggableBarX = draggableBarXUpper;
41
    let draggableBarY = draggableBarYUpper;
42
    let coordXDisplay = coordinateXUpperDisplay;
43
    let coordYDisplay = coordinateYUpperDisplay;
44
    switch (indexOfActiveBar) {
45
      case 0:
46
        // Nothing to do.
47
        break;
48
      case 1:
49
        draggableBarX = draggableBarXLower;
50
        draggableBarY = draggableBarYLower;
51
        coordXDisplay = coordinateXLowerDisplay;
52
        coordYDisplay = coordinateYLowerDisplay;
53
        break;
54
    }
55
    updateBarsAndCoordinates(imageRect, e, draggableBarX, draggableBarY, coordXDisplay, coordYDisplay);
56

57
  }
58
  updateLockStatusDisplay(); // Update lock status on mouse move
59
});
60

61
document.addEventListener("mousedown", (e) => {
62
  isBarLocked = true; // Lock the bar upon click
63
  updateLockStatusDisplay(); // Update lock status
64
  updateCoordinateInput(e); // Update click coordinates in input field
65
  copyToClipboard();
66
});
67

68
document.addEventListener("mouseup", () => {
69
  isBarLocked = false; // Unlock on click release
70
  const update = updateStateOfBarActivation();
71
  update(true, { isInputting: false, x: null, y: null });
72
  updateLockStatusDisplay(); // Update lock status
73
});
74

75
function updateStateOfBarActivation() {
76
  const NUMBER_OF_BAR = 2;
77
  // let idx = 0;
78
  return function (isBarStateUpdating, propsForCoordRecordInput) {
79
    if (isBarStateUpdating) {
80
      indexOfActiveBar += 1;
81
      if (indexOfActiveBar === NUMBER_OF_BAR) {
82
        indexOfActiveBar = 0;
83
      }
84
    }
85
    if (propsForCoordRecordInput.isInputting) {
86
      switch (indexOfActiveBar) {
87
        case 0:
88
          coordinateXUpperDisplayToRecord.value = `${propsForCoordRecordInput.x}`;
89
          coordinateYUpperDisplayToRecord.value = `${propsForCoordRecordInput.y}`;
90
          break;
91
        case 1:
92
          coordinateXLowerDisplayToRecord.value = `${propsForCoordRecordInput.x}`;
93
          coordinateYLowerDisplayToRecord.value = `${propsForCoordRecordInput.y}`;
94
          break;
95
      }
96
    }
97

98

99
  }
100
}
101

102
function updateLockStatusDisplay() {
103
  lockStatusDisplay.innerText = isBarLocked ? "Locking..." : "Releasing now.";
104
  lockStatusDisplay.style.color = isBarLocked ? "red" : "green"; // Change color based on lock status
105
}
106

107
function updateCoordinateInput(e) {
108
  const imageRect = imageElement.getBoundingClientRect();
109
  const x = e.clientX - imageRect.left;
110
  const y = e.clientY - imageRect.top;
111
  const update = updateStateOfBarActivation();
112
  update(false, { isInputting: true, x: x, y: y });
113
}
114

115
function handleImageChange(e) {
116
  const selectedImage = e.target.files[0];
117
  if (!selectedImage) return;
118
  const reader = new FileReader();
119
  reader.onload = (event) => {
120
    imageElement.src = event.target.result;
121
    // Initialize bar after image load
122
    draggableBarYUpper.style.top = "50%"; // Align to image center
123
    draggableBarYUpper.style.transform = "translateY(-50%)";
124
    draggableBarXUpper.style.left = "0px"; // Align to image left edge
125
    coordinateXUpperDisplay.value = "0";
126
    coordinateYUpperDisplay.value = `${(imageElement.offsetHeight / 2)}`;
127
    updateLockStatusDisplay(); // Show default lock state post-image loading
128
  };
129
  reader.readAsDataURL(selectedImage);
130
}
131

132
function copyToClipboard() {
133
  let copyText = `${coordinateXUpperDisplayToRecord.value},${coordinateYUpperDisplayToRecord.value},${coordinateXLowerDisplayToRecord.value},${coordinateYLowerDisplayToRecord.value}`;
134
  navigator.clipboard.writeText(copyText).then(function () {
135
    const newElement = document.createElement("p");
136
    newElement.textContent = "copied!";
137
    copyToCbStatusDisplay.insertAdjacentElement("afterend", newElement);
138
    setTimeout(() => {
139
      newElement.remove();
140
    }, 1000);
141
  }, function (err) {
142
    console.error("Asynchronous clipboard write failed.", err);
143
  });
144
}

展開する折りたたむ

HTMLとJavaScriptの処理の流れ#

先程のMermaidによる依存関係の図をもう一度貼っておいて、処理の流れを見てみます。動かす時の参考にしてみてください。

下記の画像は先程冒頭で載せたものと同じものです。処理の流れは簡単に言うとこんな感じです。

画像を選んで読み込む。
バーが動かせるので適当に動かして好きな場所でクリックする。
赤と青のバーが動かせる時にクリックすると、左側と上側の座標が記録される。（記録するテキストボックスは画面の左下にあります。）
黄色と緑のバーが動かせる時にクリックすると、右側と下側の座標が記録される。（記録するテキストボックスは画面の左下にあります。）
記録した時と同時にクリップボードに、左側と上側と右側と下側の4つの座標が記録されます。

トリミングする位置を可視化しながら取得できるツールはこんな感じです。このツールで取得した4つの座標を、次のトリミングツールで使うというわけです。

PowerShellによる画像のトリミング#

PowerShellの処理の概観#

それでは、先程HTMLで可視化してクリップボードに出力した座標を使って、画像をトリミングしていきたいと思います。今回は、座標が半角スペース刻みでクリップボードに貼られたので、それをコマンドの引数としてペタッと貼り付ければ実行できるようにしました。まず、バッチファイルはこんな感じにしておきます。

Terminal window

1
@echo off
2
setlocal
3

4
set /p coordinates="Input 4 coordinates separated by 'spaces' to trim images (lefter-x, upper-y, righter-x, lower-y): "
5

6
:: coordinates are plotted on %1 %2 %3 %4.
7
Start /WAIT Powershell -Windowstyle Normal -NoProfile -ExecutionPolicy Unrestricted -File ".\Z5-4_trim_multiple_images_by_coordinates.ps1" %coordinates%
8

9
endlocal

そして、バッチファイルから実行するPowerShellの中身は、こんな感じで実装されています。

Z5-4_trim_multiple_images_by_coordinates.ps1

Terminal window展開する折りたたむ

1
function Optimize-ImageWithTrimming([string]$srcBmpAbsName, [int]$xCoord01, [int]$yCoord01, [int]$xCoord02, [int]$yCoord02, [string]$suffix) {
2
  # Load assembly of .NET Framework
3
  Add-Type -AssemblyName System.Drawing;
4
  $srcFile = Get-Item -Path $srcBmpAbsName;
5
  $srcBmp = New-Object System.Drawing.Bitmap($srcBmpAbsName);
6
  $srcRect = New-Object System.Drawing.Rectangle([System.UInt32]0, [System.UInt32]0, [System.UInt32]$srcBmp.Width, [System.UInt32]$srcBmp.Height);
7
  $srcBmpData = $srcBmp.LockBits($srcRect, [Drawing.Imaging.ImageLockMode]::ReadOnly, $srcBmp.PixelFormat);
8
  try {
9
    # Set an area to trim and clone an image.
10
    $dstRect = New-Object System.Drawing.Rectangle([System.UInt32]$xCoord01, [System.UInt32]$yCoord01, [System.UInt32]$xCoord02, [System.UInt32]$yCoord02);
11
    Write-Host ("{0}: cloning source bitmap.`n" -f $MyInvocation.MyCommand.Name);
12
    $dstBmp = $srcBmp.Clone($dstRect, $srcBmpData.PixelFormat);
13

14
    # Trim an image and save
15
    $dstBmpName = "{0}\{1}_{2:D2}{3}" -f (Get-Location).Path, $srcFile.BaseName, $suffix, $srcFile.Extension;
16
    Write-Host ("{0}: name of the image file being saved is '{1}'.`n" -f $MyInvocation.MyCommand.Name, $dstBmpName);
17
    $dstBmp.Save($dstBmpName, [System.Drawing.Imaging.ImageFormat]::Png);
18

19
    Write-Host ("{0}: trimmed image is saved.`n" -f $MyInvocation.MyCommand.Name);
20
    Write-Output $dstBmpName;
21
  }
22
  catch [System.OutOfMemoryException] {
23
    Write-Error -Message "OutOfMemoryException: remove trimmed images...";
24
  }
25
  finally {
26
    try {
27
      Write-Host ("{0}: unlock bits of source bitmap.`n" -f $MyInvocation.MyCommand.Name);
28
      $srcBmp.UnlockBits($srcBmpData);
29
    }
30
    catch [System.Runtime.InteropServices.ExternalException] {
31
      <#Do this if a terminating exception happens#>
32
      Write-Error -Message "GDI+ generic error occurred...";
33
    }
34
    finally {
35
      Write-Host ("{0}: dispose source bitmap.`n" -f $MyInvocation.MyCommand.Name);
36
      $srcBmp.Dispose();
37
      Write-Host ("{0}: post-processing finished.`n" -f $MyInvocation.MyCommand.Name);
38
    }
39
  }
40
}
41

42
function Optimize-ImagesWithTrimming([array]$pathList, [int]$xCoordinate01, [int]$yCoordinate01, [int]$xCoordinate02, [int]$yCoordinate02, [string]$suffix) {
43
  # Get image files to trim.
44
  Write-Host ("{0}: output 'pathList'`n" -f $MyInvocation.MyCommand.Name);
45
  Write-Output $pathList;
46
  try {
47
    foreach ($path in $pathList) {
48
      Write-Host ("{0}: showing item info.`n" -f $MyInvocation.MyCommand.Name);
49
      Write-Output $path;
50
      Write-Output $path.GetType().FullName;
51
      Write-Output $path.FullName.GetType().FullName;
52
      Write-Output $path.FullName;
53

54
      $imagePath = $path.FullName;
55
      Write-Host ("{0}: start trimming image of '{1}'`n" -f $MyInvocation.MyCommand.Name, $imagePath);
56
      Optimize-ImageWithTrimming $imagePath $xCoordinate01 $yCoordinate01 $xCoordinate02 $yCoordinate02 $suffix;
57
      Write-Host ("{0}: trimming 1 image is finished.`n" -f $MyInvocation.MyCommand.Name);
58
    }
59
  }
60
  finally {
61
    # Nothing to do
62
  }
63
}
64

65
$targetFolder = (Get-Location).Path;
66
$imgPathList = Get-ChildItem -Path $targetFolder | Where-Object { $_.Extension -in @(".png", ".jpg") };
67
$xCoordinateToTrim01 = $Args[0];
68
$yCoordinateToTrim01 = $Args[1];
69
$xCoordinateToTrim02 = $Args[2];
70
$yCoordinateToTrim02 = $Args[3];
71
$suffix = "trimmed";
72

73
Optimize-ImagesWithTrimming $imgPathList $xCoordinateToTrim01 $yCoordinateToTrim01 $xCoordinateToTrim02 $yCoordinateToTrim02 $suffix;
74

75
$tmp = Read-Host "Input 'y' to move source files and terminate this process......";
76
If ($tmp -eq "y") {
77
  $folderName = ".\5_original_files";
78
  If (!(Test-path $targetFolder\$folderName)) {
79
    New-Item -Name $folderName -ItemType Directory;
80
  }
81
  Move-Item -Path .\*.png -Destination $folderName -Exclude *$suffix*;
82
  Move-Item -Path .\*.jpg -Destination $folderName -Exclude *$suffix*;
83
}

展開する折りたたむ

PowerShellの処理の流れ#

このツールが一体何をやっているのかと言うと、流れ的にはこんな感じです。

1つのディレクトリ内にある画像を一覧で取得する。
1枚1枚の画像に対してトリミングを始める。
元画像のピクセルをロックする。
.NET FrameworkのSystem.Drawing.Rectangle構造体にSystem.UInt32の型の座標を渡す。
元画像と同じ画像オブジェクトをクローンする。
渡した座標でトリミングした画像を保存する。

画像のトリミング方法は以前にこの記事でも紹介しました。

今回も、上記の3～6の流れは殆ど一緒です。

【PowerShell】ただ画像をトリミングしたいだけなのにマーシャリングを知らなくて沼った話

.NETの構造体「System.Drawing.Rectangle」の引数の型で沼りました。更に、BitmapのDisposeでオブジェクトの破棄、LockBitsで処理を軽くしたりもしています。

しかし今回は、例外が起きても処理が止まらないツールを作りたかったので、処理を止めないようにcatchした例外が2つありました。System.Runtime.InteropServices.ExternalExceptionとSystem.OutOfMemoryExceptionの例外です。

ExternalExceptionをWrite-Errorでやり過ごす。#

System.Runtime.InteropServices.ExternalExceptionは、「GDI+ 汎用エラーが発生しました。」という旨の例外です。これは、開発中に予期しないエラーが発生して、Bitmap.Disposeのメソッドを実行し損ねると、同様の処理を次回に実行した時に起こる例外です。メモリ上に、「GDIオブジェクト」というものが残存してしまうことが原因なのですが、タスクマネージャーでも特定するのが難しく、最終的には再起動しないと取り除けない例外です。

なので、処理をミスった都度PCを再起動するのは面倒なので、例外をcatchしてトリミング処理をいつでも出来るようにしたいわけです。

Terminal window展開する折りたたむ

1
finally {
2
  try {
3
    Write-Host ("{0}: unlock bits of source bitmap.`n" -f $MyInvocation.MyCommand.Name);
4
    $srcBmp.UnlockBits($srcBmpData);
5
  }
6
  catch [System.Runtime.InteropServices.ExternalException] {
7
    <#Do this if a terminating exception happens#>
8
    Write-Error -Message "GDI+ generic error occurred...";
9
  }
10
  finally {
11
    Write-Host ("{0}: dispose source bitmap.`n" -f $MyInvocation.MyCommand.Name);
12
    $srcBmp.Dispose();
13
    Write-Host ("{0}: post-processing finished.`n" -f $MyInvocation.MyCommand.Name);
14
  }
15
}

展開する折りたたむ

そこで使ったのが、catchしてからWrite-Errorコマンドレットです。

このコマンドレットは、他の言語のthrowのようにエラーが起きたことを知らせられるのですが、知らせながらも処理を止めないことが出来るというものです。このコマンドレットを使って、「GDI+ 汎用エラーが発生しました。」という旨の例外を検知した時には、その発生をログに残しながら処理を続けられるようになりました。

Write-Error (Microsoft.PowerShell.Utility) - PowerShell

Write-Error コマンドレットは、終了しないエラーを宣言します。既定では、エラーはエラーストリーム内で、表示されるホストプログラムに出力と共に送信されます。終了しないエラーを書き込むには、エラーメッセージ文字列、ErrorRecord オブジェクト、または Exception オブジェクトを入力します。エラーレコードを設定するには、Write-Error の他のパラメーターを使用します。終了しないエラーはエラーストリームにエラーを書き込みますが、コマンド処理は停止しません。入力項目のコレクション内の 1 つの項目で終了しないエラーが宣言されている場合、コマンドは引き続きコレクション内の他の項目を処理します。終了エラーを宣言するには、throw キーワードを使用します。詳細については、about_Throwを参照してください。

OutOfMemoryExceptionをWrite-Errorでやり過ごす。#

「System.OutOfMemoryException」の例外は、今回のツールで言うと、既にトリミングした画像を、さらに同じ座標でトリミングしようとすると起こる例外です。なので、この場合は「既にトリミングした画像は消してね。」的なエラーメッセージを表示させて、トリミング処理をとりあえず実行し切るようにします。

Terminal window展開する折りたたむ

1
try {
2
  # Set an area to trim and clone an image.
3
  $dstRect = New-Object System.Drawing.Rectangle([System.UInt32]$xCoord01, [System.UInt32]$yCoord01, [System.UInt32]$xCoord02, [System.UInt32]$yCoord02);
4
  Write-Host ("{0}: cloning source bitmap.`n" -f $MyInvocation.MyCommand.Name);
5
  $dstBmp = $srcBmp.Clone($dstRect, $srcBmpData.PixelFormat);
6

7
  # Trim an image and save
8
  $dstBmpName = "{0}\{1}_{2:D2}{3}" -f (Get-Location).Path, $srcFile.BaseName, $suffix, $srcFile.Extension;
9
  Write-Host ("{0}: name of the image file being saved is '{1}'.`n" -f $MyInvocation.MyCommand.Name, $dstBmpName);
10
  $dstBmp.Save($dstBmpName, [System.Drawing.Imaging.ImageFormat]::Png);
11

12
  Write-Host ("{0}: trimmed image is saved.`n" -f $MyInvocation.MyCommand.Name);
13
  Write-Output $dstBmpName;
14
}
15
catch [System.OutOfMemoryException] {
16
  Write-Error -Message "OutOfMemoryException: remove trimmed images...";
17
}

展開する折りたたむ

PowerShellの例外処理はクセが強い#

本当にクセが強い言語です、PowerShellは。

今回も例外処理の部分で沼りかけました。うーん、PowerShellには汎用的な例外をキャッチする処理は無いんですかねえ？　下記のMicrosoft公式の「例外について知りたかったことのすべて」を読むのが面倒くさくて、結局「catch ブロックで実行するのが同じ例外の throw のみである場合は、catch しないでください。」の部分を汲み取って、catchしないで例外の原因を特定して、その例外に対して個別にcatchして流せるようにしました。一応これで既知の例外と未知の例外の両方を検知して処理を続行できるようにはなりました。

と思ったのですが、もしも既知の例外に引っ掛かった例外の中に、自分が想定していない例外が混ざる可能性があったら・・・と考えると、デバッグに少々難がありますねえ・・・。

例外について知りたいこと - PowerShell

エラー処理は、コードの記述に関しては、人生の一部にすぎません。

このトリミングツールを使ってみる。#

それでは、このトリミングツールを使ってみます。先程、このような画面でトリミングする座標を決めるとしました。

そしてこのようなディレクトリ構造があるとして・・・

1
\
2
│  Z5-3_describe_position_to_trim_images.bat
3
│  Z5-4_trim_multiple_images_by_coordinates.bat
4
│  Z5-4_trim_multiple_images_by_coordinates.ps1
5
├─image_trimmer
6
│    index.html
7
│    script.js
8
│    style.css
9
│  a.png
10
│  b.png
11
│  c.png

HTMLから取得した座標を使ってPowerShellを実行すると、

Terminal window

1
# Input 4 coordinates separated by 'spaces' to trim images (lefter-x, upper-y, righter-x, lower-y):
2
0 0 767 724
3

4
# こんな風にPowerShellが実行される。
5
Start /WAIT Powershell -Windowstyle Normal -NoProfile -ExecutionPolicy Unrestricted -File ".\Z5-4_trim_multiple_images_by_coordinates.ps1" 0 0 767 724

このように同様にトリミングしたい画像も・・・、

同様にトリミングされるというわけです。

まとめ#

今回は、HTMLで画像の不要な部分を座標に表して、PowerShellでその数値を使ってトリミングするツールの紹介でした。

以下、本記事のまとめです。

HTMLにdivタグを設置して、JavaScriptを使って画像の上でバーを動かせる。そして、座標を取得する。
生成AIが作ったコードはとんでもないものになってたりするので、一旦リファクタリングするべきかどうかを確認する。
PowerShellでは、「.NET Framework」のSystem.Drawing.Rectangle構造体にSystem.UInt32の型の座標を渡してトリミングしていく。
Bitmap.Dispose忘れによって起こる、ExternalExceptionをWrite-Errorでやり過ごした。
過度なトリミングによって起こる、OutOfMemoryExceptionをWrite-Errorでやり過ごした。

これで同じ部分が要らないまとまった画像を一気にトリミングできるようになりました。自分が所持している画像のサイズを小さくすることが出来ますね。

PowerShell関連記事#

その他のPowerShell関連の記事を貼っておきます。

ROG Strix Scar 17 (2022) G733

おしまい#

リサちゃん

よし、小さくまとまったかな。

135ml

何かしらの言語をわざわざインストールしなくて済むぞ。

以上になります！

40万円で手に入れた2つのPCの性能のベンチマークを比較する（第2回：SatisfactoryやGhost of Tsushimaなど）

Fri, 06 Dec 2024 00:00:00 GMT

はじまり#

リサちゃん

ベンチマークを測るぞ。

ペンギン

今回はゲームを使うんですか。

※当ページはアフィリエイト広告を利用しています。

PCの性能をまとめておきたい。#

今回、初めて自作したPCを使ってベンチマークテストやらゲームのFPSの比較結果を記録しておきました。以前に同じぐらいの価格で購入して使っていたゲーミングノートPCからどれぐらい性能が向上したのかを検証しています。 2年前に40万円で買ったノートPCと、その2年後に40万円で自作したゲーミングデスクトップのベンチマークを計測してまとめた記事です。

PCの構成#

今回比較していく2台のPCの構成はこれらで行きます。エントリーナンバー1番、「ROG Strix SCAR 17 G733ZX-I9R3080T」です。ゲーミングノートPCです。2022年に新品で¥399,800で購入しました。

@ROG

rog.asus.com

Part	Product
GPU	NVIDIA GeForce RTX™ 3080 Ti Laptop
CPU	Intel Core™ i9-12900H
Motherboard	ASUSTeK Computer Inc. G733ZX 1.0
RAM	SK Hynix HMCG78MEBSA095N (16GB x2)
SSD	分からん。(1TB)
OS	Windows 11 Home

エントリーナンバー2番、最近組んだ自作デスクトップゲーミングPCです。パーツのあれこれの内容は以下の通りで、全て2024年に購入して合計金額が¥426,678でした。

Part	Product	Price
GPU	NVIDIA GeForce RTX 4080 SUPER	192,891
CPU	AMD Ryzen 9 7950X3D	104,980
Motherboard	B650 Steel Legend WiFi	27,480
RAM	ADATA_XPG_LANCER_RGB_AX5U6400C3216G-DCLARWH	23,980
SSD	KIOXIA 内蔵 SSD 2TB NVMe M.2 Type 2280 EXCERIA PLUS G3 SSD-CK2.0N4PLG3N	17,780
Power Supply Unit	KRPW-GA850W/90+/WHITE	14,273
CPU Cooler	DEEPCOOL AK620 DIGITAL WH R-AK620-WHADMN-G	10,480
Case Fan	DEEP COOL FK120 R-FK120-BKNPF1-G-1 x2	2,752
PC Case	Antec FLUX	16,980
OS	Windows 11 Home	15,182

エントリーナンバー2番の自作PCの、各パーツを選ぶ過程は、別の記事に載せておきました。よければご参考いただければと思います。

【自作ゲーミングPC】初めてデスクトップPCを組んでいく（準備編）

初めて自作PCを組み立てることにしたので、実際にPCを使うところまでに収集した情報をまとめています。PCパーツの選び方の一助になれば良いかと思います。

組み立ての過程は、別の記事に載せておきました。ハードウェア面の参考にどうぞ。

【自作ゲーミングPC】初めてデスクトップPCを組んでいく（組立編）

初めて自作PCを組み立てることにしたので、実際にPCを使うところまでに収集した情報をまとめています。PCの組み立て方の一助になれば良いかと思います。

KTC 27インチモニターWQHD (2560x1440) Fast IPS 180Hz 1ms 124%sRGBゲーミングモニター低ブルーライトフリッカーフリーFreeSync & G-Sync対応高輝度300cd/m PS5対応HDMI×2 DP×2 3年保証H27T22Samzn.to

パーツ毎の性能値の比較#

それでは性能を比較していきましょう。

まずは、パーツ毎に各メーカーから公表されている値を比較します。CPU-Zから手に入れた情報もあります。

CPU#

CPUは、2年前はIntel Coreシリーズ、その2年後はAMD Ryzenシリーズとしています。

自作デスクトップが積んでいるCPUの方が、コア数、スレッド数、クロック周波数など、殆どの指標において向上しています。そこに加えてTDPも2倍以上に増えていますが、デスクトップの最大の利点と言ってもいい排熱性能は仕上げたつもりなので、おそらくCPU本来の能力がちゃんと引き出されて、より高いパフォーマンスを出せると思います。

Property	ROG Strix	自作デスクトップ
CPU	Intel® Core™ i9-12900H	AMD Ryzen™ 9 7950X3D
発売日	2022年第1四半期	2023年1月
プラットフォーム	モバイル	デスクトップ
コア数	14（パフォーマンスコア：6、効率コア：8）	16
スレッド数	20	32
ベースクロック周波数	3.8 GHz（効率コア）	4.2 GHz
最大ブーストクロック周波数	最大5.0 GHz（パフォーマンスコア）	最大5.7 GHz
L1キャッシュ	-	1 MB
L2キャッシュ	-	16 MB
L3キャッシュ	24 MB	128 MB
製造プロセス	Intel 7 (FinFET)	TSMC 5nm FinFET
TDP（熱設計電力）	45 W	120 W
メモリタイプ	DDR5-4800、DDR4-3200、LPDDR5-5200、LPDDR4x-4267	2x1R DDR5-5200、2x2R DDR5-5200、4x1R DDR5-3600、4x2R DDR5-3600
最大メモリサイズ	64 GB	128 GB
内蔵グラフィックス	Intel® Iris® Xe Graphics	AMD Radeon™ Graphics
グラフィックス最大周波数	1.45 GHz	2.2 GHz
PCI Expressバージョン	PCIe 4.0	PCIe 5.0
ソケット	FCBGA1744	AM5
最大動作温度	100°C	89°C

RAM#

ROG Strixの方のメモリ性能はこの公式ページから確認しました。どちらもDRAMの製造はSK Hynixですが、自作デスクトップPCの方が、CAS Latencyおよびクロック周波数が向上しています。

Property	ROG Strix	自作デスクトップ
Part Number	HMCG78MEBSA095N	AX5U6400C3216G-DCLARWH
Module Manuf.	SK Hynix	A-DATA
DRAM Manuf.	SK Hynix	SK Hynix
Capacity	16GB x2	16GB x2
Speed (MT/s)	4800	6400
Memory Timing	40-39-39	32-39-39
DRAM Type	DDR5	DDR5
Module Type	SO-DIMM	UDIMM
Voltage (V)	1.10	1.35

GPU#

GPUも、ノートPCから自作デスクトップになって、CPUと同様に殆どの性能が向上しています。CUDAコアやクロック周波数が1.4～2倍に向上して、VRAMもGDDR6Xになって帯域幅が上昇しているようです。

デスクトップ用のGeForce RTX 3080と比べても全体的な性能がかなり向上しています。

指標	ROG Strix	- （参考）	自作デスクトップ
GPU	GeForce RTX 3080 Ti Laptop GPU	GeForceRTX 3080	GeForce RTX 4080 SUPER
CUDA Core	7424	8704	10240
Shader Core (TFLOPS)	-	-	52
Ray-Tracing Core (TFLOPS)	-	-	121
Tensor Core (AI TOPS)	-	-	836
Boost Clock (GHz)	1.59	1.71	2.55
Base Clock (GHz)	1.125	1.26 / 1.44	2.29
Memory Type	GDDR6	GDDR6X	GDDR6X
Video Random Access Memory (dedicated: GB)	16	12 / 10	16
Memory Interface Width (Bit)	-	384 / 320	256
Max GPU Temperature (C)	-	93	90
Average Power Consumption (W)	-	-	246
System Requirements Power (W)	750	750	750

SSDは片方が特定できなかったので比較はしません。

Apex Legends#

それでは先述したPCの2台を使って、画質やFPSを比較していきたいと思います。

まずはApex Legendsから見ていきます。

ノートPC#

まずは、ノートPCのベンチマークを見ていきます。描画画質は最高画質です。普通に走っている時のFPSは140ぐらいでした。

射撃中も特にFPSに変化はありませんでした。やはり処理が軽めのゲームです。

テルミットグレネードを遠くに投げて処理が重くなるかどうかを見ましたが、あまり変化はしませんでした。

自作デスクトップ#

次にデスクトップPCのベンチマークを見ていきます。射撃訓練場で普通に発砲している時はFPS240ぐらいが出ました。

テルミットグレネードを使うと少しFPSが下がりました。しかしながら、FPSは220ぐらい出ています。まあ、誤差の範囲かもしれません。

バトロワも問題なくプレイできました。

Cyberpunk 2077#

次に、Cyberpunk 2077です。このゲームは、CPUの推奨要件が高いゲームとされています。 2024-12-03時点における、GPUの推奨要件は、GeForce RTX 2060 SUPER or Radeon RX 5700 XT or Arc A770です。そして、CPUの推奨要件が、Core i7-12700 or Ryzen 7 7800X3Dとなっています。そうです、Core i5だと快適に遊べないみたいなのです・・・。

ノートPC#

というわけで、そんなCPUを責めてくるゲームを使って比較していきます。Cyber punkも描画画質は最高画質です。まずはノートPCの方です。 CPUに負担が掛かるかと思いましたが、GPU使用率の方が目立ちます。90%以上で推移してフルに使い切ることが出来ています。DLSSをオンにしているからかもしれません。しかし、出せたFPSの値は30が限界でした。

戦闘場面でもFPSは30より上がらず。

CPUとGPUの温度は常に90度近辺を推移していました。排熱が追いついていないのかもしれません。

自作デスクトップ#

デスクトップPCでは、DLSS 3を発動した状態でプレイしました。ノートPC同様に、DLSSがオンになっているためか、GPU使用率が常に90を超えています。そして、FPSは常に140を超えていました。しかし、人間を描画する際には少しアーティファクトが残る場合があります。

街並みの描画も一定のクオリティを保っています。

戦闘場面でもストレス無くプレイすることが出来ました。

ELDEN RING#

なんだかんだ、このELDEN RINGというゲームも推奨要件は高めです。GPUの推奨要件は、NVIDIA GEFORCE GTX 1070 8 GB or AMD RADEON RX VEGA 56 8 GBです。そして、CPUの推奨要件が、INTEL CORE I7-8700K or AMD RYZEN 5 3600Xとなっています。第8世代ではありますが、Core i7のチップでないと快適に遊べません。さすがGeme Of The Year 2023。

ノートPC#

ELDEN RINGも最高画質にしてCPUやGPU使用率を見ていきます。ノートPCの方から見てみると、CPU使用率が50%未満でそこまで高くないながらも、CPU温度が90度付近でかなり高くなっています。全く排熱が追いついていないと思われます。しかしながら、FPSはELDEN RINGの上限である60を出すことは出来ています。GPUの温度も90度付近で高いです。

しかし、霊馬トレントで高速で移動したりすると、FPSは60を下回ります。CPUの処理が追いつき切れていません。

霊馬から降りて戦闘状態になると、FPSは60に戻りました。オブジェクトの読み込みでよりCPUに負荷が掛かっていそうです。

ムービーを再生する際には、60FPSで安定しています。

自作デスクトップ#

次はデスクトップPCを見ていきます。 CPUに負荷が掛かっている状態でも、CPU温度は60度すら達していません。GPU温度も50度付近なので、しっかり排熱できていることが見て取れます。FPSはもちろん60ピッタリです。

霊馬トレントで高速で移動する際にも、60FPSで安定していました。

戦闘状態でも、FPSや画質に問題はありませんでした。

ムービーを再生する際にも、60FPSで高画質出力で安定しています。

Ghost of Tsushima DIRECTOR’S CUT#

最初にPlayStation 4向けに発売されたアクションゲームです。僕はPS4の時もプレイしましたが、既にグラフィックが超美麗だったので、PC版だとチップにどれぐらいの負担を強いてくるのやら・・・。

ノートPC#

Ghost of Tshushimaも最高画質（非常に高い）設定で測っていきます。ノートPCでは、FPSは40～80ぐらいの間を推移していました。2020年に発売されたゲームとあって古めなので、思ったよりFPSが出せています。しかし、少しCPUとGPU温度が85度付近で高めです。GPU使用率は100%。

馬で駆ける際のCPUの負荷は、ムービーの時とあまり変わりませんでした。

戦闘状態の画質やFPSも、馬で駆けている状態と比べてあまり変わりませんでした。

明るいときでも特にベンチマークに変化はありませんでした。常に同じ描画品質で楽しめるゲームです。

自作デスクトップ#

デスクトップPCを確認していきます。ムービーでは240FPS出ていました。DLSSをオンにしたので、GPU使用率はほぼ100%です。

馬で高速で駆けるシーンでもFPSは200を超えています。

戦闘中でも画質やFPSには全く問題がありませんでした。

一騎打ちでも正常です。

Satisfactory#

3Dな一人称視点でプレイできるオープンワールドの工場建設ゲームです。このゲームのグラフィックも美麗なので、CPUおよびGPUのベンチマークが気になります。

ノートPC#

ノートPCを確認していきます。描画画質は「Ultra」プリセットです。普通の工場風景の場面だと、FPSは90ぐらいを出せていました。しかし、CPU温度とGPU温度は90度付近を推移していて、常に高温です。GPU使用率はほとんど100%です。

次に、ガラス張りになっている建物に移動します。描画に負担が掛かると思いましたが、FPSは80以上になって上昇しました。

毒ガスが立ち込めている場所を移動します。ここでもあまり負担は増えず、FPSは100でした。

ハイパーチューブで高速で移動してみます。しかしながら、あまりFPSは落ちませんでした。100FPSを出せています。

次に電車で移動してみませいた。パフォーマンスはあまり落ちずに、100FPSを出せています。しかし、チップの温度はここまでずっと高いままでした。

自作デスクトップ#

デスクトップPCで確認していきます。 GPU使用率はほとんど100%ですが、GPU温度は60度付近を推移していて正常です。またCPU温度も、他のゲームと比べて高めではありますが、70度付近なので正常な範囲内です。FPSは180出ています。

ガラス張りになっている建物に移動します。FPSは200出ています。

そして毒ガスが立ち込めている場所を移動します。FPSは200の周囲です。

ハイパーチューブで移動します。ドローンが視界に入ると描画情報が増えますが、そのような状態でもFPSは215出ています。

電車で移動します。FPS200超えで、チップの状態にも問題は無さそうです。

Palworld#

パルワールドはアニメ調でオープンワールドなアクションゲームです。なので一見、あまりGPU等には負担が掛からなさそうな気もしましたが、実はこのゲーム、パルが使う技のエフェクトの量が増えると、一気に重たくなるゲームなのです。なので、ベンチマークの測り甲斐があります。

自作デスクトップ#

パルワールドはデスクトップPCの性能だけ測りました。描画画質は最高画質です。落ち着いた場所にいるとFPSは110を超えます。この時のCPU温度は60度、GPU温度は45度ぐらいです。

次にガラス張りの環境に移動します。FPSが70ぐらいに少し落ちました。

次にパルが忙しなく働いている場所に移動します。FPSが60ぐらいに落ちました。しかし、CPUおよびGPU使用率にあまり変化はありませんでした。

次に、べイントールに乗って高速に移動しました。あまりオブジェクトが無い場所では、FPSは60でした。

そして、、べイントールでオブジェクトが多い拠点の中を高速で移動しました。FPSは64出たりしてオブジェクトの量によってFPSに差異は殆ど生まれませんでした。

比較結果#

そして、今回検証したタイトルにおける比較結果です。

Game	Spec	ROG Strix	自作デスクトップ
Apex Legends	FPS (-)	150	230
Cyberpunk 2077	Memory Usage (MB)	20,500	15,000
	CPU Clock (MHz)	3,000	4,850
	CPU Usage (%)	45	20
	CPU Temp (℃)	87	66
	GPU Memory Usage (MB)	7,400	9,000
	GPU Clock (MHz)	-	11,502
	GPU Usage (%)	95	98
	GPU Temp (℃)	86	53
	FPS (-)	27	170
ELDEN RING	Memory Usage (MB)	18,000	15,000
	CPU Clock (MHz)	4,000	5,000
	CPU Usage (%)	23	10
	CPU Temp (℃)	88	60
	GPU Memory Usage (MB)	3,550	6,700
	GPU Clock (MHz)	-	5,000
	GPU Usage (%)	60	55
	GPU Temp (℃)	85	50
	FPS (-)	59	60
Ghost of Tsushima DIRECTOR’S CUT	Memory Usage (MB)	18,000	17,000
	CPU Clock (MHz)	3,600	4,925
	CPU Usage (%)	27	15
	CPU Temp (℃)	85	59
	GPU Memory Usage (MB)	18,500	10,400
	GPU Clock (MHz)	-	11,502
	GPU Usage (%)	99	98
	GPU Temp (℃)	86	52
	FPS (-)	60	220
Satisfactory	Memory Usage (MB)	19,000	16,200
	CPU Clock (MHz)	3,000	4,925
	CPU Usage (%)	57	21
	CPU Temp (℃)	90	70
	GPU Memory Usage (MB)	4,300	6,583
	GPU Clock (MHz)	-	11,502
	GPU Usage (%)	99	97
	GPU Temp (℃)	86	56
	FPS (-)	90	190
Palworld	Memory Usage (MB)	-	15,500
	CPU Clock (MHz)	-	5,000
	CPU Usage (%)	-	14
	CPU Temp (℃)	-	60
	GPU Memory Usage (MB)	-	6,600
	GPU Clock (MHz)	-	11,502
	GPU Usage (%)	-	40
	GPU Temp (℃)	-	40
	FPS (-)	-	70

まとめ#

今回は、ゲーミングノートPCとゲーミングデスクトップPCで、ゲームを使ったベンチマークを計測しました。やはり、ノートPCは排熱性能がイマイチなので、搭載しているチップの性能を引き出し切れない部分が目立ちました。今回比較したデスクトップPCの方が高性能のチップを積んではいましたが、その点を鑑みたらCPU使用率に関して両者に殆ど差は無く、デスクトップPCの優位性が顕著に現れた結果となりました。しかしながら、ノートPCは持ち運びが出来る利点はあるので、用途に併せてゲーミングPCを選んでいきたいです。最近（2024年あたりから）販売されるようになってきた「AI PC」も、チップの動き方は実質ゲーミングPCと同じです。本記事は、AIをローカルマシンで使いたい場合の参考にもなったのではないでしょうか。

ガジェット#

KTC 27インチ湾曲ゲーミングモニター WQHD (2560x1440) 180Hz 1ms 5000:1コントラスト比 132%sRGB VAパネル FreeSync & G-Sync対応 HDR10 PS5対応 1500Rカーブ HDMI×2 DP×2 H27S17amzn.to