こんにちは、CTOの小笠原(@yamitzky)です。この記事では、BigQuery のクエリ料金をオンデマンド課金から容量ベースの課金に切り替えて削減した取り組みについて書きます。以前書いた物理バイトストレージ課金への切り替えがストレージ側の話だったのに対して、今回はコンピュート(SQL実行)側の削減の話です。
ワークロード管理の2つのモデル
BigQuery の料金モデルには、オンデマンド課金と容量ベースの課金の2つのモデルがあります。
オンデマンド課金は、クエリが処理したバイト量(テーブルや使ったカラム、パーティションの大きさ)に対して課金されます。東京リージョンで $7.50/TiB です。裏で何スロット使われようと、読んだ量が同じなら料金は同じです。
容量ベースの課金は、消費した「スロット」に対して課金されます。こちらはスキャン量は直接は関係しません。
ここで「スロット」とは、BigQuery の SQL 実行に使われる計算量のようなもので、データ量やクエリの複雑さなどによって決まります。
つまり、「読んだデータ量そのもの」で費用を計算するか、「使った計算資源の総量」で費用を計算するか、という違いです。同じクエリでも料金の決まり方がまったく異なるので、どちらが安いかはワークロードの形によって変わります。
容量ベースの課金を選ぶ場合は、さらに Standard / Enterprise / Enterprise Plus の3つのエディションから選びます。私たちは Standard を選びました。東京リージョンで $0.051/slot-hour です。Enterprise は単価が1.5倍で、必要になる機能(BI Engine、列・行レベルセキュリティなど)を使っていなかったためです。
どちらが得かを事前に概算する
必要な数字は2つだけです。いまオンデマンドでいくら払っているかと、実際に何スロット時間使っているか。どちらも切り替える前に INFORMATION_SCHEMA から取れます。
-- 実際に消費したスロット時間 SELECT SUM(period_slot_ms) / 1000 / 3600 AS actual_slot_hours FROM `region-asia-northeast1`.INFORMATION_SCHEMA.JOBS_TIMELINE_BY_ORGANIZATION WHERE job_type = "QUERY" AND (statement_type != "SCRIPT" OR statement_type IS NULL) AND job_creation_time >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 30 DAY); -- オンデマンド料金の定価換算 SELECT SUM(total_bytes_billed) / POW(1024, 4) * 6.25 AS ondemand_usd FROM `region-asia-northeast1`.INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION WHERE job_type = "QUERY" AND (statement_type != "SCRIPT" OR statement_type IS NULL) AND creation_time >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 30 DAY);
前者にスロット単価を掛ければ容量ベースでの料金が出ます……と言いたいところですが、これは切り上げが一切起きなかった場合の金額、いわば最安値・理論値でしかありません。実際の請求は必ずこれを上回ります。というのも、スロットの自動スケーリングは50スロット刻みで動くので、ある瞬間に1スロットしか必要としていなくても50スロットぶん課金されるためです。
とはいえ、この最安値(理論値)といまのオンデマンド課金の費用を並べれば、どれだけ余裕があるかは分かります。JX通信社の場合、理論値としては、オンデマンド課金の 25%程度まで削減できる 見込みでした。実際に切り替えたあとの金額は、 オンデマンド課金の60%程度 までに収まりました。
実際に行った設定
予約を作り、プロジェクトを割り当てるだけです。
CREATE RESERVATION `ADMIN_PROJECT.region-asia-northeast1.main` OPTIONS ( edition = 'STANDARD', slot_capacity = 0, -- ベースラインは持たない ignore_idle_slots = true, autoscale_max_slots = 1000 -- 適切なスロットを設定 ); CREATE ASSIGNMENT `ADMIN_PROJECT.region-asia-northeast1.main.myproject-query` OPTIONS ( assignee = 'projects/YOUR_PROJECT', job_type = 'QUERY');
JX通信社では、以下の設定にしました。各社のワークロードに合わせて設定してください。
ベースラインは0にしました。 常時スロットを確保しておく必要がないからです。なお、Standard Edition ではそもそも容量コミットメントは利用できません。
ignore_idle_slots = true は Standard では必須です。 Standard はアイドルスロットの共有ができないので、省略すると CREATE RESERVATION がエラーで落ちます。
割り当てのジョブタイプは job_type = 'QUERY' に限定しました。 いくつか割り当てを作成できるジョブタイプがありますが、ロードジョブは無料のパイプラインプールで動いていたこと、他のものは Standard Edition では設定できないことなどが理由です。
また、Standard エディションでは組織・フォルダ単位の割り当てができません。 assignee = 'organizations/...' はエラーになるので、プロジェクトごとに列挙するしかありません。新しくプロジェクトを作ったら手動で割り当てを足す必要があり、忘れるとそのプロジェクトだけオンデマンドのまま残ることには注意が必要です。
fluid scaling の有効化
一点、注意があります。fluid scalingは有効化することを強く推奨します。
スロットの自動スケーリングには、公式ドキュメントの料金モデル欄にも「スロット時間(最小1分)」と書かれているとおり、スケールアップしたスロットに最低1分ぶんの課金が発生するという仕様があります。数秒で終わるクエリが散発的に飛んでくるワークロードだと、コスト効率を悪化させます。1秒のタスクに60秒ぶん払うことになるからです。
これを解消するのが fluid scaling です。
有効化は、予約*1を持つ管理プロジェクトのオプションで行います。
ALTER PROJECT `ADMIN_PROJECT` SET OPTIONS ( `region-asia-northeast1.preflight_fluid_autoscaling_reservations` = ["RESERVATION_NAME"]);
有効になったかどうかは INFORMATION_SCHEMA.PROJECT_OPTIONS で読めます。
SELECT option_name, option_value FROM `region-asia-northeast1`.INFORMATION_SCHEMA.PROJECT_OPTIONS WHERE option_name = "preflight_fluid_autoscaling_reservations";
ここに予約名が入っているのを確認してから、次に進んでください。
段階的に適用する
全プロジェクトを一度に載せることはしませんでした。
容量ベースに切り替えると、料金の上限が処理バイト量ではなく「スロット数 × 時間」に変わります。同時に、複数のプロジェクトが同じ予約の天井を奪い合うことになるので、クエリが遅延するリスクもあります。オンデマンドでは生じなかったリスクです。
そこで3段階に分け、クエリ遅延が発生していないか、BigQueryの費用が増えていないかなど都度確認しながら、適用プロジェクトを増やしました。
- 遅延しても業務影響のない、ETL 専用のプロジェクトだけを載せて数日観測する
- 最もクエリを投げていて、かつ遅延が許されないプロジェクトを1つ追加し、ピーク時の待ち時間と実行時間を切り替え前と比較する
- 問題がなければ残りの全プロジェクト
削減効果
8月の月初から徐々に設定したのですが、下記の Cloud Billing のグラフを見ると、削減しながら容量ベースに移行できていることが見て取れると思います。BigQuery の利用

削減効果は total_bytes_billed との比較でもわかります((容量ベースの課金に切り替えた後も、 total_bytes_billed は記録され続けます。))。3週間の通算で計算したところ、 62% 削減できていることがわかりました。ただし日によって 5% から 86% まで、かなりばらつきがありました。
この削減幅の変動は、 負荷が高い日ほど、autoscaling されたスロットを効率的に使えていたことが理由ではないかと推測しています。容量ベース課金では、autoscaling が50スロット刻みになるため、必要なスロットが少ない時間帯ほど切り上げの影響が相対的に大きくなってしまうためです。このように、削減率はワークロードの特性によって大きく異なります。
また、クエリの遅延については、全期間を通じてクエリ待ち時間の p99 に有意な悪化はありませんでした。
まとめ
- 容量ベースが得かどうかは、切り替える前に
INFORMATION_SCHEMAから概算できます。容量ベースでの理論値(期待値の最安値)といまのオンデマンド料金を並べて、どれだけ余裕があるかを見てから判断してください - fluid scalingは有効化することを強く推奨します。 無効のままだと、オンデマンド課金より安くするのが難しくなります
- コストの増加やクエリ遅延などのリスクもあるので、プロジェクトには段階的に適用し、比較してください
BigQuery のクエリ料金に困っている方は、以上を踏まえて、ぜひコスト削減に取り組んでみてください。
*1:「予約」という名前がややこしいですが、コミットメントをするわけではありません。あくまでBigQueryを容量ベースで動かすための設定値を管理するための概念です












