top of page

Amazon Bedrock推論コスト:重要な4つの選択

14 分前
読了時間: 18分
Illustrative photograph. Photo: Pixabay / Pexels.

AWSは11月12日、開発者がプロンプトの調整を終えた後もAmazon Bedrockの推論コストに注意を払うべき理由を示す4つの実験を公開した。キャッシュ期間、サービスティア、推論努力度、出力上限は、一見馴染みのあるリクエストの経済性を変える。ここには実務上の緊張関係がある。柔軟性を維持するアプリケーション設定が、結果を改善しないままリソースを消費することもある。

この調査結果は、モデル選択を主要なコスト判断とみなすチームに再考を迫るものだ。アプリケーションはモデルや指示を変えずに、コンテキストの再利用方法、処理のスケジュール、推論の配分を変更できる。各選択はワークロードの異なる部分に影響するため、それぞれ別個の根拠が必要となる。

Anthropicは、直接提供するClaudeプラットフォームを通じて有用な比較対象を示しており、そのガイダンスでもキャッシュとタスクに応じた努力度の調整が重視されている。どちらのベンダーの助言も、普遍的な構成を確立するものではない。より妥当な結論は、失敗、再試行、許容可能な応答時間を含む完了済みの作業に照らして、デフォルト設定を検証する必要があるということだ。

Amazon Bedrockの推論コストはプロンプト調整にとどまらない

AWSの公開内容は、モデル選択やアプリケーション設計と並び、リクエスト構成をコストレビューの対象として位置付けている。

同社の推論コスト実験は、一律の値下げを発表するものではなく、個別の仕組みを検証している。キャッシュはコンテキストの再利用を変え、サービスティアは処理条件を変え、推論努力度は生成される作業量を変え、出力上限はそれを制約する。AWSはワークロード固有の結果を報告しており、すべての顧客が同じ結果を再現できると主張するのではなく、適切な帰属が求められる。

推論とは、学習済みモデルをリクエストに対して実行し、応答を生成することを指す。トークンは、モデルが処理・生成するコンテンツの単位だ。重要な会計上の問いは、アプリケーションが一見完了したように見えるものを返したかではなく、どの作業が有用な結果を生んだかである。

たとえば、エンジニアリングハンドブックに関する質問に答える仮想の文書アシスタントを考えてみよう。その指示は安定しており、参照資料は時折変更され、ユーザーは就業時間を通じて何度も利用する。このアプリケーションは、関連性のない文書を要約するバックグラウンド処理とは異なるコストプロファイルを持つ。

アシスタントの繰り返し使われるコンテキストは、再利用の可能性を生む。要約処理のスケジュールは、より遅い処理を許容できる可能性を生む。両者を汎用的なテキスト生成として扱うと、設定を導くべき運用上の違いが見えなくなる。

したがって、責任はチームの境界をまたぐ。開発者はリクエスト構築を制御し、プロダクトマネージャーは許容可能な挙動を定義し、運用チームはサービス性能を監視する。これらのグループが成功した完了の定義で合意して初めて、コスト目標は実行可能になる。

トークン数が少ないだけでは、その問いに答えられない。必要な留保を省いた回答は、より短く安価であっても、タスクに失敗している可能性がある。遅延したバックグラウンド結果は依然として有用かもしれないが、同じ遅延はインタラクティブな製品を損なう可能性がある。

AWSの調査結果を実務的に最も強く読み取るなら、仕組みを組み合わせる前に分離することだ。そうしなければ、チームは努力度を下げると同時にキャッシュを変更し、結果として生じた請求額を誤った判断に帰属させるおそれがある。その不確実性は、将来のモデル移行を評価しにくくする。

有用な比較では、試行される作業も保持すべきだ。改訂後の構成がより簡単なリクエストを処理している場合、その低い消費量は構成自体についてほとんど何も示さない。タスクの分類と受け入れ基準が比較を意味のあるものにする。

これは、購入者が推論プラットフォームを評価する方法を変える。モデルが公表する能力は依然として重要だが、アプリケーションの運用構成を説明するものではない。購入者はさらに、どの制御が適用されるか、結果がその効果をどのように示すか、導入後に誰がそれらの判断を維持するかを理解する必要がある。

より長いキャッシュ期間には再利用パターンが必要

より長く保持されるキャッシュが価値を持つのは、似たように見えるテキストを単に保持するのではなく、実際のリクエストが対象となるコンテキストを再利用するときだ。

プロンプトキャッシュは、後続のリクエストがプレフィックスと呼ばれる対象となる先頭部分を共有する場合に、処理済み入力を再利用するため保存する。キャッシュ期間、すなわち生存時間は、更新ヒットがなくても保存されたコンテキストを利用できる期間を定める。AWSのプロンプトキャッシュに関するドキュメントには、モデルごとの対応期間と適格性ルールが記載されている。

適格性と再利用の区別は重要だ。AWSは、キャッシュを有効化してもヒットが保証されるわけではないと明示している。サーバー配置、期限切れ、リクエストのタイミングによって再度書き込みが発生することがあり、クロスリージョンルーティングはキャッシュ書き込みを増やす可能性がある。

この制約により、期間延長のビジネスケースは変わる。コンテキストをより長く適格な状態に保つことは期限切れには対処するが、リクエストごとに変わるプレフィックスは修正できない。チームは、期間が問題の原因だったと判断する前に、再利用が失敗した理由について根拠を得る必要がある。

仮想のハンドブックアシスタントでは、安定した参照資料が妥当なキャッシュ候補となる。アプリケーションが共有される先頭部分を維持したい場合、変化する質問はその資料の後に置くべきだ。変化するセッション詳細を先に置くと、意図した構成が損なわれる。

編集上の含意はプロンプトの書式設定より広い。再利用は、リクエストの組み立て方とルーティング方法に依存するアプリケーションの特性となる。キャッシュ設定は、再利用したいコンテンツを継続的に変更するアーキテクチャを補えない。

測定では、使われていないキャッシュと効果のないキャッシュを区別すべきだ。未使用のエントリは、再訪しなかったユーザーを反映しているかもしれない。効果のない構成は、アクティブユーザーのリクエストが保存済みコンテキストを繰り返し見逃していることを反映している可能性がある。

これらの状況には異なる対応が必要だ。前者は、より長い保持がそのワークロードに役立つかどうかへの疑問を生む。後者では、何かを延長する前に、リクエスト構築、ルーティング、適格性を調べる必要がある。

チームは同等のトラフィック期間も比較すべきだ。閑散期は、多忙な時期よりも再利用の機会が自然に少ない。この文脈がなければ、ユーザー活動によって説明できるキャッシュ挙動の変化を、構成の改善または後退と見誤る可能性がある。

同じ注意は、頻繁に編集される参照資料にも当てはまる。急速に変化するハンドブックを提供する文書アシスタントは、安定したマニュアルを提供するものとは異なる再利用パターンに直面する。コンテンツの保守慣行は、共有プレフィックスが有用であり続ける期間に影響するため、コストの議論に含めるべきだ。

別々の顧客にサービスを提供するアプリケーションでは、テナント処理に独自の設計レビューが必要となる。キャッシュ最適化は、アプリケーションの認可およびデータ処理要件に適合すべきだ。コスト削減は、特定の構成がそれらの要件を満たすことを示すものではない。

したがって、Amazon Bedrockの推論コストにおける重要な問いは、キャッシュが有効かどうかよりも狭い。チームは、どのコンテキストが、どの程度の頻度で、どのトラフィック条件下で再利用されたのかを把握する必要がある。より長い期間が正当な選択となるのは、こうした観察がそれを裏付ける場合だけだ。

サービスティアは待機に価値を与える

緊急性の低いワークロードは、アプリケーションがそれに伴う完了挙動を許容できる場合、スケジューリングの機会を生む。

サービスティアは、コスト、可用性、応答性能のバランスを取る処理オプションだ。AWSは、より長い処理時間を許容できる作業にFlexが適していると説明している。そのサービスティアに関するドキュメントでは、このオプションを通常の推論リクエストのデフォルトであるStandardと対比している。

AWSのNova 2 Lite比較では、ティアごとに200件、合計400件の呼び出しを交互に実行した。トークン数は一致しており、すべてのリクエストは要求したティアに解決された。AWSによると、観測された中央値レイテンシーの差はノイズと区別できなかった。この結果は、一般的なレイテンシー保証を確立するものではない。

重要な分析上の区別は、ワークロードの緊急性と特定のテストで観測された速度の間にある。バックグラウンドジョブは、その期限が許すため、柔軟なスケジューリングの候補であり続ける。異例に高速なテスト実行は、すべてのインタラクティブなリクエストに柔軟なスケジューリングが適切であることを意味しない。

社内アーカイブ向けに要約を生成する仮想の企業を想像してみよう。従業員が翌朝に要約を必要とするなら、即時完了にビジネス価値はほとんどないかもしれない。アプリケーションは、処理の緊急性の一部をより有利な運用条件と交換できる可能性がある。

ここで、同じ要約機能をライブの顧客会話に組み込んだ場合を考える。基盤となるモデルタスクは似ているように見えても、待機コストは変わる。続ける前に回答を必要とする顧客は、夜間に待つアーカイブとは異なる要件を生む。

これは、プロダクトチームに期限を明確に定義するよう促す。バックグラウンドや社内といったラベルでは不十分だ。社内プロセスであっても重要なワークフローをブロックする可能性があり、バックグラウンドタスクも納品期限が近づけば緊急になる可能性がある。

フォールバックポリシーも別の側面を加える。フォールバックとは、優先パスが意図どおりに完了できないときに使用される代替処理パスである。別のティアへ自動的に切り替えると、配信を維持できる一方で、チームが想定した経済性を変える可能性がある。

そのポリシーは、その時点における完了の価値を反映すべきだ。通常のアーカイブジョブは待機できるかもしれないが、運用ワークフロー内で期限が迫っている場合はエスカレーションが正当化される可能性がある。アプリケーションには、エラー処理の偶発的な結果ではなく、明示的な判断が必要だ。

検証でも、要求したティアと実際にリクエストを処理したティアを区別する必要がある。AWSは、レスポンスと監視でその区別を公開している。これがなければ、アプリケーションは意図を記録しても、会計上重要な挙動を見逃す可能性がある。

購入者にとって、これは可用性だけでなく制御についても尋ねる理由となる。アプリケーションが作業を適切に割り当てたり、結果を観察したりできなければ、プラットフォームのティアメニューの価値は限定的だ。スケジューリングの柔軟性には運用上の責任者が必要である。

Amazon Bedrockの推論コストに対する含意は、待機にはチームが直接明示すべきビジネス価値があるということだ。適切なティアは、期限と完了要件から決まる。小規模なベンチマークが本番の応答時間を予測すると仮定すべきではない。

推論努力度は「最強のデフォルト」という習慣に疑問を投げかける

追加の推論は、追加作業を正当化できるほどタスクの成果を改善する場合に価値がある。

適応型思考により、モデルはリクエストに対してどの程度の中間推論を行うかを決定できる。努力度設定はその挙動に影響を与える。AWSの適応型思考に関するドキュメントは、現行のClaude世代でデフォルトと対応構成が異なることを説明しており、移行時の挙動がコストレビューの一部となる。

このドキュメントは、微妙な移行上の問題も示している。以前は思考なしで実行されていたリクエストが、リクエスト本文を変更していなくても、モデル変更後には課金対象となる思考出力を生成する可能性がある。思考と応答テキストは、全体の出力上限を共有する。

AWSは、範囲が明確に限定された3つのエージェントタスクでClaude Opus 5をテストし、各推論レベルで24回実行した。すべての実行で正解となった。同社の結果によると、出力の中央値は低推論時の936トークンから高推論時には2,521トークンへ増加した。

これらの結果は、タスクに効果があるかを確認せずにより強力な推論設定を選ぶという、特定の運用習慣に疑問を投げかける。ただし、自由形式のリサーチ、困難なデバッグ、あるいは未知の入力において、低推論が高推論と同等であることを示すものではない。タスクの境界は依然として中心的な要素である。

限定されたタスクには、利用可能な文書から指定フィールドを抽出するといった、明確な完了条件がある。自由形式のタスクでは、回答を作成する前にどの証拠が重要かを判断する必要があるかもしれない。こうした違いは、平均スコアに埋没させるのではなく、評価に反映すべきである。

仮想的なサポートワークフローは、この問題をよく示している。明確にラベル付けされたリクエストの振り分けにはほとんど熟慮を要しないかもしれないが、矛盾するアカウント記録の解決には、より多くの判断が求められる。両者に同じ推論量を適用することは、その難易度が交換可能であると仮定することになる。

懐疑的に見るべき点は、評価範囲にある。アプリケーションは、よく知られた例でテストすれば正確に見えても、実際のサポートコストを押し上げる例外ケースでは失敗する可能性がある。評価から人手による修復を必要とするケースが除かれていれば、トークン削減の説得力は弱まる。

Anthropicの直接提供プラットフォームも、そのコスト最適化ガイダンスを通じて並行する視点を示している。同社も同様に、タスクの形に合わせて推論量を調整することを推奨し、過度な熟慮と不十分な調査の双方に警鐘を鳴らしている。これはAWSの実験に対する独立した検証ではなく、ベンダーによる補足的な指針である。

この比較は、提供プラットフォームをまたぐ共通の運用課題を示している。開発者は、推論モデルにどれほどの作業を試みさせるかを、ますます細かく制御するようになっている。こうした制御は節約の余地を生む一方、ユーザーには見えない設定の選択に品質を依存させることにもなる。

妥当な評価では、失敗したケースで何が変化したかを検討すべきである。モデルは証拠を見落としたのか、調査を途中で打ち切ったのか、それとも不完全な回答を生成したのか。こうした区別は、追加の推論量が弱点に対処するのか、それとも単に出力を増やすだけなのかを判断する助けになる。

ワークフローで必要なら、人によるレビューもその計算に含めるべきである。修正作業を増やす短いモデル応答は、コストをなくすのではなく移し替える可能性がある。評価では、その作業がどこへ移るかを認識する必要がある。

したがって推論量は、デフォルト設定の意味を変える。デフォルトはプロバイダーが選択した出発時の挙動であり、アプリケーション側が受け入れ基準を担う。両者を整合させ続けるには、モデルまたはタスクが変わるたびに新たな証拠が必要となる。

出力上限は失敗の規模と利用可能な容量を制約する

出力上限が予算を守れるのは、アプリケーションも制約された応答が目的を完了したか確認する場合に限られる。

maxTokensは、BedrockのConverseインターフェースでリクエストに許可される最大出力を設定する。過大な上限は、モデルが回答を生成する前から容量に影響する可能性がある。AWSのトークンクォータ会計では、入力と要求された出力枠に基づく初期控除が行われ、その後、処理中に調整されると説明されている。

クォータとは、一定期間に許可される利用量に対するサービス上の制限である。請求とは異なり、AWSは顧客が実際に使用したトークンに対して支払うとしている。したがって、未使用の出力枠は、請求額と同等の料金にはならずとも、同時に実行されるリクエスト数である並行処理数を制約し得る。

この区別により、よくある会計上の誤解を防げる。モデルがすでに上限未満で停止している場合、上限を下げても自動的に請求額が減るわけではない。その直接的な利点は、アプリケーションが利用可能な容量をより効果的に使えるようになることかもしれない。

寛大な上限は、問題が起きた場合にもなお重要である。挙動を悪化させる変更を意味するプロンプトの回帰は、予想外に長い応答を生む可能性がある。タスク固有の上限は、そのリクエストが出力を生成し続けられる範囲を制限する。

反対のリスクは、回答が完了前に切り取られることだ。応答はリソース消費を抑えつつ、次の工程が必要とする情報を欠く可能性がある。連鎖したワークフローでは、その不完全な応答が修復作業を引き起こしたり、後続処理を失敗させたりするかもしれない。

別のアプリケーション向けに構造化された引き継ぎ情報を生成する仮想的なアシスタントを考えてみよう。部分的に生成された応答は人には読めても、受信側アプリケーションの要件を満たせない可能性がある。重要なのは、上限内に収まるだけのテキストではなく、有効な引き継ぎである。

このため、完了確認はアプリケーションの責務となる。通常のネットワーク応答は、要求された作業が完了したことを示すものではない。アプリケーションは、停止条件と、結果が期待する構造および内容を満たすかを考慮する必要がある。

推論は、該当モデルでは枠が最終テキストだけでなく中間的な思考も対象にするため、さらなる複雑さを加える。可視の回答長を基準に調整した上限は、推論の挙動が変わった後には過度に制約的になる可能性がある。これが、出力方針を移行テストに含めるべき理由である。

有用な調整アプローチでは、タスクの種類を分ける。短い分類、詳細な要約、ツール主導のワークフローでは、正当な出力形式が異なる。これらを一つの分布にまとめると、一般的なリクエストには無駄である一方、要求の厳しいリクエストには制約的となる上限を設定するリスクがある。

事業上の判断は、不完全な作業にどこまで耐えられるかに関わる。一部のワークフローは、明示的な部分結果を返し、継続を求めることができる。安全かつ予測可能に進めるには、完全な応答を必要とするものもある。

したがって、Amazon Bedrockの推論コストは、スループットと完了状況と併せて検討すべきである。上限は過剰生成への露出に影響し、クォータ会計はどれだけの作業を同時に実行できるかに影響する。どちらの指標だけでも、アプリケーションが効率的に運用されているかは判断できない。

次の証拠は完了した作業から得るべきである

最も強力な次の検証は、品質を維持し、期限を満たし、消費量がどこで変化したかを説明する本番比較である。

今後数か月にわたり、最初に注目すべきシグナルは、実現されたコンテキスト再利用である。キャッシュ期間を延長するチームは、対象となる繰り返し素材が実際に再び読み込まれている証拠を確認すべきだ。代わりに追加書き込みが大半を占めるなら、より長い期間を支持する根拠は弱まり、その原因を調査する価値がある。

このシグナルには、トラフィックとコンテンツの変化に関する文脈が必要である。大規模なデモ中の再利用は、通常運用時にも同じパターンが成立することを示すものではない。説得力のある結果は、アプリケーションの通常のリクエスト周期と定常的な更新の中でも持続する。

二つ目のシグナルは、選択したサービス階層における完了状況である。バックグラウンド作業は、利用する提供階層とフォールバックを可視化したうえで、運用上の期限までに到着する必要がある。エスカレーションが日常化するなら、当初のスケジューリング選択を再評価する必要がある。

ここで、見出し上の節約とアプリケーション経済性が乖離し得る。ワークフローは優先経路では安価に見えても、より緊急性の高い代替手段に大きく依存している可能性がある。会計は、それらの経路をまたいで完了したジョブを追うべきである。

三つ目のシグナルは、推論量と出力方針を変更した後の品質である。チームは、タスク受け入れ状況、不完全な応答、人による修正を一体として監視すべきである。これらの結果が許容範囲にとどまる場合、消費量の低下は節約の主張を強める。悪化すれば、その主張は弱まる。

これらのシグナルには、人員の交代後も残る記録も必要である。裏付けとなる証拠を持たない設定選択は、別の継承されたデフォルトとなる。将来の保守担当者は、どのワークロードがそれを正当化したのか、どの変更がレビューの契機となるのかを知る必要がある。

エンジニアリング組織は、そうした決定を技術文書や実験結果と並べて保持できる。検索可能なナレッジベースは、設定変更とその裏付けとなる証拠を結び付けるのに役立つ。目的は、次の移行で同じような疑問が生じたとき、判断の根拠を検索可能にすることである。

AWSの実験が有用なのは、月次請求書では一つにまとめられる複数の仕組みを分けているためである。その限界も同様に有用である。ベンダーのテストは、その条件下での結果を確立する。それは、別のアプリケーションが同じ条件を共有しているかを判断する必要性をなくすものではない。

エンタープライズ購入者にとって、次の議論は誰がその判断を担うかに焦点を当てるべきである。調達部門は商取引条件を比較できるが、アプリケーションの所有者は許容可能なレイテンシーと品質を定義しなければならない。運用チームは、それらの要件を実際の挙動に結び付けるための十分な可視性を必要とする。

リクエスト設定によってAmazon Bedrockの推論コストを変更する前に、代表的なワークフローを選び、その成功条件を定義する。現在の消費量、応答の挙動、修正負担を記録する。設定を変更したうえで、改訂後の構成で同等の作業を比較する。別のエンジニアが後で判断を理解できるよう、証拠をモデルバージョンとタスク定義とともに保管する。より安価なリクエストが遅延や修復作業を生むなら、その影響も結果に含める。品質が維持され、完了状況も許容可能なら、類似タスクへ慎重に拡大する。現在、あなたのアプリケーションでその証拠が不足している設定はどれだろうか。コンテキスト再利用、処理の緊急度、推論量、それとも出力上限だろうか。

 
 

無料で始めましょう

ローカルファーストのパーソナル知識管理付きAIアシスタント

より良いAI体験のために、

remio は現在、 Windows 10+ (x64)とM-Chip Mac のみをサポートしています。

仕事のAIパートナー
remioでもっと仕事が進む

計画・作成・仕上げまで
すべてをひとつに

bottom of page