Chain of Thought Promptingとは何ですか？ AIがステップバイステップで推論する方法

Chain of thought promptingは、モデルに最終回答を出す前に中間的な推論ステップを生成させるよう指示するAI手法です。このアプローチにより、1つのプロンプトが短い論理的演繹のシーケンスに変わります。タスクが複数のステップを必要とする場合、大規模モデルと小規模モデルの両方で機能します。この手法は2022年の論文「Chain-of-Thought Prompting Elicits Reasoning in Large Language Models」（Wei et al.）で紹介され、その後、数学、論理、計画に関する質問の標準となっています（Google AIの進展に関するThe Vergeの報道も参照）。

この手法が最初に注目されたのは、直接的な回答に隠れた計算ミスが含まれることが多かったためです。各ステップを記述させることで、研究者はベンチマークでのこうしたエラーを削減しました。現在では、同じパターンがコーディングアシスタント、リサーチツール、意思決定支援システムに登場しています。

Key Takeaways

• Chain of thought promptingにより、モデルは最終回答の前に各推論ステップを表示します。

• Zero-shot版では、例を示さずに「think step by step」というフレーズを追加します。

• Few-shot版では、ステップと回答の両方を含む2〜3個の具体例を提供します。

• Tree-of-thoughtの拡張では、複数の推論分岐を探索し、必要に応じてバックトラックします。

• この手法は多段階タスクでの精度を向上させますが、トークンコストとわずかなレイテンシが増加します。

Chain of Thought Prompting Definition

Chain of thought promptingは、モデルに結論に到達する前に明示的な推論ステップのシーケンスを生成するよう求めるものです。最終回答は依然として表示されますが、その回答に至る道筋が可視化されます。各ステップは自然言語で記述されるため、ユーザーや別のシステムが論理を検証できます。この手法は、基盤となるモデルの重みを変更することなく、テキスト、コード、記号の問題に適用できます。

このアプローチを定義する3つの属性があります。第一に、推論はモデル内部に隠さず明示的に記述する必要があります。第二に、ステップは人間が検証可能な論理的順序に従う必要があります。第三に、最終行には「Therefore」や「Answer:」などの明確なマーカーの後に最終回答のみを含めます。

How Chain of Thought Prompting Works

このプロセスは、可視化された推論を要求する慎重に worded された指示から始まります。モデルは問題を順序立てた部分に分解する短い段落を生成します。各部分は次のステップに引き継がれる中間結果で終わります。最後のステップが完了すると、モデルは独自の行に回答を述べます。

Step 1: Prompt construction - request visible steps

ユーザーは「write each step before you conclude」のような指示を追加します。この1文により、モデルは直接回答パターンからステップパターンへ移行します。この指示が機能するのは、モデルがすでにステップを含む多くのworked solutionsの例で訓練されているためです。

Step 2: Intermediate generation - produce ordered deductions

モデルは人間のメモ作業を反映した番号付きまたは箇条書きの行を出力します。各行は元の質問から導かれる事実または小さな計算を述べます。モデルは自身の前のステップを再利用し、追跡しやすい短いチェーンを作成します。

Step 3: Answer extraction - isolate the final result

チェーンが終了した後、モデルは結論を出力します。開発者はしばしば「the answer is」などのstop phraseを追加して抽出を容易にします。この分離により、下流のコードがチェーン全体を読まずに回答を解析できます。

初心者ユーザーはこのプロセスを紙の上の割り算として想像できます。モデルは商に直接飛ぶのではなく、すべての減算とbring-downステップを記述するようになりました。記述長の増加によりトークン使用量は増えますが、追加の可視性により複数の演算を含むタスクでの正解率が向上します。

A hands-on success example: Prompt = "Q: Roger has 5 tennis balls. He buys 2 more cans of tennis balls. Each can has 3 tennis balls. How many tennis balls does he have now? Think step by step." Model output = "Roger started with 5 balls. 2 cans × 3 balls/can = 6 balls. 5 + 6 = 11. Answer: 11." (correct, per Wei et al. benchmarks).

A failure case on simple recall: Prompt = "Q: What is the capital of France? Think step by step." Model output = "France is a country in Europe. Its largest city is Paris, known for landmarks. Therefore the capital must be Lyon." (plausible but incorrect intermediate step; CoT added an error instead of helping).

Real-World Applications

プログラマーは再帰関数のデバッグ時に、各return値を最終出力の前にリストアップするようモデルに依頼できます。リストされた呼び出しにより、スタック深度が期待を超える箇所が明らかになります。

金融アナリストは、すべての収益と費用明細を表示した月次キャッシュフロー予測を依頼できます。可視化されたステップにより、最終数値をモデルが合計する前に手動調整が可能になります。

生徒は幾何学の証明を解く際に、各補題を定理の記述の前に受け取れます。順序立てられた補題は教科書の解答と一致し、生徒が自身の作業を確認する助けになります。

サプライチェーンプランナーは、すべての都市訪問と距離計算をリストした配送ルートを依頼できます。このチェーンにより、プロンプト全体を再実行せずに2つのルートを簡単に比較できます。

Common Questions About Chain of Thought Prompting

Q: Does chain of thought prompting work with every model size?

A: 大規模モデルほど大きな改善が見られます。小規模モデルでも単純な算術では改善しますが、長い問題では中間ステップが弱くなる場合があります。

Q: How is chain of thought prompting different from standard prompting?

A: 標準的なプロンプティングは最終回答のみを求めます。Chain of thought promptingは、質問と回答の間に可視化された推論ステップを明示的に要求します。

Q: Does chain of thought prompting increase cost?

A: はい。追加の推論トークンにより入力と出力の長さが増加します。追加コストは通常、複雑なタスクでの精度向上と比べて控えめです。

Q: Can chain of thought prompting reduce hallucinations?

A: この手法は、計算のスキップに起因する事実誤認を低減します。ただし、モデルが中間事実をでっち上げる可能性があるため、すべてのhallucinationを除去するわけではありません。

Q: When should you use tree-of-thought extensions instead?

A: 単一の線形チェーンが行き詰まる可能性がある場合にtree-of-thought拡張を選択します。分岐アプローチは複数の経路を探索し、早期チェックで失敗したものを破棄します。

Q: chain of thought promptingの主な限界は何ですか？

A: CoTは、単純な事実の想起を必要とするタスクでは失敗するかほとんど価値を追加しません。このような場合、ステップを強制すると、モデルがもっともらしく聞こえるが誤った中間主張を生成する可能性があります。また、トークンコストとレイテンシが増加します。モデルに根本的な能力が欠けている場合、追加されたチェーンは正しいものではなく、自信たっぷりのエラーを単に表面化するだけかもしれません。