Hacker Newsが見つけたロボティクスのデモ問題。現実はさらに厳しい

Hacker Newsでは、長年にわたる印象的なデモを経て、ロボティクスへの詳細な批判が注目を集めた。しかし、この対立は人気投稿ひとつにとどまるものではない。ロボットはいま、研究室で目を見張る作業をこなしているが、そうした映像が成功率、人の補助、保守、運用上の制約を明らかにすることはほとんどない。

15 Reasons Robotics Is Hardと題されたこの論考は、汎用ロボットが相互依存する問題群に直面すると論じる。器用さ、知覚、計画、速度、安全性、耐久性、信頼性、計算能力、製造のすべてが連携して機能しなければならない。

このシステム上の問題こそが、ロボティクスを、大規模言語モデルが生んだソフトウェアの急成長と分けている。ChatGPTは既存のスマートフォンやコンピューターを通じて利用者に届いた。一方、有用な汎用ロボットには、身体、センサー、アクチュエーター、バッテリー、安全制御、訓練済みポリシー、現地サポートが必要だ。

これは、ロボティクスの進歩が幻想だという意味ではない。産業用導入は拡大しており、基盤モデルは機械による指示の解釈を改善している。皮肉なのは、より優れた人工知能が物理的なボトルネックを解消するのではなく、むしろ露わにし得ることだ。

したがって中心的な争点は、楽観論者と悲観論者の対立ではない。洗練されたデモでの性能と、制御されていない環境での信頼できる運用との隔たりである。この違いは、フィジカルAIを評価しようとする開発者、購入者、労働者、投資家にとって重要だ。

Hacker Newsにおけるロボティクス論争が重要な理由

Hacker Newsでの議論が重要なのは、ロボティクス自体の価値ではなく、汎用ロボットを評価するために用いられる証拠に疑問を投げかけているからだ。

元の論考は、説得力のあるロボットのデモと信頼できる製品の間にある障壁を幅広く列挙したものだった。現在のタイトルでは15の理由が挙げられているが、以前の言及や共有されているURLでは14となっている。

この不一致は編集上の小さな問題にすぎない。より大きな主張は一貫している。つまり、機械全体にわたる弱点は、ひとつの部品の進歩では補えないということだ。

ロボットはシャツを認識できても、つかめないかもしれない。つかめても、畳むのに時間がかかりすぎるかもしれない。一度は畳めても、生地が変われば失敗するかもしれない。

デモ動画では、こうした違いが取り除かれてしまう。視聴者には、成功したテイクの前に何回の試行があったのか見えないことが多い。また、画面外でオペレーターが介入したかどうかも判断できない。

再生速度は遅い動きを隠し得る。編集はリセット、充電休憩、キャリブレーション、損傷した部品を省ける。管理された部屋は、普通の家庭を難しくする雑然さも取り除ける。

この証拠の問題は、消費者向けソフトウェアよりロボットで深刻だ。誰でも公開チャットボットを数百のプロンプトで試せる。だが、高度なヒューマノイドをキッチンや倉庫で独自に検証できる人はほとんどいない。

実務上の結果は情報の非対称性だ。メーカーはハードウェア、環境、タスク、カメラ位置、公開映像を管理する。潜在的な購入者が見るのは結果であり、その背後にある運用分布ではない。

成功率は、反復試行全体にわたる性能を示す。ハイライト映像が示すのは、成功が少なくとも一度は起きたということだけだ。失敗が財産の損傷や人の負傷につながり得る場面では、両者はまったく異なる主張となる。

独立評価もこの懸念を裏づける。Epoch AIによる2026年のrobot capability assessmentは、デモで解決済みに見えるタスクが、導入時には依然として脆弱であり得ると警告している。

この報告書は、ロボットが一様な自律性を持つわけではないため、産業、家庭、移動に関するタスクを分けている。能力は環境、ハードウェア、タスク定義、許容される失敗率によって変化する。

ここから、Hacker Newsでの注目がもたらした最初の有用な教訓が得られる。ロボットの性能は、個別の芸当の集まりではなく、完全な運用システムとして評価すべきだ。

問うべきことは具体的である。タスクはどのくらいの頻度で成功するのか。性能はどれほど速く劣化するのか。予期せぬ事態、衝突、落下物、ネットワーク中断の後には何が起こるのか。

購入者は、誰がどの程度の頻度でロボットを復旧させるのかも知る必要がある。常に技術者の介入を受けて動く機械は、自律的な従業員ではなく研究プラットフォームだ。

この論考の人気は、デモ主導のロボティクスマーケティングに対する懐疑が強まっていることを示している。AIの進歩は期待を高めたが、物理的な機械にはテキストモデルが決して直面しない制約がある。

手は依然としてシステム上の問題である

ロボットの器用さが難しいのは、センシング、機構、制御、耐久性、判断のすべてが同じ動作の中で成功しなければならないからだ。

人の手は、物体操作を見かけ以上に単純に見せる。元の論考によれば、手にはおよそ24の自由度と約17,000個の触覚センサーがある。

自由度とは、関節が独立して動ける方向を指す。自由度が多いほど精密な動きを可能にするが、制御の複雑さも増す。

一部のロボットハンドは、ある機械的指標では人の手と同等かそれ以上に達しているとされる。しかし、その成果は、感度、強度、柔軟性、速度、自己防護を兼ね備えた人の手の完全な性能を再現するものではない。

硬いグリッパーは、物体が既知の位置に到着する場合にはうまく機能する。物体の形状、質感、重量、温度、向きが変わると、信頼性は低下する。

濡れた皿の積み重ねから一枚だけ取り出す場面を考えてみよう。手は摩擦を検出し、ほぼ同じ縁を分離し、圧力を抑え、残りの皿が動かないようにしなければならない。

視覚だけでは情報が不完全だ。制御装置には、滑りや過剰な力を検出するための触覚フィードバックが必要になる。そして皿が落下したり割れたりする前に調整しなければならない。

柔軟な素材はさらに別の難しさを加える。シャツ、ケーブル、袋、食品、寝具は絶えず形を変える。その次の位置は、接触、重力、材料特性、過去の動作に左右される。

ロボットは、ひとつの完璧な軌道を計算するだけでは済まない。観察し、動作し、変化を検出し、厳しい時間制約の中で行動を修正しなければならない。

このフィードバックループは、単一物体を扱う説得力のあるデモが汎用的な器用さを証明しない理由を説明する。新しい物体ごとに接触の問題が変わり、起こり得る失敗モードが広がる。

人間は生物学的な柔軟性という利点も持つ。皮膚、組織、関節、反射は、意識的な推論が始まる前に小さな誤差を吸収する。大半のロボットは、ハードウェアと制御ソフトウェアでこうした保護を再現しなければならない。

機械的な複雑さが増すほど、保守コストも増える。追加の関節には、アクチュエーター、配線、センサー、キャリブレーション、構造的な支えが必要だ。各部品が新たな故障点になる。

繊細な触覚センサーは、ロボットによる接触検出に役立つ。しかしそのセンサー自体も、繰り返される衝撃、ほこり、湿気、熱、日常的な摩耗に耐えなければならない。

人の手は小さな傷の多くを治癒できる。ロボットハンドは自己修復しない。表面の摩耗、関節の緩み、センサーのドリフトによって精度は低下し得る。

同じトレードオフは強度にも現れる。強力なアクチュエーターは、物体を持ち上げ、外乱に耐え、有用な作業を行うのに役立つ。その一方で、重量が増え、エネルギーを消費し、熱を発生させる。

強度は、誤りをより危険にし得る。弱いロボットなら箱を落とすかもしれない。強いロボットは箱をつぶし、人にぶつかり、手足を挟む可能性がある。

速度も別の対立を生む。より速い動きは生産性を高めるが、知覚、計画、緊急停止のための時間を減らす。

慎重に動く家庭用ロボットは、調理、清掃、人の支援に時間がかかりすぎるかもしれない。より速い機械は、安全性を損なわずに予測不能な動きを検出しなければならない。

こうした対立は、互いに独立して最適化できない。軽い手は素早く動けても、持ち上げられる重量は少ないかもしれない。強い手には、より重いモーターと大きなバッテリーが必要になる可能性がある。

これが、ヒューマノイドによる物体操作が依然としてシステム上の問題である理由だ。課題は、ひとつの高度な部品を作ることではない。多くの不完全な部品を組み合わせ、ひとつの弱点が全体を支配しないようにすることだ。

より賢いモデルにも物理的な判断が必要だ

基盤モデルはロボットの推論を改善するが、言語能力が自動的に安全で信頼性の高い物理的行動になるわけではない。

現代のロボティクス開発者は、しばしばVLAと呼ばれる視覚・言語・行動モデルを利用するようになっている。VLAは視覚的な観察と自然言語の指示を、ロボットが実行できる行動へ変換する。

この手法は、より柔軟な機械を約束する。開発者はすべての動作をプログラムする代わりに、多数のタスクでモデルを訓練し、それを特定の身体に適応させられる。

Google DeepMindのrobotics model familyは、その方向性を示している。Gemini Robotics 1.5は視覚情報と指示を組み合わせ、モーター制御コマンドを生成する。

同社によれば、対をなす身体化推論モデルは複数段階の活動を計画し、デジタルツールを呼び出せる。その後、ロボットを制御する行動モデルに指示を与えられる。

このアーキテクチャは現実の制約に対処する。多くの物理的タスクでは、動作を始める前に外部情報が必要となる。

たとえばごみの分別は、地域のリサイクル規則に依存する場合がある。ロボットは規則を取得し、各物体を認識し、行き先を選び、経路を計画し、完了を確認しなければならない。

とはいえ、高レベルの推論は連鎖の一部にすぎない。物体の行き先を正しく判断しても、ロボットがそれを持ち上げられる保証はない。

モデルは抽象的な計画を特定の機械に対応付ける必要がある。ロボットごとに、カメラ、関節、グリッパー、強度の限界、制御周波数が異なる。

異なる身体間での学習は、ロボット設計間で知識を移転しようとするものだ。同じ指示でも異なる身体では大きく異なるモーターコマンドが必要になり得るため、依然として難しい。

Nvidiaは、GR00T platformを通じて関連する戦略を進めている。そのモデルは、動画、言語、ロボットの現在の関節位置に関する情報を受け取る。

このプラットフォームは、実演、シミュレーション軌道、合成データ、インターネット動画を組み合わせる。開発者はその後、特定のロボット、タスク、環境向けにモデルを追加学習できる。

これは完成した自律労働者というより、ソフトウェアプラットフォームに近い。Nvidia自身の早期アクセスに関する説明でも、現行の提供内容には本番導入サポートと十分に検証された機能セットが欠けているとされる。

この違いには注意を払うべきだ。基盤モデルは、新しい行動を教えるための労力を減らせるが、周囲の機械まで信頼できるものにするわけではない。

ロボットには物理的な判断が必要だ。つまり、接触、慣性、不確実性、結果を考慮しながら行動を選ばなければならない。その判断が行われている間にも、環境は変化し続ける。

言語モデルは、不十分な下書きを出した後に回答を見直せる。沸騰した湯を持つロボットは、気軽に別の解釈を試すことはできない。

レイテンシーも重要だ。クラウド推論はより大きなモデルを提供するが、接続性と往復遅延に依存する。オンボード推論はバッテリー容量を消費し、熱を加える。

どちらの選択にも失敗モードがある。クラウド制御のロボットは推論システムへのアクセスを失う可能性がある。ローカルモデルは、より厳しい計算能力とメモリの制約下で動作する場合がある。

協働によって問題はさらに難しくなる。汎用ロボットは、人、ペット、カート、工具、ほかの機械と空間を共有することになる。

こうした参加者が常に決められた台本に従うとは限らない。経路をふさぎ、物体を動かし、指示を誤解し、警告なく危険を生み出すことがある。

計画はしたがって、知覚と常に結び付いていなければならない。ロボットは現実が以前の計画と一致しなくなったことを検知し、その不一致が危険になる前に対応する必要がある。

優れたモデルは、このサイクルを改善するため価値がある。ただし、物理的な要件をなくすわけではない。計画されたすべての動作は、依然として誤作動し得るセンサーと機械部品を通過する。

現実との隔たりが実験室での成功を崩す

ロボティクスにおける最大の後退は、制御された試験環境を離れたポリシーが、学習プロセスで捉えられなかったばらつきに直面したときに起きる。

物理環境での学習は時間がかかり、コストも高く、場合によっては機器を損傷するため、シミュレーションはロボット開発の中心的な手段になっている。シミュレーション上のロボットなら、モーターを摩耗させたり物体を壊したりせずに、同じタスクを繰り返せる。

開発者は、照明、カメラ位置、摩擦、質量、物体配置について、多数の変動条件を作成することもできる。この手法は、モデルが単一の実験室配置を記憶するだけになるのを避ける助けとなる。

しかし、シミュレーションは物理的な接触のあらゆる細部を再現できない。材料は変形し、表面は摩耗し、カメラにはノイズが入り、モーターの応答は温度変化によって異なる。

そこから生じる性能低下は、sim-to-real gapと呼ばれる。これは、シミュレーションで学習した挙動と、物理ハードウェアで観測される挙動の差を表す。

査読済みのsim-to-real研究は、この隔たりを情報の問題として位置付けている。シミュレーションによる学習プロセスは、現実には利用できない、あるいは異なる信号を符号化している可能性がある。

接触の多いタスクでは、この問題がすぐに露呈する。シミュレーション上の物体では簡略化された摩擦モデルを用いるかもしれないが、実物は予測不能に滑り、張り付き、曲がり、跳ね返る。

ドメインランダム化は、学習中にシミュレーションのパラメータを変動させることで役立つ。ポリシーは、単一の厳密な仮想世界に最適化するのではなく、多数の人工的条件をまたいで学習する。

これにより堅牢性は高まるが、網羅性が保証されるわけではない。どの性質をランダム化し、どの値域を使うかは、依然として開発者が決める。

未知の物理的影響は、学習分布の外側に残り得る。緩んだコネクター、傷付いたレンズ、摩耗した指先、反射する荷物、振動する床は、いずれも性能を変え得る。

現実世界のデータはより強い証拠を提供するが、収集は難しい。ロボットが動作を実行する速度は、ソフトウェアがテキストトークンを生成する速度よりはるかに遅い。

人間のオペレーターは、タスクの実演、試行の監督、結果のラベル付け、場面のリセットを行う必要がある場合がある。機器には充電、修理、再校正、点検も必要となる。

データは特定の物理的実体に結び付いている。あるアームで記録した軌道が、関節や寸法の異なる別のアームへきれいに移植できるとは限らない。

インターネット動画は規模を提供するが、ロボット状態に関する直接的な情報を欠いている。動画は何が起きたかを示しても、すべての力、関節角度、トルク、触覚の読み取り値を記録しているわけではない。

研究者は動画から動きを推定できるが、推定には不確実性が加わる。ロボットはなお、観察した人間の行動を、自身の身体に適合する動作へ変換しなければならない。

合成データは、その隔たりの一部を埋められる。視覚的な多様性を広げ、タスクの変種を生成し、まれなシナリオにポリシーをさらすことができる。

最も強力な開発パイプラインは、シミュレーション、実演、合成例、物理試験を組み合わせる。その組み合わせはボトルネックの存在を示すものであり、それが消えたことの証明ではない。

制約された環境が依然として魅力的である理由は、工場を見れば分かる。エンジニアは照明、物体の流れ、作業面、安全柵、タスクの順序を制御する。

産業用ロボットは、明確に定義された動作を卓越した一貫性で繰り返せる。多くの場合、機械に日常的な人間の雑然さを克服させるのではなく、環境のほうを機械に合わせて再設計する。

家庭では、この関係が逆転する。物は予告なく移動し、床の状態は異なり、ドアは引っかかり、子どもは作業を中断し、利用者はロボットが不完全な指示を理解することを期待する。

キッチンだけでも、反射する金属、透明なガラス、液体、熱、包丁、柔軟な包装材、性質が変化する食品が存在する。各カテゴリーは異なる知覚と操作の要件を生み出す。

問題は長いタスクで複合化する。ロボットが各ステップで高い成功率を持っていても、多数のステップを必要とする一連の作業では失敗し得る。

10個の依存する動作からなるタスクには、10回の中断機会がある。理想的な計画と同じくらい、復旧行動が重要になる。

だからこそ、ベンチマークの向上には運用上の文脈が必要だ。あるモデルがシミュレーションで別のモデルを上回っても、教師なしの導入にはなお不適切である可能性がある。

意味のある試験とは、異なる環境にまたがり、失敗を編集で取り除かずに記録したうえで、実機で持続的な性能を示すことだ。

信頼性と安全性が商用化の基準を定める

有用なロボットは安全な作業を繰り返し提供しなければならない。時折見せる卓越性では、頻繁な介入、停止時間、危険な失敗を埋め合わせられないためだ。

産業用ロボティクスはすでに意味のある規模で稼働している。World Roboticsのデータによれば、2024年の産業用ロボット設置台数は54万2,000台だった。

この数字は10年前に記録された年間合計の2倍を超える。また、設置台数が50万台を超えた4年連続の年でもあった。

これらの数字は、ロボティクスが経済的価値を生み出せることを示している。ただし、汎用ヒューマノイドが同じく幅広い導入の準備を整えたことを証明するものではない。

成功している産業システムの大半は、定義されたタスクを対象にしている。溶接ロボット、パレタイジングアーム、自律搬送プラットフォームは、設計されたプロセスの範囲内で稼働する。

事業性は、処理能力、稼働率、統合、保守、安全性に左右される。人間に似た外観は、これらの指標を改善しない限り、ほとんど価値を持たない。

汎用ロボットは柔軟性を売りにするため、より高い基準に直面する。導入のたびに完全なエンジニアリングプロジェクトを必要とせず、より幅広いタスクの変動を扱わなければならない。

その柔軟性は、起こり得る失敗の範囲を広げる。ツール、空間、物体、人間との相互作用が増えるほど、エンジニアが検証すべき組み合わせも増える。

信頼性は、タスクの成功だけにとどまらない。ハードウェアの耐久性、校正の安定性、熱的挙動、バッテリー性能、ソフトウェアの復旧、通信障害も含まれる。

タスクを完了しても、短時間の稼働で過熱するロボットは、勤務シフトを維持できない。頻繁なリセットを必要とするロボットは、労働をなくすのではなく別の形で移し替えるだけだ。

保守性は知能と同じくらい重要である。企業には、交換部品、訓練を受けた技術者、診断手段、保守スケジュール、予測可能な修理時間が必要になる。

生産規模の拡大は、別の物理的制約も加える。ソフトウェアはほぼ即座に複製できる。ロボットには部品、組立能力、品質管理、輸送、設置、地域でのサポートが必要だ。

製造公差も、学習済みの挙動に影響し得る。試作機のハードウェアで調整された制御ポリシーは、生産機に小さな機械的差異が含まれると異なる応答を示す場合がある。

安全性は受容の基準をさらに引き上げる。米国労働安全衛生局は、多くのロボット事故が非定常作業中に発生すると指摘している。

プログラミング、保守、試験、セットアップ、調整は、人をロボットの稼働エリア内に置く可能性がある。こうした場面は、通常の自律運転を前提とする想定を複雑にする。

汎用ロボットは、その設計上、さらなる非定常条件を生み出す。環境が変化し、専門的な訓練を受けていない人が近づくこともある。

停止が常に安全とは限らない。移動ロボットは、熱い鍋を運んでいる最中、人を支えている最中、出入口を塞いでいる最中、階段でバランスを取っている最中に停止するかもしれない。

継続も安全でない場合がある。コントローラーは、しばしば不完全な情報とわずかな反応時間の中で、どの行動がより低いリスクを生むかを評価しなければならない。

これが商用化における主要な対立だ。能力は企業にロボットをより多くのタスクへ投入するよう促す一方、安全性と信頼性は狭く予測可能な運用を求める。

開発者は、低速化、力の制限、コンプライアント機構、冗長センサー、制限区域、人間による監督を通じてリスクを減らせる。

あらゆる安全策にはコストが伴う。低速化は処理能力を下げる。監督は人件費の削減効果を下げる。冗長性は重量、費用、保守負担を増やす。

したがって、最も可能性の高い道筋は不均一な導入だ。ロボットはまず、環境が構造化され、失敗が管理可能な領域で拡大する。

倉庫、工場、研究所、選定された物流業務には、より明確なタスク境界がある。家庭、病院、建設現場、公共空間には、より広い不確実性が存在する。

これはヒューマノイドを否定するものではない。商業的な進展は、視覚的な洗練度ではなく、持続的な運用によって測るべきだという意味である。

競争はデモ性能と導入実績の間にある

最も信頼できるロボティクス企業は、再現可能なシステムと選別された成功事例を外部の人々が区別できるよう、運用上の証拠を公開する。

公正な評価は、すべてのデモを退けることを求めるものではない。デモは新たな能力を明らかにし、統合の進捗を示し、研究者が複雑な取り組みを伝える助けとなる。

問題は、映像がその証拠以上の確実性を帯び始めたときに起きる。視聴者はしばしば、何も立証していない映像から自律性、速度、信頼性、汎化能力を推測する。

開発者と購入者には、より適切な証拠の階層が必要だ。編集されていないデモはダイジェスト映像より強い証拠だが、それでも小さな標本にすぎない。

ランダム化された環境における反復試験は、より多くの情報をもたらす。評価者が失敗カテゴリーと介入率を公開する場合、独立した試験はさらに強い証拠となる。

長期運用は、最も有用な商業的証拠を提供する。部品の摩耗、熱的限界、校正ドリフト、復旧行動、保守需要を明らかにする。

いくつかの指標は標準化されるべきだ。タスク成功率は出発点だが、完了時間と人間による介入回数を併記すべきである。

企業は運用環境も開示すべきだ。照明、物体の選定、床の状態、接続性、事前マッピングは、結果に大きく影響し得る。

自律性の境界には明確な定義が必要である。ロボットは、人間が選んだ把持点、遠隔支援、スクリプト化されたタスク手順、安全承認を受けている場合がある。

こうした入力がデモを無効にするわけではない。それを隠せば、視聴者は機械が実際に何をしたのか理解できなくなる。

すべてのロボットは失敗するため、失敗の報告は重要だ。有用な問いは、失敗が予測可能か、検知可能か、安全か、回復可能かである。

不確実性を認識できるシステムは、危険な動作を行う前に支援を求められる。この挙動は見栄えが劣るかもしれないが、より大きな運用価値を提供する。

購入者は、モデルの改善と製品の改善も区別すべきだ。より強力なVLAは汎化能力を改善できる一方、機械自体は熱や壊れやすいハードウェアによって制約され続ける可能性がある。

同様に、より良いアクチュエーターが計画の問題を解決するわけではない。耐久性の高い手は雑然とした棚を理解せず、優れた視覚モデルも摩耗した関節を修理しない。

この枠組みは、元の論考を適切な文脈に置く。そのリストは、ロボティクスが失敗するという予測ではない。

それは、進歩が相互に作用する層全体で起きなければならないという警告である。複数の層を解決しても、最も弱い層によって製品全体が阻まれる可能性がある。

Hacker Newsの議論は、AIに関するよく知られた前提にも疑問を投げかける。データと計算資源の拡大は言語分野で劇的な進歩を生んだため、観察者はロボティクスでも同様の曲線を期待している。

ロボティクスでは、利用可能な学習インタラクションが少なく、失敗のコストも高い。出力は物理法則に従い、特定の身体に適合し、人の周囲で安全であり続けなければならない。

基盤モデルは、タスクをまたぐ学習を加速できる。シミュレーションは経験を増幅できる。ハードウェアの改善は、到達可能な行動空間を拡大できる。

しかし商用展開には、こうした成果が一体化することが求められる。企業はモデルだけを先に出荷し、信頼性の高い機体をソフトウェアアップデートまで先送りすることはできない。

Hacker Newsの読者が次に注目すべきこと

次の段階は、また別の単発動画の波ではなく、導入データ、独立評価、障害からの復旧性能によって判断されるべきだ。

最初のシグナルは、標準化された反復的な実環境テストだ。未知の物体、変更された配置、長いタスク連鎖、介入回数の透明な記録を用いる評価に注目したい。

こうしたテストは、基盤モデルが事前に練習された条件を超えて汎化できるという主張を強めるだろう。非公開ベンチマークへの依存が続けば、その結論は弱まる。

二つ目のシグナルは、顧客環境での継続的な導入だ。有用な開示情報には、稼働時間、完了したタスク数、人間による支援、保守間隔、技術者の対応を要した障害が含まれる。

実際の施設で数か月にわたり稼働するロボットは、成功した研究室セッションより強い証拠となる。設計された一つの環境では脆弱性が隠れうるため、複数拠点での運用も重要だ。

三つ目のシグナルは、安全な障害復旧である。ロボットが不確実性を検知し、適切に停止し、中断されたタスクを再開し、追加の危険を生まずに支援を求められるかを確認したい。

この指標は、知能と製品としての完成度を結びつける。ロボットに完璧な性能は必要ないが、誤りは管理可能な範囲に収まらなければならない。

開発者は、モデルのバージョン、ハードウェア構成、環境条件、コード変更とともに、これらの結果を記録すべきだ。検索可能なエンジニアリング・ナレッジベースは、こうした運用履歴の保存に役立つ。

エンタープライズの購入担当者は、最良ケースの結果ではなく、完全なタスク分布をベンダーに求めるべきである。また、監視、リセット、修理、例外処理に必要な労力も算出すべきだ。

ナレッジワーカーやAIユーザーにとっても重要なのは、ロボティクスが基盤モデルの知能が物理的な業務へ踏み出せるかを試す場だからだ。成功すれば、自動化は画面や文書の外へ広がる。

失敗からも重要な教訓が得られる。推論の質は、認識し、行動し、その結果を引き受けるシステムから切り離して評価することはできない。

Hacker Newsでの議論は、楽観論でも懐疑論でも決着しない。部屋、物体、計画がデモどおりでなくなっても、繰り返し機能する機械によって決着する。

その証拠が得られるまで、印象的なロボット動画はすべて、導入実績ではなく実験として扱うべきだ。そして、最も重要な問いを投げかけよう。カメラに映っていなかった試行では、何が起きたのか？