Gecko RoboticsのAI安全性、人間による制御を完全自律より優先
Gecko RoboticsのAI安全性には、いま物理的な検証対象がある。米海軍艦艇の甲板上で、自律型検査ロボットを人間が定めた制限の範囲内にとどめることだ。9月28日、GeckoはNVIDIAと協力し、AIエージェント向けのオープンな安全プラットフォームに取り組むと発表した。対立構図は明確である。自律性を高めれば検査能力を拡大できる一方、危険な命令が一つあれば、機器の損傷や人身事故につながりかねない。
GeckoのCEO、Jake Loosararian氏は、Bloomberg Technologyとの放送討論でこの問題を提示した。同氏の立場は、AI安全性を導入の足かせとみなす一般的な見方に異を唱えるものだ。Geckoはむしろ、強制可能な制御によって、重要な判断を人間の権限下に置いたまま企業がより迅速に進められると主張している。
この主張は、チャットボットやオフィス向けエージェントの安全性をめぐるものより厳しい基準に直面している。ソフトウェアエージェントが起こし得る問題は、データの露出、ファイルの削除、誤ったサービスへの連絡などだ。一方でロボットは、物理的な境界を越え、人に衝突し、重要インフラを損なう可能性がある。
NVIDIAのOpen Agent Safety Platformは、Geckoの実験に技術的基盤を提供する。同社のOpenShellランタイムは、エージェントの計画と、その行動を管理する権限を分離する。Geckoは、この分離を、滑り止めコーティングの下にある腐食を検査する甲板検査ロボットKomodoで試験している。
したがって主要な競争は、Geckoと他のロボティクス企業の間にあるのではない。政策によって強制される自律性と、主としてモデルが指示に従うことに依存する自律性との競争である。前者のアプローチは、エージェントが時に誤りを犯すことを前提とする。その誤りが影響を及ぼせる範囲を制限しようとするものだ。
Geckoの取り組みは、このアーキテクチャを支持する具体例を示しているが、問題に決着をつけるものではない。このシステムはなお本番運用の外にあり、ピッツバーグでの管理された試験だけで、あらゆる造船所や産業現場を代表することはできない。次に重要となるのは、条件、機器、人間の判断がより予測しにくくなったときにも、こうした境界が信頼できる状態を保てるかどうかだ。
Gecko RoboticsのAI安全性、約束からロボット制御へ
この協業は、AI安全性をモデルの振る舞いの問題から、運用制御の問題へと転換する。
GeckoとNVIDIAのロボティクス協業は、AIエージェントと、その指示を実行する機械の間にある経路全体を対象とする。両社は、OpenShellによってロボットの行動に強制可能な境界を設ける方法を検討している。これらの境界は、エージェントがアクセスできる対象、発行できる命令、人間による変更承認が必要となる場面を定義する。
OpenShellはオープンソースのセキュアランタイムであり、エージェントが動作する環境を制御する。エージェントは、ファイル、ネットワーク、認証情報、機械インターフェースへのアクセスが制限されたサンドボックス内に置かれる。別個の監督レイヤーが、定義済みのポリシーに照らして要求を評価する。
この分離が重要なのは、AIモデルが自らを確実に監督できるとは期待できないためだ。プロンプト内に書かれた指示は、エージェントが解釈する推論コンテキストの一部にとどまる。ランタイム制御はそのコンテキストの外側で動作する。エージェントが拒否された権限を推論によって回避することはできない。
Geckoは、この設計を、艦艇甲板の検査に使われる電磁超音波探傷ロボットKomodoに適用している。このロボットは、材料厚さの測定値を収集することで、滑り止め塗装の下にある腐食を特定する。現場用ソフトウェアは位置を追跡し、検査プローブを読み取り、甲板上の走査を制御する。
Geckoによると、Komodoはこれまでに12件を超える有償検査を完了し、10万平方フィート以上の甲板を走査してきた。これらの数値は、既存の検査システムに関するものであり、自律型OpenShell構成に関するものではない。Geckoは、エージェント制御版をピッツバーグの施設で実機ロボットにより試験したが、本番運用には入っていないとしている。
この区別は本質的だ。稼働中の検査ロボットと、実験段階の自律制御レイヤーは、同じ製品状態ではない。Geckoには物理的な検査業務の経験がある一方、安全アーキテクチャはなお評価中である。
このパイロットには明確な目標がある。Geckoは、検査の全工程を通じて1台の機械を直接操作するのではなく、1人のオペレーターが複数のKomodoロボットを監督できるようにしたい考えだ。この配置はカバー範囲を広げられる一方、オペレーターの注意を分散させる。
そのため安全システムは、明らかに無効な命令を拒否するだけでは足りない。人間が別の作業に集中している間も、現場固有の運用ルールを維持する必要がある。技術的に可能な移動であっても、甲板の端付近では危険となり得る。より高速な走査は、有用な検査に必要な測定密度を低下させる可能性がある。
Geckoの発表は、ロボットが何が安全かを独自に判断することを約束するものではない。人が作業前および作業中に許容可能な運用境界を定めるシステムを説明している。エージェントはその制約の範囲内で計画し、外部制御がそれを超える行動を遮断する。
これが、この話における最も重要な変化である。人間による制御は、オペレーターが関与し続けるという一般的な約束ではなく、実行アーキテクチャの一部となる。
Physical AIが外部ガードレールを必要とする理由
Physical AIでは、ソフトウェア上の判断が現実世界での移動、力、変化へと変わるため、エージェントの誤りによる代償が大きくなる。
Physical AIとは、環境を認識し、判断を下し、機械を通じて行動するシステムを指す。このカテゴリには、産業用ロボット、自動運転車、ドローン、その他コンピューター画面の外で動作する機器が含まれる。その安全要件は、正確な回答を生成することをはるかに超える。
モデルレベルの拒否だけでは不十分である理由は、すでに研究によって示されている。ロボット脱獄に関する研究を扱った2024年の研究では、LLMで制御される3つのロボットシステムに対する攻撃を検証した。研究者らは、ホワイトボックス、グレーボックス、ブラックボックスの各環境で、有害な物理的行動を引き出した。
この論文はGeckoのロボットやOpenShellを試験したものではない。それでも、根底にあるリスクを示している。攻撃者が保護策を回避するよう設計した指示を作れば、言語モデルの行動上の安全策は破られる可能性がある。そのモデルを移動機械に接続すれば、その失敗は物理的な経路を持つことになる。
Geckoの設計は、モデルが非決定論的であり、同じ状況でも異なる出力を生み得ることを前提にしている。同社はまた、エージェントが誤りを犯し得ることも前提としている。OpenShellは、エージェントが到達できるリソースや機械能力を決めることで、その結果を制限する。
エージェント安全プラットフォームは、この考え方をソフトウェアとハードウェアにまたがって拡張する。NVIDIAはOpenShellをCPUレベルのランタイム境界と説明している。同社のSentryコンポーネントは、BlueField-4データ処理ユニットを通じて独立した監視を行い、ポリシーを超えたエージェントを隔離できる。
NVIDIAは、Sentryが数ミリ秒以内にエージェントを停止または隔離できるとしている。多様なワークロードや障害条件下での性能が独立した試験によって確立されるまでは、これはベンダー側の主張にとどまる。センサー、ポリシー、環境に関する前提が誤っていれば、応答速度だけで安全を保証することもできない。
Geckoの物理的な実装は、甲板端のシナリオを通じると理解しやすい。ロボットの制御インターフェースは移動能力を公開している。OpenShellはエージェントが生成した命令を監視し、許可された作業エリアと比較する。
提案された命令によってKomodoが安全範囲の外へ進む場合、ミドルウェアはその命令を遮断して変更できる。その後、システムはエージェントに行動が変更された理由を通知し、別の計画を立てられるようにする。この構造は、無条件の制御を与えることなく、有用な自律性を維持する。
作業エリアに人が入ることも別の試験となる。Geckoによれば、同社のシステムは動的物体を検出し、ロボットを停止させ、エージェントとオペレーターの双方に警告する。作業は、オペレーターが環境の安全を確認して初めて再開される。
これらの例は、人間による制御の実践的な定義を示している。人がすべての移動命令を発行する必要はない。人間が境界を決め、重要な例外を承認し、機械を停止または再開する権限を保持することが求められる。
このアプローチは、プロンプトベースの安全性の弱点にも対処する。プロンプトでは、境界を越えないようエージェントに指示できる。外部コントローラーなら、その命令がロボットに届くこと自体を防げる。一方は遵守を求め、もう一方は能力を制限する。
この違いこそ、このプロジェクトが1台の検査ロボットにとどまらず重要である理由だ。産業用自律性は、企業が現場の知識を機械によって強制可能なルールへと変換できるかに左右される。こうしたルールは、AIが目標を誤解した場合や敵対的な指示を受けた場合にも有効でなければならない。
本当のトレードオフは速度と権限
Geckoが示すのは、強制措置がエージェントの計画から分離されている限り、企業は権限を手放さずに自律性を迅速に導入できるという考え方だ。
Loosararian氏は、AIの制御を失うことが進歩の避けられない代償だという考えを退ける。同氏の主張は、エージェントを人が設定した制限内にとどめるシステムを設計する責任がエンジニアにあるとするものだ。また、安全性に関する作業を、導入を可能にするインフラとして再定義している。
この見方の背景にある商業的な圧力は、Geckoのパイロットで明らかになっている。同社によれば、甲板検査への需要は高まっている。1人のオペレーターが複数のロボットを監督できれば、同時に検査できる甲板面積は増える。
この運用モデルは、一見すると選択を迫る。Geckoは、すべてのロボットに対して人間が直接注意を向けることで、規模を制限できる。あるいはエージェントにより多くの責任を与え、監督者がすべての行動をリアルタイムで見守れないことを受け入れることもできる。
外部による強制措置は、第3の道を提示する。エージェントが日常的な計画と移動を担い、ポリシーが特定の判断をオペレーターのために留保する。人間の注意は継続的な制御から、例外処理と承認へと移る。
GeckoのKomodoパイロットは、検査速度を例にこの違いを示している。スケジュール変更により、作業を半分の時間で終えるよう求める指示が出るかもしれない。エージェントは、プローブのラスタースキャン速度を上げることで対応できる。
しかし移動を速めれば、データ密度が低下する可能性がある。このトレードオフは、ロボットが機械的に安全な状態を保っていても、検査の価値に影響する。OpenShellは提案された変更を遮断し、走査速度を変更する前に人間の承認を求めることができる。
この例は、AI安全性を衝突回避の枠を超えて拡張する。システムは、人や機器だけでなく、作業の目的も保護しなければならない。検査を短時間で終えても、測定値が不十分であれば、そのロボットは任務に失敗している。
したがって人間による制御には、品質のしきい値、アクセス権限、運用上の優先順位も含まれる。各カテゴリには異なるポリシーが必要だ。移動境界には位置データを使用できる一方、検査品質に関するルールは、速度、センサーの読み取り値、現場要件に依存する場合がある。
この設計は、新たな作業も生み出す。オペレーターとエンジニアは、実務上の知識を明示的な制約へと変換しなければならない。どの行動を自動で進められるか、どれにエスカレーションが必要か、どれを禁止すべきかを特定する必要がある。
そのプロセスでは、これまで非公式に処理されてきた意見の食い違いが表面化する可能性がある。現場のオペレーターは、天候、地表の状態、周辺での活動によって許容可能なリスクが変化することを理解している場合がある。追加のセンサーや文脈がなければ、静的なルールでこうした判断を捉えるのは難しい。
したがって、迅速な展開と安全性が両立するのは特定の条件下に限られる。関連する危険要因を理解し、ポリシーで正確に表現し、エージェントの制御外で強制しなければならない。
このアーキテクチャは不確実性を排除するものではない。人が介入する前にエージェントが実行できることを限定することで、不確実性をより管理しやすくすることはできる。十分に高性能なモデルなら常に正しい選択をする、と約束するよりも信頼できる主張だ。
Gecko RoboticsのAI安全性は、同社が物理的・運用上の境界を正確に定義できる領域で最も強みを発揮する。安全性が曖昧な文脈や相反する目標に依存する場合、その実現はより難しくなる。このパイロットの価値は、その境界線がどこにあるかを明らかにすることにある。
NVIDIAはエージェント市場全体に制御レイヤーを構築している
NVIDIAは、エージェント安全性を個々のモデルやアプリケーションに別々に組み込む保護策の寄せ集めではなく、共有インフラのレイヤーにしたいと考えている。
Open Agent Safety Platformは、Geckoのロボティクステストより広範な取り組みだ。NVIDIAはこれを、エージェントのテスト、デプロイ、監視、ハードウェアによる強制を対象とするオープンなリファレンス設計だと説明している。組織は要件に応じて、個別のコンポーネントを利用できる。
OpenShellはデフォルト拒否モデルを採用している。エージェントは当初、広範なアクセス権を持たず、ポリシーによってタスクに必要な権限だけが付与される。ランタイムはシステムコールをフィルタリングし、到達可能なファイルを制限し、ネットワーク要求を監督機構を介して仲介する。
監督機構はエージェントのサンドボックス外で動作する。ソフトウェアのバイナリ、宛先、メソッド、パスに基づいてネットワークアクセスを評価する。NVIDIAによれば、エージェントの実行中にもポリシー変更を適用でき、許可・拒否の判断は監査用に記録される。
ポリシー証明機能が、さらにもう一つの層を加える。これは、システムが定義済みの性質を満たすかどうかを確認する数学的手法である形式検証を用いる。NVIDIAによると、このツールは提案されたルールが承認済みのアクセス境界内に収まるかを評価できる。
これらの仕組みは、複数のエージェントリスクを同時に対象とする。隔離によって侵害されたコードによる被害を抑え、限定的な権限によって認証情報やファイルを保護できる。監査記録は、エージェントが何を試みたかを調査担当者が再構築する助けになる。
このプラットフォームは、モデルとエージェントが動作するインフラの間でNVIDIAに戦略的な位置を与える。オープンモデルとクローズドモデル、異なるエージェントフレームワークの双方を支援するよう設計されている。このモデル非依存の立場により、分断された市場全体で制御レイヤーを有用なものにできる可能性がある。
NVIDIAは、100以上の組織がプラットフォームの技術に取り組んでいると述べている。同社が発表した参加者には、AI企業、インフラ提供者、セキュリティベンダー、銀行、産業事業者、政府関連の顧客が含まれる。NVIDIAが挙げたロボティクス開発企業には、Figure、Gecko、Skild AIが含まれる。
これらの提携は関心を示すものであり、広範な導入の証明ではない。「取り組んでいる」という表現には、統合、評価、貢献、本番導入などが含まれ得る。参加組織数を運用面での成熟度の証拠とみなす前に、買い手にはより具体的な開示が必要になる。
NVIDIAは、Halos for Roboticsを通じて関連する物理的安全性の戦略も進めている。このシステムは、コンピューティングハードウェア、運用ソフトウェア、外部認識、検査リソースを組み合わせる。OpenShellは、エージェントのアクセスと行動を制御することにより直接的に焦点を当てている。
この二つの取り組みは、安全性を多層的に捉える見方を反映している。セキュアなランタイムはコマンドを制限できる一方、ロボティクス安全スタックはセンシング、コンピューティング、機械の挙動を扱う。どちらの層も、信頼できるハードウェア、センサー、保守、現場手順の代わりにはならない。
これは競合他社や企業の買い手にとって重要だ。ロボティクス企業は、共有されたNVIDIAの制御レイヤーを採用するか、独自の保護策を構築するか、あるいは両方のアプローチを組み合わせるかを決めなければならない。産業顧客は、それらの制御を既存の安全・サイバーセキュリティシステムにどう組み込むかを判断する必要がある。
オープンな基盤は、重複作業を減らし、外部からのレビューを可能にする。一方で、NVIDIAのソフトウェアおよびハードウェアスタックの周囲にアーキテクチャ上の影響力を集中させる可能性もある。オープンソースで利用可能であることは、統合作業のコストや隣接コンポーネントへの依存を自動的に解消するわけではない。
プラットフォームの成功は、移植性と検証にかかっている。開発者には、モデルやデプロイ環境をまたいで機能するポリシーが必要だ。セキュリティチームには、標準的なデモだけでなく敵対的な条件下でも強制が維持されるという証拠が必要になる。
GeckoはNVIDIAに具体的な物理世界のユースケースを与える。船の甲板の境界に近づくロボットは、責任あるエージェントに関する広範な約束よりも評価しやすい。この明確さが、管理された施設を超えた展開でも維持されるかが試金石となる。
ピッツバーグでのテストは本番運用に関する疑問を残す
最大の不確実性は、OpenShellが準備されたデモを止められるかではなく、変化する産業環境でもそのポリシーが信頼性を維持できるかどうかにある。
Geckoによれば、説明されたOpenShellの機能はすべて、ピッツバーグのテスト環境にある実機ロボットで実装・検証されている。同社はまた、自律構成は本番環境に導入されていないと述べている。この隔たりは、プロジェクトに対するあらゆる評価に反映されるべきだ。
テスト施設では、エンジニアが甲板のレイアウト、安全区域、ネットワーク条件、作業エリアに入る人を制御できる。海軍艦艇や産業プラントでは、変化する機器、立ち入り制限区域、通常とは異なる表面、稼働中の作業員、現場固有の手順が加わる。
強制レイヤーの精度は、受け取る情報の精度に左右される。位置情報データがずれれば、地理的境界でロボットを保護することはできない。センサーが人を見落としたり、物体を誤分類したりすれば、人検知ルールは機能しない可能性がある。
ポリシー同士が衝突することもある。ロボットは、一時的な障害物を回避しながら測定品質を維持し、迅速に完了するよう指示を受けるかもしれない。許可された計画がどれも成功しない場合に備え、システムには目標間の明確な優先順位と安全な対応が必要だ。
人へのエスカレーションにも制約がある。複数のロボットを一人のオペレーターが監督する場合、同時に複数の要請に直面する可能性がある。異常な条件のたびに承認が必要なら、システムは、より大きな自律性を正当化した生産性上の利点を失いかねない。
反対の失敗はより深刻だ。文脈上は人間の判断が必要なのに、寛容なポリシーがレビューなしでエージェントの続行を許してしまう可能性がある。エスカレーションの閾値設計は、基盤となるサンドボックスと同じくらい重要になる。
サイバーセキュリティも別の課題を加える。強制機構をエージェントから分離することで、プロンプトインジェクションがルールを上書きする可能性は低減する。しかし、センサー、ロボットのファームウェア、オペレーターアカウント、ポリシー更新、通信リンクを自動的に保護できるわけではない。
NVIDIAのOpenShell architectureは、ファイル、ネットワーク、認証情報、サンドボックス化、ポリシー強制を扱う。Geckoの実装は、制御対象をロボットコマンドにまで拡張している。独立した評価では、構成要素の一つが侵害された場合にチェーン全体がどう振る舞うかを検証しなければならない。
軍事および重要インフラの環境では、求められる証拠の水準がさらに上がる。顧客は、再現可能なテスト、障害ログ、復旧手順、自動化された判断が被害を生んだ際の責任の所在を求めるだろう。ベンダーのデモは、こうしたプロセスの代わりにはならない。
プラットフォームのオープン性は、研究者や顧客がソフトウェアの一部を検査できるため、精査を支え得る。しかし、導入済みシステムには構成、センサー、ハードウェア、ネットワーク、ローカル統合が含まれる。ソースコードだけをレビューしても、最終的な導入を検証することはできない。
人間による監視と人間による制御を混同するリスクもある。危険な行動が始まった後にアラートを受け取るオペレーターは、失敗を観察しているだけかもしれない。意味のある制御には、結果が不可逆になる前に、十分な情報、判断時間、権限が必要だ。
Geckoのアーキテクチャは、実行前に特定のコマンドを横取りすることでこの懸念に対処している。本番運用上の問いは、エンジニアがそうした重大なコマンドをどこまで完全に特定できるかだ。未知の危険は、どのポリシーがそれを止めるべきかを示すラベルを付けて現れるわけではない。
これらの問題はいずれもパイロットを無効にするものではない。実機ロボットのテストが検証の結論ではなく始まりである理由を説明している。この実験は、障害、曖昧な事例、オペレーターの作業負荷に関する証拠を生み出すときに価値を持つ。
人間による制御が拡張可能かを示す三つのシグナル
次の段階では、制約付きの自律性が実運用、独立評価、複数ロボットの監督にわたって機能することを証明しなければならない。
第一のシグナルは、運用上の制限を開示した本番導入だ。Geckoはピッツバーグでの現場テストを説明しているが、海軍艦艇上での能動的な自律検査については明らかにしていない。現場への導入は、より予測困難な条件に対してアーキテクチャを試すことになる。
最も有用な開示は、エージェントが正確に何を制御するのかを定義するものだ。読者は、移動、スキャン計画、速度変更、緊急停止、オペレーター承認に関する詳細に注目すべきだ。明確な制限は、権限が人間に残るというGeckoの主張を強める。
そうした詳細を伴わない本番発表は、より弱い証拠にとどまる。「AI支援」は、経路提案から機械の直接制御まで、多様な形態を指し得る。どの安全性の主張が重要になるかは、自律性の程度によって決まる。
第二のシグナルは、独立した技術評価だ。研究者や顧客は、ランタイムが無許可の行動を阻止するか、検査要件を維持するか、センサーやポリシーが不完全な際に安全に失敗するかを検証すべきだ。敵対的テストには、悪意あるプロンプトや侵害されたコンポーネントを含める必要がある。
結果は、モデルの失敗と強制機構の失敗を区別すべきだ。エージェントが危険な行動を提案することは懸念材料だが、それを境界機構が阻止できれば、設計どおりに機能している。危険なコマンドがロボットに到達した場合は、より深い制御上の問題を示している。
独立評価は、NVIDIAの性能主張も明確にするだろう。ミリ秒単位の隔離は安心感を与えるが、物理的な安全性は総応答時間に依存する。センサー、ネットワーク、ポリシー評価、ロボットコントローラー、機械的な停止距離はすべて結果に寄与する。
第三のシグナルは、一人のオペレーターが複数のロボットを扱う作業から得られる証拠だ。これは、より広範な自律性に向けたGeckoの最初のマイルストーンとされる。外部制御が作業負荷を減らすのか、それとも手動操縦を繰り返しの承認要求に置き換えるだけなのかを直接検証する。
有用な指標には、介入回数、ブロックされたコマンド、誤警報、検査範囲、データ品質、オペレーターの注意配分が含まれる。Geckoは自律パイロットについて、これらの測定値を公開していない。その不在は、直接遠隔操作との比較を制限する。
一人のオペレーターが状況認識を失わずに複数のKomodoを監督できるなら、ポリシーによって強制される自律性の根拠は強まる。エスカレーションがオペレーターを圧倒するなら、システムにはより優れた計画、より保守的なポリシー、または監督者一人当たりのロボット数の削減が必要かもしれない。
これらのシグナルはGecko以外にも重要だ。産業分野の買い手には、導入可能な保護策と洗練されたデモを切り分ける方法が必要だ。開発者には、モデルの生産性を維持しつつ、物理システムへの無制限のアクセスを与えないためのパターンが必要になる。
浮かび上がる教訓は、人間がすべてのロボット動作を手動で制御しなければならないということではない。自律性には権限構造が必要だということだ。モデルは日常的な手順を提案・実行できる一方、外部システムがその到達範囲を制約し、人間が重大な例外を統治する。
そのアプローチは、他の技術分野で確立されている成熟した安全対策に通じるものです。高リスクなシステムでは、単一のコンポーネントが完全に信頼できるわけではないため、多層的な制御が用いられます。Physical AIにも、計画を立て、通信し、戦術を変更できるエージェントに適応した同様の規律が求められます。
Gecko RoboticsのAI安全性は、この原則を具体的に検証する事例となります。同社の船舶デッキ向けパイロットは、抽象的なエージェント・ガバナンスを、人や価値の高いインフラの近くで稼働する機械へと結び付けます。同時に、管理された試験に基づく主張の限界も浮き彫りにします。
開発者と企業の購買担当者にとって、問いは実務的です。自社の運用知識を、機械が回避できないルールへ変換できるのか。Physical AIを評価するチームは、自律性を高める前に、禁止すべき行動、必要な承認、許容可能な失敗状態を特定する必要があります。
今後数カ月では、提携件数よりも実運用での証拠が重視されるべきです。ベンダーが示す応答時間の主張よりも、独立したテストのほうが重要です。ロボットの能力と同じくらい、オペレーターの負荷も重要になります。
Geckoがこれらの領域で信頼できる結果を公表できれば、人間が制御するPhysical AIは、スローガンではなく実装可能なアーキテクチャに見えるでしょう。そうでなければ、業界はなお当初の緊張関係に直面します。すなわち、機械が何をするのかを実証済みの形で制御できないまま、自律的な導入だけを加速させるという問題です。
