Palantir Maven 학교 공습 검토, AI 보조 표적화의 치명적 실패 드러내

보도된 Pentagon 검토 결과가 Palantir의 Maven Smart System에 대한 과의존을 아동 123명이 사망한 공습과 연결하면서, Palantir는 중대한 시험대에 섰다. 이 공격은 미-이스라엘 전쟁이 시작된 지 몇 시간 뒤인 2월 28일 이란 미나브의 샤자레 타예베 초등학교를 파괴했다.

공개되지 않은 이 검토는 Maven이 학교를 독자적으로 선정하고 공격한 자율무기였다고 설명하지 않는다. 대신 관계자들은 인력, 정보, 데이터베이스, 소프트웨어 전반에 걸친 실패의 연쇄를 발견한 것으로 전해졌다. Central Command 인력은 일부 오래된 정보에 기반한 AI 보조 작전 상황도를 신뢰했고, 상반된 증거는 표적 공격을 막지 못했다.

이 구분은 중요하지만, 기술이나 운용자의 책임을 면제하지는 않는다. Palantir Maven 학교 공습 사례는 속도, 확신, 분절된 데이터가 결합할 때 자동화가 어떻게 제도적 오류를 증폭시킬 수 있는지 보여준다. 또한 AI 보조 살상 결정 과정에서 인간의 판단이 신뢰할 수 있는 안전장치로 남는다는 Pentagon의 약속에도 의문을 제기한다.

Pentagon 검토에서 보도된 내용

보도된 조사는 단일 기계의 잘못된 예측이 아니라 시스템 전반의 표적화 실패를 설명한다.

학교는 Operation Epic Fury 첫날인 2026년 2월 28일 공격받았다. 이 학교는 호르무즈 해협 인근 미나브의 이슬람혁명수비대 복합시설 옆에 자리하고 있었다.

해당 부지는 한때 인접 군사시설에 속해 있었다. 그러나 벽으로 분리된 뒤 수년간 학교로 사용됐다. 보도에 따르면 공개 위성사진은 공격 전 이러한 물리적 변화를 보여줬다.

Bloomberg 재구성 보도에 따르면 Pentagon 조사관들은 위성사진, 정보 데이터베이스, 표적화 자료, 작전 메시지, 컴퓨터 기록을 검토했다. 조사에 관여한 인사들은 해당 장소가 여전히 이란 군사시설이라는 높은 확신을 인력이 유지했다고 밝혔다.

그 확신은 오래된 정보에 기반했다. 한 분석가는 해당 장소가 학교로 바뀌었다는 증거를 지적하며 2019년에 군사시설 분류에 의문을 제기한 것으로 전해졌다. 이 경고는 표적화에 사용된 권위 있는 데이터베이스와 연결되지 않은 디지털 정보 시스템에 입력됐다.

이후의 검토도 표적 기록을 수정하지 못했다. Tim Kaine 상원의원은 표적화 관련 질의에서 보도된 실패를 요약했다. 그는 분석가의 우려와 공개적으로 이용 가능한 증거에도 불구하고, 이 장소가 검증된 표적 목록에 남아 있었다고 말했다.

이후 Maven Smart System은 미나브 기록을 다른 잠재 표적과 결합하는 데 도움을 줬다. Maven은 군 사용자들을 위해 정보, 센서 피드, 지도, 작전 데이터를 정리하는 AI 기반 전장 관리 플랫폼이다. 분석가가 물체를 식별하고, 정보를 비교하며, 부대를 조율하고, 의사결정 워크플로를 통해 표적을 이동시키는 데 도움을 줄 수 있다.

보도된 문제는 Maven이 잘못된 라벨을 받았다는 데 그치지 않았다. 인력은 그 아래의 증거를 충분히 재검토하지 않은 채 시스템의 통합된 표시를 신뢰한 것으로 알려졌다. 의심스러운 표적은 통합 디지털 인터페이스가 주는 외견상의 권위를 물려받았다.

그 표시는 극도로 빠르게 진행되는 작전 중 중요하게 작용한 것으로 전해졌다. 미군은 최초 24시간 동안 1,000곳이 넘는 이란 표적을 공격했다. Bloomberg가 인용한 관계자들에 따르면, 전통적으로 긴 조율 과정이 필요했던 업무가 일부 표적에서는 수분 단위로 압축됐다.

미나브 킬 체인, 즉 표적 발견·검증·승인·공격을 연결하는 군사 절차에는 약 36명이 참여했다. 이 수치는 하나의 알고리즘이 하나의 치명적 결정을 내렸다는 단순한 설명을 약화시킨다.

동시에 결과를 더 우려스럽게 만든다. 여러 사람과 시스템이 표적을 처리했지만, 건물에 아동이 있었는지를 निर्ण정적으로 재평가하도록 강제한 이는 없었다.

AP 재구성 보도에 따르면, Airwars가 신원을 확인한 사망자는 최소 157명이었다. 확인된 사망자에는 13세 이하 아동 123명과 성인 34명이 포함됐다. Airwars는 총 사망자를 157~168명, 부상자를 95~111명으로 추산했다.

초기 보도에는 150명 이상, 최소 175명 사망 등 서로 다른 수치가 사용됐다. 이러한 차이는 이란 내부에서의 독립 보도가 어렵고 완전한 공개 집계가 없다는 점을 반영한다. 아동 123명이라는 수치는 초기 정부 추정치에 불과한 것이 아니라 신원이 확인된 희생자에 기반한다.

Pentagon은 전체 조사 결과를 공개적으로 발표하지 않았다. 따라서 보도된 조사 결과를 모든 기술적·지휘적 결정에 관한 최종 공식 입장으로 받아들여서는 안 된다.

그럼에도 증거는 근거 없는 주장 수준을 훨씬 넘어섰다. 독립적인 영상 분석, 미 정부 관계자, 의회 서신, 사상자 조사, 그리고 보도된 내부 검토는 모두 심각하게 오래된 표적 기록에 근거한 미군 공습을 가리킨다.

Palantir Maven 학교 공습은 AI 실패 이전에 데이터 실패였다

Maven은 근본 정보가 이미 위험해진 의사결정 과정을 가속했다.

군사 AI를 둘러싼 논의는 흔히 모델이 물체를 정확히 인식할 수 있는지에 초점을 맞춘다. 미나브 사례는 다른 문제를 제시한다. 이 시스템은 수년간 지속된 잘못된 제도적 판단을 처리한 것으로 전해졌다.

건물은 오래된 영상에서 정확하게 분류됐더라도, 이후 위험한 표적이 될 수 있다. 토지 이용은 변한다. 군사시설은 폐쇄되거나 축소된다. 한때 군이 사용했던 공간에는 학교, 병원, 주택이 들어선다.

운용자가 오래된 기록을 현재의 진실로 취급한다면, 어떤 컴퓨터 비전 모델도 이 문제를 해결할 수 없다. 가장 중대한 필드가 잘못됐을 때, 플랫폼은 수많은 출처를 융합하면서도 오해를 부르는 결과를 낼 수 있다.

Maven은 150개가 넘는 데이터 입력을 활용하는 것으로 전해진다. 이 규모는 상황 인식을 개선할 수 있지만, 피드 수가 많다고 그 내용의 품질이 보장되는 것은 아니다. 오히려 많은 입력은 하나의 오래된 가정을 수많은 정확한 세부 정보로 둘러싸 중요한 약점을 가릴 수도 있다.

그 결과 인터페이스는 연구자들이 자동화 편향이라고 부르는 현상을 만들 수 있다. 시스템이 포괄적이고 빠르며 내부적으로 일관돼 보이기 때문에, 사용자는 컴퓨터화된 권고에 과도한 비중을 둔다.

자동화 편향은 사용자가 소프트웨어가 무오류라고 믿을 때만 발생하는 것이 아니다. 시간 압박으로 인해 시스템 출력을 받아들이는 편이 그 과정을 재구성하는 것보다 쉬워질 때 나타난다. 완성돼 보이는 표적 패키지는 분석가가 원래의 증거를 다시 열어보지 않게 만들 수 있다.

플랫폼이 출처 자료를 하나의 작전 화면에 통합할 때 이 위험은 더 커진다. 사용자는 표적, 신뢰도 수준, 위치, 뒷받침 기록을 볼 수 있지만, 어떤 결론이 오래된 영상, 인간 분석, 자동화된 추론에서 나왔는지 명확히 이해하지 못할 수 있다.

보도에 따르면 Palantir Maven 학교 공습은 바로 그 경계 문제를 드러냈다. 한 인간 분석가는 상반된 정보를 기록했지만, 이 경고는 결정적인 표적화 데이터베이스 밖에 존재했다. Maven은 작전 워크플로가 제대로 수신하거나 우선순위를 부여하지 못한 사실을 표면화할 수 없었다.

그러나 Maven을 중립적인 표시 도구로 묘사하는 것 또한 불완전하다. 소프트웨어 아키텍처는 사용자가 무엇을 알아차리는지, 무엇을 확인해야 하는지, 어떤 경고가 행동을 차단할 수 있는지를 결정한다. 설계 선택은 인간 감독의 실질적 의미를 형성한다.

잘 설계된 살상 워크플로는 데이터 계보를 선택적 배경 정보로 취급해서는 안 된다. 운용자는 영상이 언제 수집됐는지, 시설 분류가 마지막으로 언제 검증됐는지, 다른 시스템에 미해결 이의가 있는지를 확인해야 한다.

시스템은 최근 증거가 없다는 것과 군사적 사용이 계속된다는 증거도 구분해야 한다. 이들은 동등한 조건이 아니다. 데이터베이스에서 표적이 변하지 않은 채 남아 있다고 해서 실제 현장도 변하지 않았다는 뜻은 아니다.

시간 경과만으로 모든 정보 기록이 자동으로 무효가 되어서는 안 된다. 일부 군사 시설은 수십 년 동안 같은 기능을 유지한다. 그러나 민간 활동 가능성이 있고 제안된 공격에 수정 기회가 없을 때, 기록의 연식은 명시적인 위험 요인이 되어야 한다.

보도된 2019년 경고는 이 문제를 더욱 선명하게 만든다. 이 사례는 아무도 해당 장소가 바뀌었을 수 있다고 생각하지 못한 경우가 아니었다. 누군가 우려를 제기했지만, 더 넓은 정보 시스템은 그것을 작전상 결정적인 요소로 만들지 못했다.

이는 데이터베이스 상호운용성 실패이자 조직적 실패이며, 동시에 사용자 인터페이스 실패다. AI는 이러한 약점이 형성된 뒤 체인에 들어왔고, 그 결과 표적을 작전 속도로 이동시키는 데 도움을 줬다.

이 사건을 AI 오류라고 부르면 그러한 층위를 가릴 위험이 있다. 인간 오류일 뿐이라고 부르는 것도 반대의 실수다. 중요한 질문은 결합된 시스템이 어떻게 분절된 불확실성을 높은 확신으로 바꿨는가이다.

속도가 오래된 실수를 첫날의 표적으로 만들었다

핵심 충돌은 더 빠른 표적화와 물려받은 가정에 이의를 제기하는 데 필요한 시간 사이에 있다.

Pentagon은 센서에서 사수까지의 시간을 단축하기 위해 Maven을 일부 채택했다. 이 표현은 잠재 표적을 탐지한 시점부터 그 표적을 겨냥한 무기를 지시하는 시점까지의 기간을 뜻한다.

속도는 실제 군사적 이점을 제공한다. 이동식 발사대, 항공기, 지휘 차량은 통상적인 검토가 끝나기 전에 사라질 수 있다. 더 빠른 데이터 처리는 지휘관에게 작전에 대한 공유된 상황도를 제공함으로써 혼란을 줄일 수도 있다.

미나브는 새로 발견된 이동식 표적으로 묘사되지 않았다. 보도에 따르면 개전 공격 전에 마련된 사전 선정 목록에 포함돼 있었다. 이 차이는 더 심층적인 검증을 할 시간이 없었다는 주장을 약화시킨다.

사전 계획된 공습은 영상을 검토하고, 데이터베이스를 비교하며, 공개 출처를 조사하고, 기존 분석가의 이의를 해결할 기회를 제공한다. 보도된 기록은 이러한 기회가 수정된 분류로 이어지지 않았음을 시사한다.

작전 규모는 추가적인 압박을 가했다. 24시간 동안 1,000개가 넘는 표적을 공격하려면 막대한 양의 정보가 제한된 수의 분석가, 법률 담당자, 정보 장교, 지휘관, 무기 전문가를 거쳐야 한다.

자동화는 그러한 과정이 작동하도록 돕는다. 후보를 분류하고, 관계를 드러내며, 승인을 전달하고, 공습을 동기화할 수 있다. 그러나 바로 그 능력은 잘못된 표적도 훨씬 더 빠르게 이동하게 만든다.

이것이 이 사례의 핵심적인 역전이다. Maven은 사람들이 분절된 전장 정보를 이해하도록 돕기 위해 만들어졌다. 그러나 미나브에서는 통합 화면이 분절된 정보를 실제보다 더 확정적인 것처럼 보이게 한 것으로 전해졌다.

Pentagon의 Maven 공개 홍보는 의사결정 우위, 규모, 더 빠른 행동을 강조해 왔다. Palantir는 이 시스템을 2026년 사업 업데이트의 핵심 요소로 내세우며, 부처 전반에 Maven을 배치하고 있다고 밝혔다.

이러한 주장은 이제 더 어려운 시험에 직면한다. 의사결정 우위는 단지 답에 더 빨리 도달하는 것을 의미할 수 없다. 이용 가능한 증거가 답을 정당화하지 못할 때 이를 인식하는 일도 포함해야 한다.

이는 한 공급업체를 넘어서는 문제다. Anduril, Microsoft, Amazon, Clarifai 및 기타 기술 제공업체들은 확대되는 국방 AI 시장에 참여하고 있다. 이들의 제품은 센서 처리부터 클라우드 인프라, 전장 조율에 이르기까지 스택의 서로 다른 영역을 차지한다.

따라서 적절한 비교 대상은 Palantir와 한 경쟁업체의 대결이 아니다. 그것은 가속화되고 소프트웨어로 매개된 표적화와, 의심의 여지를 보존하는 더 느린 절차의 비교다.

어느 쪽도 자동으로 더 안전한 것은 아니다. Minab 기록 자체도 그랬다고 전해지듯, 느린 관료 시스템은 수년간 낡은 정보를 유지할 수 있다. 수동 검토 역시 집단사고와 제도적 가정을 되풀이할 수 있다.

더 안전한 방식에는 강제된 마찰을 수반하는 속도가 필요하다. 오래된 영상, 민간인 근접성, 상충하는 분류, 해결되지 않은 분석가 이의 제기 등 특정 조건은 표적 절차를 자동으로 늦춰야 한다.

그 마찰에는 결과가 따라야 한다. 사용자가 설명 없이 해제할 수 있는 경고는 장식에 불과하다. 실질적인 통제 장치라면 재수집, 문서화된 해결, 또는 상위 권한자의 승인을 요구해야 한다.

해당 타격에는 많은 사람이 관여한 것으로 전해지지만, 인원수는 독립적 판단과 같지 않다. 모든 검토자가 동일한 통합 화면을 보고 같은 승계 기록을 신뢰한다면, 그 사슬에는 의미 있는 중복성 대신 반복만 존재한다.

군 지도자들은 흔히 인간이 “루프 안에” 남아 있다고 말한다. Minab은 그 표현이 왜 지나치게 모호한지 보여준다. 사람이 기술적으로는 타격을 승인할 수 있지만, 시스템에 이의를 제기하는 데 필요한 시간, 출처 접근권 또는 권한이 부족할 수 있다.

실질적인 인간 통제에는 최종 버튼을 누르는 것 이상이 필요하다. 이해할 수 있는 증거, 드러나는 이견, 충분한 시간, 불확실한 분류를 재검토할 책임이 필요하다.

Palantir는 책임을 부인하지만, 소프트웨어 설계는 여전히 책임의 범위를 규정한다

Palantir는 정부 정보에 대한 책임을 합리적으로 다툴 수 있지만, Maven이 불확실성을 어떻게 전달하는지에 대해서는 여전히 질문에 직면한다.

Palantir 대변인은 Bloomberg에 회사가 기초 데이터나 정보 결함 식별에 책임이 없다고 말했다. 대변인은 또한 Minab 타격 당시 Palantir 소프트웨어가 오작동했다는 증거는 없다고 밝혔다.

이러한 방어는 중요한 구분을 다룬다. 계약업체가 정부 기관이 자사 제품에 적재하는 모든 정보 기록을 소유하는 것은 아니다. 군사 타격을 승인하는 것도 아니다.

플랫폼은 명세대로 정확히 작동하면서도, 운용자가 잘못된 전제에 따라 행동하도록 도울 수 있다. 전통적인 소프트웨어 기준에서 이는 결함으로 간주되지 않을 수 있다.

치명적 시스템에는 더 넓은 기준이 요구된다. 소프트웨어가 군사 결정에 필요한 증거를 정리할 때, 그 설계는 무엇이 가시적이고 신뢰할 만하며 실행 가능한 것으로 여겨지는지에 영향을 미친다. 시스템은 코드대로 작동하면서도 안전하지 않은 작전 결과에 기여할 수 있다.

“인간이 루프 안에 있다”는 표현은 흔히 최종 운용자에게 책임을 돌린다. 이러한 틀은 운용자가 보는 정보를 제한하는 수많은 상류 단계의 결정을 간과할 수 있다.

정부 기관은 데이터베이스, 권한, 검토 규칙, 인력 배치, 작전 일정을 선택한다. 계약업체는 인터페이스의 위계, 신뢰도 표시, 경고 동작, 데이터 계보 기능, 기본 워크플로를 선택한다.

지휘관은 플랫폼에 얼마나 비중을 둘지 결정한다. 분석가는 그 출력에 이의를 제기할지 결정한다. 정치 지도자는 작전의 속도와 규모를 결정한다.

따라서 책임은 분산돼 있지만, 희석되어서는 안 된다. 각 참여자가 단 하나의 구성요소만 책임진다면, 누구도 결합된 결과에 책임을 느끼지 않을 수 있다.

Palantir는 타격 이후 표적을 부적격하게 만들 수 있는 요인을 위해 기초 정보를 재확인하는 기능을 추가한 것으로 전해진다. 이 변경 사항은 인간 검토자가 놓쳤을 수 있는 불일치나 부정확성도 표시할 수 있다.

이러한 추가 기능은 더 심층적인 자동 검토가 기술적으로 가능했음을 시사한다. 그러나 이전 버전에 결함이 있었다는 점을 증명하지는 않으며, 어떤 기능이 정확히 Minab을 막았을지도 확정하지 않는다.

다만 대응의 방향은 드러낸다. 군과 계약업체는 AI 지원을 포기하지 않고 있다. 기존 자동화에 입력되는 데이터를 확인하기 위해 더 많은 자동화를 사용하고 있다.

두 번째 계층이 독립적인 출처에서 정보를 가져오고 명확한 중단 규칙을 적용한다면 안전성을 높일 수 있다. 두 계층이 같은 기록, 가정 또는 유인을 물려받는다면 실패할 수 있다.

AI 검토자는 인공적인 승인 도장이 되어서는 안 된다. 표적 패키지의 가장 취약한 주장을 독립적으로 검증하지 않고 다시 표현할 뿐이라면, 실제 검토 없이 검토가 이뤄진 것처럼 보이게 할 뿐이다.

보도된 대응은 감사 문제도 제기한다. 조사관과 의회 감독기구는 버전 이력, 출처 계보, 경고 로그, 사용자 행동, 신뢰도 변화 및 모델 출력에 접근할 필요가 있다.

그러한 기록이 없다면 책임 규명은 인터뷰와 재구성된 기억에 의존하게 된다. 기록이 있다면 검토자는 시스템이 무엇을 표시했는지, 어떤 경고가 나타났는지, 누가 이를 해제했는지, 어떤 데이터가 계속 제공되지 않았는지를 판단할 수 있다.

상업적 기밀과 기밀 정보는 이러한 접근을 복잡하게 만든다. 그러나 어느 쪽도 권한 있는 조사관이 치명적 의사결정 시스템을 이해하는 것을 막아서는 안 된다.

군사 작전에 진입하는 공급업체는 일반 기업용 소프트웨어 제공업체보다 더 깊은 검토를 예상해야 한다. 결과가 다르며, 사용자는 배치 후 잘못된 타격을 바로잡을 수 없다.

Maven에 기술적 오작동이 없었다는 좁은 의미에서는 Palantir의 방어가 결국 정확한 것으로 판명될 수 있다. 더 어려운 문제는 치명적 결정을 수분 내로 압축하는 데 도움을 주는 소프트웨어에 대해, 오작동을 피하는 것만으로 충분한 안전 기준인지 여부다.

Maven 조사 결과에서 여전히 확인되지 않은 사항

현재 확보된 증거는 엄중한 검토를 뒷받침하지만, 공개되지 않은 조사는 핵심적인 기술적·법적 질문을 미해결 상태로 남긴다.

Pentagon은 완전한 Minab 보고서를 공개하지 않았다. Bloomberg는 조사에 참여한 인물들과의 인터뷰, 비기밀 군 자료, 현직 및 전직 관리들의 설명을 바탕으로 보도했다.

이 보도는 상당한 내용이지만, 대중에게 기초 표적 패키지나 완전한 감사 추적을 제공하지는 않는다. 독자들은 보도된 조사 결과와 공식적으로 공개된 결론을 구분해야 한다.

Maven의 정확한 역할은 여전히 일부 불명확하다. 공개 보도는 각 운용자에게 정확히 어떤 권고가 표시됐는지, 어떤 신뢰도가 부여됐는지, 발사 전 어떤 경고가 모두 보였는지를 보여주지 않았다.

Maven이 새로운 표적 권고를 생성했는지, 아니면 실행을 위해 기존 표적 기록을 정리했는지도 불분명하다. 이 차이는 기술적 책임을 배분할 때 중요하다.

보도된 검토에 따르면 일부 Central Command 인력은 Maven에 탑재된 AI에 지나치게 의존했다. 그러나 모든 운용자가 그랬다거나 시스템이 학교를 독립적으로 분류했다는 점은 입증하지 않는다.

또 다른 미해결 질문은 무기 사용 순서에 관한 것이다. 보도에 따르면 적어도 한 발의 미국 Tomahawk 미사일이 학교를 타격했지만, 공개된 설명은 사용된 탄약 수를 두고 엇갈렸다.

사상자 수 역시 세부적으로는 여전히 다툼의 대상이다. Airwars는 어린이 123명을 포함한 희생자 157명을 확인했지만, 다른 설명에서는 165명 또는 175명 이상의 사망자가 보고됐다. 완전한 공식 명단은 공개되지 않았다.

이란 당국은 현장 접근을 통제하고 민간인 고통을 정치적 메시지에 활용해 왔다. 이러한 맥락은 독립적 검증을 복잡하게 만들지만, 외부 연구자들이 수집한 증거를 지우지는 않는다.

위성 영상, 피해 양상, 해당 지역의 군사 활동, 미국 관리들의 발언은 미군이 책임이 있다는 결론을 뒷받침한다. Israel은 타격 수행을 부인했으며, United States는 인근 표적을 공격했음을 인정했다.

법적 판단은 기술적 재구성과는 별개다. United Nations가 지원한 사실조사단은 Minab을 포함한 이란 내 두 차례의 타격에서 미군이 전쟁범죄를 저질렀다고 믿을 합리적 근거를 발견했다고 밝혔다. UN findings는 구속력 있는 법원 판결이 아니다.

해당 조사단은 표적 데이터베이스 갱신과 현장 검증의 실패가 단순한 과실을 넘어선다고 결론 내린 것으로 전해진다. 미국 관리들은 이 같은 규정을 받아들이지 않았다.

Congress는 더 큰 투명성을 요구해 왔다. 제안된 reporting language는 민간인 피해 조사가 완료된 뒤 비기밀 설명을 요구하게 된다.

의원들은 누가 표적을 승인했는지, 어떤 시스템이 사용됐는지, 왜 2019년의 우려가 무시됐는지, 민간인 피해 절차가 준수됐는지를 물었다. 소프트웨어 책임은 지휘 정책과 분리해 평가할 수 없기 때문에, 이 질문들은 여전히 핵심적이다.

Pentagon의 침묵은 중대한 신뢰성 문제를 만들었다. 관리들은 미군이 해당 장소를 타격했다는 사실을 수 시간 내에 알았던 것으로 전해진다. 수개월이 지난 뒤에도 대중은 최종 설명을 받지 못했다.

과거 미국의 표적화 오류는 불편한 비교 대상이 된다. 2021년 8월 Kabul에서 드론 타격으로 민간인 10명이 사망한 뒤, Pentagon은 수주 내에 책임을 인정하고 작전 세부 사항을 공개했다.

Minab 타격은 이보다 15배 이상 많은 사람을 숨지게 한 것으로 전해지지만, 조사는 수개월간 공개되지 않은 채 남아 있었다. 이러한 지연은 시정 조치가 실제 원인을 다루는지 판단하기 어렵게 만든다.

따라서 가장 책임 있는 결론은 일부 헤드라인이 시사하는 것보다 더 제한적이다. 현재 보도는 낡은 정보, 분리된 데이터베이스, 압축된 검토, Maven에 대한 과도한 신뢰가 타격에 기여했음을 시사한다.

이는 자율적인 Palantir 모델이 독립적으로 어린이를 살해하기로 선택했다는 점을 보여주지 않는다. 또한 인간 인력이 공식적 권한을 유지했다는 이유만으로 소프트웨어를 무관한 것으로 취급하는 것도 뒷받침하지 않는다.

군사 AI 감독이 바뀌었는지 보여줄 세 가지 신호

다음 시험대는 Pentagon이 내부 교훈을 외부인이 검토할 수 있는 강제력 있는 통제로 전환하는지 여부다.

첫 번째 신호는 민간인 피해 조사 결과의 공개다. 유용한 보고서는 표적의 이력, 2019년 분석가 경고, 이후의 모든 검증, 최종 절차에서 Maven의 역할을 설명해야 한다.

또한 의사결정권자들이 마지막으로 최신 영상을 언제 봤는지, 오픈소스 증거를 이용할 수 있었는지도 밝혀야 한다. 상충하는 정보에 접근할 수 있었던 검토자가 몇 명이었는지도 설명해야 한다.

사건을 포괄적인 “절차 실패”로 돌리는 보고서는 개혁에 대한 신뢰를 약화할 것이다. 책임과 시정 조치를 구체적으로 배분하는 상세 감사는 이를 강화할 것이다.

두 번째 신호는 데이터베이스의 연식과 이견이 표적을 중단시킬 수 있다는 증거다. Central Command는 Minab 이후 워크플로를 변경하고, 오픈소스 피드를 추가하며, 수십 건의 Maven 업데이트를 도입한 것으로 전해진다.

의미 있는 척도는 변경 횟수가 아니다. 미해결 충돌이 이제 자격 있는 관리자가 더 새로운 증거를 거부해야 하는 이유를 문서화하지 않는 한 승인을 막는지 여부다.

시스템은 분석가의 이견을 분리된 도구에 고립시키는 대신 보존해야 한다. 분류가 오래된 영상에 의존할 때 이를 드러내고, 학교나 기타 보호 대상 장소 주변에서 재검증을 요구해야 한다.

독립적인 레드팀 테스트는 이러한 통제를 강화할 수 있다. 검토자들은 비전투 환경에 낡고 상충하며 불완전한 기록을 삽입한 뒤, Maven 사용자가 문제를 감지하는지 측정할 수 있다.

세 번째 신호는 Palantir 및 기타 군사 AI 공급업체에 대한 감독이다. Congress는 상업적 기밀이나 기밀 지정을 포괄적인 장벽으로 받아들이지 않고 기술 로그와 안전성 평가에 대한 접근을 요구해야 한다.

조달 규정은 재현 가능한 감사 추적, 소스 수준의 출처 정보, 모델 버전 추적, 그리고 모든 인간 개입에 대한 기록을 요구할 수 있습니다. 이러한 요건은 대규모 인명 피해 사건 이후뿐 아니라 배포 이전부터 적용되어야 합니다.

펜타곤은 Maven에서 물러서기보다 이를 확대하고 있습니다. 따라서 Minab 이후에 정해질 기준은 특히 중요합니다. 여러 군 지휘부에 도입된 플랫폼은 바람직한 안전장치를 빠르게 확산할 수 있지만, 숨겨진 취약점을 표준화할 수도 있습니다.

Palantir의 보도된 공습 후 변경 사항은 이 제품이 표적 정보의 문제를 감지하는 데 AI를 점점 더 활용하게 될 것임을 시사합니다. 이 접근 방식은 Minab을 포함한 실제 과거의 실패 사례를 기준으로 검증될 필요가 있습니다.

성공이란 시스템이 결정적인 모순을 조기에 드러내고, 독립적인 검토를 강제하며, 각 승인 판단의 근거를 보존하는 것을 의미합니다. 실패란 기계가 생성한 신뢰도 층위만 더해진 채 워크플로가 빨라지는 것을 뜻합니다.

개발자에게 이 교훈은 국방 분야를 넘어 확장됩니다. 기록을 집계하는 모든 AI 시스템은 깔끔한 인터페이스 뒤로 불확실성을 사라지게 만들 수 있습니다. 의료, 금융, 인프라, 공공 부문 소프트웨어도 결과의 양상은 다르더라도 유사한 위험에 직면합니다.

기업 구매자에게 Minab 사례는 익숙한 영업 주장을 반박합니다. 더 많은 데이터를 결합한다고 해서 더 나은 의사결정이 자동으로 이루어지는 것은 아닙니다. 결과는 출처 정보, 최신성, 상호운용성, 이견 처리, 사용자 인센티브에 달려 있습니다.

지식 노동자에게 이 사례는 왜 자신감 있는 답변도 출처까지 추적 가능해야 하는지를 보여줍니다. 요약은 충돌하는 정보를 평탄화하기보다 드러내야 합니다. 경고는 단지 모델이 부여한 확률이 아니라, 틀렸을 때의 비용을 반영해야 합니다.

따라서 Palantir Maven 학교 공습 사건은 컴퓨터가 모든 인간의 결정을 대체한다는 이야기가 아닙니다. 이는 결함 있는 제도적 의사결정을 소프트웨어가 더 빠르게 진행하고 더 일관성 있어 보이게 만든 이야기입니다.

이제 펜타곤은 인간 통제가 자동화된 워크플로의 마지막에 장교를 배치하는 것 이상의 의미를 지닌다는 점을 보여줘야 합니다. Palantir는 Maven이 행동을 조직하는 만큼 효과적으로 불확실성을 드러낼 수 있음을 입증해야 합니다.

결정적인 질문은 구체적입니다. 다음 표적에 오래된 정보와 묻혀 있던 경고가 포함되어 있을 때, 시스템은 공습을 중단시킬까요, 아니면 같은 실수를 더 빠르게 실행할까요?