Ibrahim Diallo는 AI의 판단이 아니라 자동화 워크플로로 해고됐다

Google News에는 AI 네트워크가 사람을 해고했다는 충격적인 최초 사례가 등장했다. 실제 사건의 당사자는 소프트웨어 개발자 Ibrahim Diallo였지만, 이 헤드라인은 실제로 무슨 일이 벌어졌는지를 가린다.

어떤 신경망도 Diallo의 업무를 평가하거나, 동료들과 비교하거나, 그가 직장을 잃어야 한다고 결정하지 않았다. 자동화된 관리 시스템이 만료된 계약 기록을 해고 지시로 처리했을 뿐이다.

이 구분은 Diallo가 2018년 자신의 경험을 공개했을 때보다 지금 더욱 중요하다. 고용주들은 분석 모델, 워크플로 소프트웨어, 신원 관리 시스템, 생성형 AI 에이전트를 점점 더 연결하고 있다. 한 구성 요소의 실수가 조직 전반의 조치를 촉발할 수 있다.

보도에 따르면 Diallo의 관리자들은 그가 계속 일하기를 원했다. 그러나 그의 접근 권한을 취소하고, 계정을 비활성화하고, 보안팀에 그를 퇴장시키라고 지시한 자동화 프로세스를 멈출 수는 없었다.

이 사건은 지능형 기계가 독자적으로 누군가를 해고하기로 선택한 최초의 검증 사례가 아니었다. 이는 다른 문제에 관한 이른 경고였다. 조직은 이를 되돌릴 권한을 누구에게도 부여하지 않은 채, 실질적인 권한을 소프트웨어에 넘길 수 있다.

Google News의 표현은 그러한 거버넌스 실패를 인공지능이 결정을 내린 이야기로 바꿔놓는다. 검증된 증거가 뒷받침하는 결론은 덜 극적이지만 더 유용하다. 기계는 판단을 행사하지 않았다. 주변 사람들이 결함 있는 프로세스를 바로잡을 수 있었던 것보다 더 효과적으로 그 프로세스를 실행했을 뿐이다.

Google News가 AI 해고 이야기에서 빠뜨린 것

Ibrahim Diallo는 신경망의 평가를 받아 해고된 것이 아니라 자동화 워크플로에 의해 퇴출됐다.

Diallo는 로스앤젤레스의 한 대기업에서 계약직 소프트웨어 개발자로 일했다. 그는 원래의 기록에서 고용주를 밝히지 않았으며, 책임 있는 재서술 역시 이 불확실성을 유지해야 한다.

그는 자신이 3년 계약이라고 설명한 조건으로 약 8개월간 그곳에서 일했다. 건물 출입 카드가 작동하지 않기 전까지 그의 업무는 안정적으로 보였다.

처음에는 경비원이 그를 들여보냈다. 이후 Diallo는 회사 디렉터리에서 자신의 상태가 변경됐고, 여러 업무 시스템이 더는 그를 재직 직원으로 인식하지 않는다는 사실을 알게 됐다.

보도에 따르면 그의 관리자와 디렉터는 이 문제가 행정 오류라고 판단했다. 그들은 그에게 여전히 직장이 있다고 말하고 접근 권한을 복구하려 했다.

그럼에도 자동화는 계속 진행됐다. 급여 지급을 위한 근무 시간을 기록하는 시스템을 포함해 더 많은 계정이 사라졌다. 결국 보안 인력은 그를 건물 밖으로 안내하라는 지시를 받았다.

Diallo는 2018년 6월 17일 공개된 자신의 1인칭 기록인 automated dismissal에서 이 과정을 문서화했다. 그는 일단 시작되면 멈출 수 없어 보이는 프로세스를 묘사했다.

결국 밝혀진 설명은 조직 내 전환 과정과 관련돼 있었다. Diallo의 이전 관리자가 회사를 떠났고, 새 시스템에서 필요한 계약 갱신이 완료되지 않았다.

기록된 종료일이 도래하자 시스템은 Diallo를 해고된 상태로 분류했다. 이 상태는 보안, 신원 관리, 급여, 업무 공간 접근 전반에서 연결된 일련의 조치를 시작했다.

직접 Diallo interview를 바탕으로 한 후속 보도에 따르면, 시스템은 여러 팀에 그의 접근 권한을 차단하라고 지시하는 수백 건의 메시지를 생성했다. 그는 3주 동안 출근하지 못했고, 그 기간 급여도 받지 못했다.

회사는 단순히 해고 처리를 취소할 수 없었다. 보도에 따르면 프로세스가 끝나도록 둔 뒤, Diallo를 신규 직원처럼 다시 온보딩해야 했다.

이는 심각한 실패이지만, AI가 그를 독자적으로 평가했다는 증거는 아니다. 어떤 검증된 기록도 해고 과정에 머신러닝 모델, 신경망 또는 생성형 AI 시스템이 있었다고 밝히지 않는다.

더 안전한 설명은 자동화된 고용 워크플로다. 이러한 워크플로는 촉발 조건이 나타나면 규칙과 연결된 소프트웨어를 사용해 미리 정해진 조치를 실행한다.

초기 촉발 요인은 회사 기록이 의도된 계약 기간을 반영하지 못했기 때문에 잘못됐다. 이후의 모든 조치는 그 결함 있는 기록에서 논리적으로 이어졌다.

이 차이는 자동화된 실행과 자동화된 판단을 구분한다. 규칙 기반 시스템은 영향을 받는 사람에 대해 추론하거나 학습하거나 이해하지 않아도 막대한 피해를 일으킬 수 있다.

Google News는 피드에 표시되는 대부분의 헤드라인을 만든 원출처가 아니라 뉴스 집계 서비스다. 게시사의 표현을 배포하면서 독자를 해당 게시사의 페이지로 보낼 수 있다.

이러한 배포가 게시사의 해석을 독립적으로 검증하는 것은 아니다. Google News에 등장했다는 것은 기사가 색인화되거나 신디케이션됐다는 의미일 뿐, Google이 그 사실적 프레이밍을 확인했다는 뜻은 아니다.

제공된 헤드라인에는 번역상 문제도 있는 것으로 보인다. “AI network”는 신경망을 가리킬 가능성이 높지만, 검증된 사례는 어떤 신경망도 참여했다는 사실을 입증하지 않는다.

“최초”라는 표현 역시 뒷받침되지 않는다. Diallo의 이야기는 자동화된 해고의 널리 보도된 사례가 됐지만, 그의 기록이나 이후 인터뷰 모두 그것이 역사상 최초의 사건이었다는 점을 증명하지는 않는다.

가장 방어 가능한 결론은 더 좁다. Diallo는 그의 직속 관리자들이 제때 되돌릴 수 없었던, 문서화된 자동화 퇴출 절차를 겪었다.

이 결론 역시 충분히 우려스럽다. 사실 이는 허구의 자율적 상사보다 더 흔한 위험을 드러낸다.

진짜 상대는 오버라이드 없는 자동화였다

핵심 갈등은 인간 대 지능형 기계가 아니다. 책임지는 관리 체계 대 되돌릴 수 없는 자동화의 문제다.

기업은 정당한 이유로 퇴직 처리 과정을 자동화한다. 퇴사하는 직원의 소스 코드, 고객 기록, 결제 시스템, 물리적 시설에 대한 접근은 대개 신속히 종료돼야 한다.

속도는 보안 노출을 줄인다. 일관성 역시 기업이 서로 관련 없는 시스템 곳곳에 활성 계정을 남겨두는 일을 피하는 데 도움이 된다.

이러한 목표는 해고 워크플로가 한 번에 많은 부서에 도달할 수 있는 이유를 설명한다. 단일 고용 상태가 출입증, 이메일, 가상 사설망, 급여 도구, 저장소, 내부 애플리케이션을 통제할 수 있다.

같은 연결성은 잘못된 촉발 요인의 비용도 키운다. 하나의 잘못된 필드가 누구도 지시가 어디에서 시작됐는지 파악하기 전에 모든 시스템으로 퍼질 수 있다.

Diallo의 관리자들은 인간 참여자였지만, 효과적인 인간 감독자는 아니었다. 그들은 오류를 관찰하고 이의를 제기할 수는 있었지만, 이를 중단하는 데 필요한 권한과 절차는 없었던 것으로 보인다.

이는 인간이 존재하는 것과 인간이 통제하는 것의 차이다. 누군가 결정을 검토하고, 실행을 중단하고, 결과에 책임을 질 수 있을 때만 감독은 존재한다.

지원 티켓을 제출할 수 있는 관리자가 반드시 권한을 가진 검토자는 아니다. 불만을 제기할 수는 있지만 접근 권한을 복구할 수 없는 디렉터는 오버라이드 메커니즘이 아니다.

이 약점은 기술적 문제인 만큼 조직적 문제이기도 했다. 회사는 기록된 계약 날짜를 Diallo의 관리 라인이 제시한 현재의 설명보다 더 권위 있게 취급하는 워크플로를 설계했다.

또한 책임을 분산했다. 보안팀은 지시를 따랐고, 정보기술 부서는 계정 규칙을 따랐으며, 인사 부서는 해고를 신속히 되돌릴 수 없었던 것으로 보인다.

각각의 국지적 조치는 합리적으로 보였을 수 있다. 그러나 전체 사슬을 책임지는 사람이 없었기 때문에 결합된 결과는 불합리했다.

이 패턴은 기업이 AI 에이전트를 도입하는 지금도 관련성이 있다. AI 에이전트는 제한된 개입으로 단계를 계획하고 연결된 도구를 사용해 작업을 완료할 수 있는 소프트웨어다.

에이전트를 이메일이나 문서 검색에 연결하는 것은 관리 가능한 위험을 만든다. 이를 신원 관리, 급여, 직원 평가 또는 해고에 연결하면 훨씬 더 큰 실행 범위가 만들어진다.

모델이 실질적 권한을 행사하기 위해 공식 권한이 필요한 것은 아니다. 하위 시스템이 신뢰하는 기록을 변경할 수 있는 권한만 있으면 된다.

가령 AI 시스템이 성과 평가를 잘못 요약했다고 가정해 보자. 그러면 별도의 규칙 엔진이 해당 직원을 승진 자격이 없는 사람으로 분류할 수 있다.

신원 관리 워크플로는 그 분류 이후 접근을 제한할 수 있다. 일정 관리 도구는 향후 근무 일정을 제거하고, 급여 시스템은 최종 지급액을 계산할 수 있다.

어떤 단일 구성 요소도 직원을 해고한 것처럼 보이지 않을 것이다. 그러나 연결된 시스템들은 함께 더 빠른 속도로 Diallo의 경험을 재현할 수 있다.

교훈은 기업이 자동화를 포기해야 한다는 것이 아니다. 수동 퇴직 처리 역시 실패할 수 있고, 보안 위험을 만들며, 민감한 정보를 노출할 수 있다.

교훈은 자동화에 명확한 권한 경계가 필요하다는 점이다. 시스템은 어떤 조치에 확인이 필요한지, 어떤 사람이 실행을 중단할 수 있는지 알아야 한다.

중대한 영향을 미치는 조치에는 지속 가능한 감사 추적도 필요하다. 검토자는 촉발 기록, 모든 후속 조치, 최종 결과 승인 책임자를 식별할 수 있어야 한다.

그러한 기록이 없으면 조직은 절차적 관성을 정당한 권한과 혼동할 수 있다. 각 구성 요소가 앞선 구성 요소가 옳았다고 가정하기 때문에 소프트웨어는 계속 움직인다.

Diallo의 사례는 그러한 가정의 약점을 드러낸다. 기록된 날짜는 진실로 취급됐고, 현재의 인간 지식은 기다릴 수 있는 예외로 취급됐다.

이 오래된 사례가 AI 에이전트 시대에 더 중요한 이유

현대 AI는 이미 Diallo의 오류를 멈추기 어렵게 만든 경직된 워크플로에 불확실한 판단을 더할 수 있다.

2018년 사건에는 비교적 이해하기 쉬운 촉발 요인이 있었다. 계약 기록이 종료일에 도달했고, 시스템은 퇴직 처리 순서를 실행했다.

생성형 AI는 다른 종류의 불확실성을 도입한다. 그 출력은 달라질 수 있고, 맥락을 누락하거나, 명시적으로 기록된 적 없는 결론을 추론할 수 있다.

이 불확실성은 모델 출력이 운영 데이터베이스에 들어갈 때 중대한 결과를 낳는다. 생성된 요약은 점수가 될 수 있고, 점수는 상태가 될 수 있으며, 상태는 자동화된 조치를 시작할 수 있다.

따라서 위험은 예측과 실행의 경계에 있다. 챗봇이 좋지 않은 제안을 하는 것은 불편하다. 모델이 고용 기록을 변경하는 일은 소득, 접근 권한, 평판, 법적 권리에 영향을 미칠 수 있다.

조직은 종종 인간 검토를 해답으로 제시한다. 그러나 Diallo에게는 그의 업무를 직접 알고 있던 관리자를 포함해 문제를 인식한 여러 사람이 있었다.

시스템이 그들에게 실질적으로 사용할 수 있는 개입 권한을 주지 않았기 때문에, 그들의 개입은 그를 보호하지 못했다. 검토자가 조치를 일시 중단하거나 되돌릴 수 없다면 인간 검토는 의례적인 절차가 된다.

National Institute of Standards and Technology의 자발적 AI risk framework는 AI 시스템의 전 생애주기에 걸친 거버넌스를 강조한다. 이는 인간과 AI가 결합된 구성에서 명확한 역할과 책임을 요구한다.

이 원칙은 기반 시스템이 기술적으로 AI가 아닌 경우에도 적용된다. 조직은 중대한 결과를 낳는 모든 워크플로를 둘러싼 데이터, 규칙, 통합, 예외, 이의 제기에 대해 지정된 책임자를 두어야 한다.

자동화 설계자는 되돌릴 수 있는 조치와 되돌릴 수 없는 조치도 구분해야 한다. 알림을 보내는 일은 쉽게 수정할 수 있다. 접근 권한을 취소하고 보안팀에 통보하는 일은 즉각적인 실질적 피해를 초래할 수 있다.

신중한 시스템은 중대한 변경을 단계적으로 처리할 수 있다. 해고 패키지를 준비하고, 영향을 받는 계정을 식별한 뒤, 실행 전에 권한을 가진 두 사람의 확인을 요청할 수 있다.

시스템은 입력값 간 충돌 여부도 검증해야 한다. 계약 종료일이 지났다고 해서 해당 인물이 승인된 업무 배정, 최근 근무기록, 관리자가 확인한 연장 승인을 보유하고 있다면 해고로 이어져서는 안 된다.

여기에는 정교한 모델이 필요하지 않다. 기록이 서로 엇갈릴 때 의도적으로 설계된 워크플로와 속도를 늦출 의지가 필요하다.

AI 시스템은 이런 충돌을 찾아내는 데 도움을 줄 수 있지만, 검토할 수 없는 새로운 권위의 원천이 되어서는 안 된다. 신뢰도 점수와 생성된 설명은 책임 있는 승인을 대체하지 못한다.

개발자는 고용 관련 조치를 다른 안전 민감 작업과 동일하게 다뤄야 한다. 권한은 최소 권한 원칙을 따라야 하며, 각 시스템에는 특정 업무에 필요한 접근 권한만 부여해야 한다.

성과 요약을 작성하는 모델에 고용 상태를 변경할 권한까지 필요하지는 않다. 계정 변경을 추천하는 도구 역시 이를 즉시 실행할 권한까지 가질 필요는 없다.

추가되는 모든 권한은 환각, 탈취된 자격 증명, 잘못된 데이터 또는 오해된 지시로 인해 발생할 수 있는 피해 범위를 넓힌다. 엔드투엔드 자동화의 편의성은 이러한 확장을 가릴 수 있다.

따라서 엔터프라이즈 구매자는 공급업체에 모델 정확도 이상을 물어야 한다. 제품이 무엇을 변경할 수 있는지, 그 변경이 어떻게 전파되는지, 완료된 조치를 되돌릴 수 있는지를 알아야 한다.

모델과 권위 있는 기록이 서로 다를 때 누가 알림을 받는지도 물어야 한다. 시스템이 누군가의 생계에 영향을 미칠 때 침묵은 안전한 기본값이 아니다.

Diallo의 사례는 간단한 시험대를 제시한다. 관리자가 시스템이 잘못됐다는 것을 알았을 때, 해당 근로자가 접근 권한을 잃기 전에 그 과정을 중단할 수 있는가?

그 답이 여러 지원팀, 문서화되지 않은 에스컬레이션 절차 또는 사후에 근로자의 신원을 다시 구축하는 데 달려 있다면, 그 시스템에는 실질적인 인간 감독이 없다.

고용 AI는 이제 법적·거버넌스 압박에 직면하고 있다

규제기관들은 기업이 이를 일반적인 생산성 소프트웨어로 제시하더라도 자동화된 고용 결정을 점점 더 고영향 시스템으로 취급하고 있다.

미국에는 고용 AI를 포괄적으로 다루는 단일 연방법이 없다. 그러나 고용주가 채용, 승진, 모니터링 또는 해고에 소프트웨어를 사용할 경우 기존의 민권 규정은 여전히 적용될 수 있다.

평등고용기회위원회(EEOC)는 자동화 도구가 차별적 결과를 초래할 때도 고용주에게 책임이 남는다고 경고해 왔다. EEOC의 고용 AI 지침은 Title VII에 따른 불리한 영향에 초점을 맞춘다.

불리한 영향은 겉으로는 중립적인 선발 절차가 보호 대상 집단의 사람들을 불균형적으로 배제할 때 발생한다. 절차에 AI를 추가한다고 해서 고용주의 의무가 사라지는 것은 아니다.

EEOC는 장애 차별 문제도 다뤘다. 평가 도구는 장애로 인해 시험, 카메라, 음성 시스템 또는 인터페이스와 상호작용하는 방식이 달라지는 지원자나 근로자에게 불리하게 작용할 수 있다.

Diallo의 사례는 차별 분쟁으로 보도되지는 않았다. 대신 조직이 정확한 기록과 개별 오류를 바로잡을 수 있는 접근 가능한 절차를 왜 필요로 하는지 보여준다.

집단 수준의 공정성 감사가 반드시 그의 문제를 포착했을 것이라고는 볼 수 없다. 워크플로는 통계적으로 균형 잡힌 결과를 낼 수 있지만, 기초 기록이 잘못됐다는 이유로 한 사람을 부당하게 대할 수도 있다.

뉴욕시의 규정은 더 좁은 범주의 자동화 고용 의사결정 도구를 다룬다. 시는 적용 대상 도구에 대해 공개 요약과 특정 조건하의 고지를 포함한 편향 감사를 요구한다.

이러한 요건은 주로 채용이나 승진에서 재량적 결정을 실질적으로 지원하거나 대체하는 도구에 초점을 맞춘다. 모든 형태의 자동화된 직장 피해를 해결하지는 못한다.

기존 신원 관리 시스템은 머신러닝이나 후보자 점수를 겨냥한 정의의 적용 대상에서 벗어날 수 있다. 그러나 잘못된 신원 상태는 여전히 사실상 해고와 같은 결과를 낳을 수 있다.

유럽연합은 더 광범위한 위험 기반 접근법을 취한다. AI Act는 채용, 근로자 관리, 승진, 모니터링 및 해고에 사용되는 특정 시스템을 고위험 애플리케이션으로 규정한다.

법의 고용 관련 조항은 경력, 생계, 근로자 권리에 미칠 수 있는 영향을 반영한다. 적용 대상 시스템에는 위험 관리, 기록, 투명성, 정확성 및 인간 감독 관련 요건이 부과된다.

법적 분류는 여전히 시스템의 의도된 목적과 배포 세부사항에 따라 달라진다. 헤드라인이 그렇게 부른다고 해서 데이터베이스 규칙이 자동으로 AI 시스템이 되는 것은 아니다.

이 때문에 정확한 언어가 중요하다. 모든 유해한 자동화 절차를 “AI”라고 부르면 어떤 통제 장치와 법적 의무가 적용되는지 혼동할 수 있다.

또한 기업이 일반 소프트웨어에 내재된 선택의 책임을 추상적인 기술 탓으로 돌리게 할 수도 있다. 모든 자동화 워크플로에는 데이터, 트리거, 권한, 예외 및 에스컬레이션에 관한 인간의 결정이 반영된다.

반대의 실수도 마찬가지로 위험하다. AI 기반 추천이 근로자의 기회를 실질적으로 결정하는 경우, 기업은 이를 무해한 행정 업무라고 설명해서는 안 된다.

규제기관과 감사인은 점점 더 마케팅이 아니라 기능을 살펴본다. 핵심 질문은 공급업체가 이를 어시스턴트, 에이전트, 점수 또는 워크플로라고 부르는지가 아니라 시스템이 결정에 어떤 영향을 미치는지다.

조직에는 부서 경계를 넘는 자산 목록이 필요하다. 인사 부서는 고용 기록을 관리할 수 있지만, 정보기술 부서는 접근 및 보안 통제와 출입 배지를 관리할 수 있다.

완전한 평가는 상태 변경이 이러한 시스템 전반에서 어떻게 이동하는지 추적해야 한다. 어떤 구성요소가 변경을 시작하고 어떤 구성요소가 단지 이를 집행하는지 식별해야 한다.

기업에는 기계 속도로 작동하는 이의제기 절차도 필요하다. 몇 주 뒤에 완료되는 검토는 임금 손실, 평판 훼손 또는 의료 혜택 중단을 막지 못한다.

효과적인 이의제기 절차는 권한 있는 담당자가 기록을 검토하는 동안 비필수 조치를 동결해야 한다. 보안상 중요한 제한은 분쟁 중인 해고를 최종 결정으로 취급하지 않으면서도 일시적으로 유지할 수 있다.

이러한 균형은 조직과 근로자 모두를 보호한다. 또한 현장 팀이 압박 속에서 임기응변으로 대응하는 일을 막는다.

여기서의 회의론은 정확해야 한다. 규제와 내부 통제로 모든 행정 오류를 없앨 수는 없다. 인간 의사결정자 역시 차별하거나, 증거를 간과하거나, 정당한 이의제기를 거부할 수 있다.

자동화는 비공식적인 관리보다 일관성을 높이고 더 나은 기록을 만들 수 있다. 문제는 일관성이 잘못된 입력을 멈출 수 없는 결과로 바꿀 때 시작된다.

Google News 주장 이후 주목할 점

다음 시험대는 공급업체가 제품에 인간 검토 라벨을 붙이는지가 아니라, 고용주가 사람들에게 AI 조치에 대한 실질적인 통제권을 제공하는지다.

첫 번째 신호는 오버라이드 메커니즘의 설계다. 구매자는 일시 중지 제어, 승인 게이트, 롤백 지원, 고영향 조치를 실행할 수 있는 사람에 대한 명확한 제한을 살펴봐야 한다.

유용한 오버라이드는 피해가 확산되기 전에 작동해야 한다. 조직이 잘못된 해고 처리를 완료한 뒤 직원의 신원을 다시 만들어야 하는 방식이어서는 안 된다.

두 번째 신호는 이벤트 로그의 품질이다. 기업은 근로자의 상태가 왜 변경됐는지, 그리고 모든 후속 조치를 어떤 시스템이 시작했는지 재구성할 수 있어야 한다.

로그는 모델 출력, 원본 기록, 승인, 통합 호출 및 수동 개입을 포착해야 한다. 이러한 증거가 없으면 이의제기는 한 사람의 설명과 설명되지 않는 시스템 상태 간의 다툼이 된다.

세 번째 신호는 규제기관과 법원이 추천과 결정을 어떻게 구분하는지다. 공급업체는 자사 도구가 단지 인간의 판단을 지원한다고 말하는 경우가 많지만, 고용주는 생성된 결과에 크게 의존한다.

명목상 자문용 점수도 관리자가 이를 이의를 제기할 시간, 정보 또는 권한이 없을 때 결정적 요소가 될 수 있다. 감독은 인터페이스 설계가 아니라 실제 개입을 통해 측정해야 한다.

고용주는 검토자가 자동화된 추천을 얼마나 자주 거부하는지 살펴볼 수 있다. 오버라이드 비율이 0%라면 탁월한 정확성을 뜻할 수도 있지만, 자동화 편향이나 권한 없는 검토자를 드러낼 수도 있다.

근로자는 자동화 시스템이 고용 결정에 실질적인 영향을 미칠 때 이해할 수 있는 고지를 받아야 한다. 또한 정정된 정보를 제출하고 인간의 재검토를 요청할 수 있는 직접적인 경로도 필요하다.

기술팀은 배포 전에 실패 경로를 시험해야 한다. 만료된 기록, 상충하는 승인, 중복된 신원, 누락된 필드, 사용할 수 없는 후속 서비스 등을 활용해야 한다.

목표는 정상 워크플로가 성공하는지만 확인하는 데 있지 않다. 시스템이 확신에 차서 틀렸을 때 조직이 복구할 수 있는지 알아내는 데 있다.

엔터프라이즈 구매자는 통합 범위도 검토해야 한다. 성과를 분석하는 제품이 급여, 신원, 일정 또는 보안 시스템에 대한 쓰기 권한까지 자동으로 필요로 하는 것은 아니다.

분석과 실행을 분리하면 마찰이 생기지만, 그 마찰은 안전 통제가 될 수 있다. 소프트웨어가 누군가의 직장 생활을 바꾸기 전에 책임 있는 사람이 맥락을 평가할 시간을 제공한다.

Google News의 헤드라인은 독자들에게 AI 상사가 결론을 내리는 모습을 상상하게 한다. Diallo의 검증된 이야기는 더 평범하면서도 더 실행 가능한 현실을 보여준다.

결함 있는 기록이 경직된 절차를 촉발했다. 인간 관리자는 오류를 알아차렸지만, 조직은 그 관리자들이 행사할 수 있는 권한보다 소프트웨어에 더 큰 운영 권한을 부여했다.

이것이 AI 에이전트 시대의 진짜 경고다. 더 뛰어난 모델이 불명확한 책임 소재, 과도한 권한 또는 부재한 탈출 경로를 해결해주지는 않는다.

AI 시스템을 고용 기록에 연결하기 전에 실무적인 질문 하나를 던져야 한다. 시스템이 잘못된 정보에 근거해 행동한다면, 누가 이를 즉시 멈출 수 있는가?

명확한 답을 가진 사람이 없다면, 그 조직은 해당 결정을 자동화할 준비가 되어 있지 않다.