DHS, FOIA 처리에 AI 확대… 그러나 진짜 시험대는 인간 검토

미국 국토안보부(DHS)는 2025 회계연도를 미처리 요청 245,572건으로 마감한 뒤 AI 지원 FOIA 처리 확대를 계획하고 있다. DHS는 자동화가 행정 업무를 줄이고 증가하는 공공기록 요청을 직원들이 처리하는 데 도움이 될 수 있다고 말한다. 쟁점은 분명하다. 더 빠른 처리가 가치를 가지려면 그 결과물인 검색, 분류, 삭제가 정확하게 유지돼야 한다.

DHS는 해당 회계연도 동안 100만 건이 넘는 정보공개법(Freedom of Information Act) 요청을 받았다. 거의 같은 규모를 처리했지만, 미처리 재고는 연초 221,068건에서 여전히 늘어났다. DHS에 따르면 공식 적체 건수는 접수된 요청의 16%에 해당했다.

이 수치는 연방 기관들이 자동화를 단순한 실험 이상으로 보는 이유를 설명한다. 그러나 DHS는 사람들이 어떤 기록을 받게 될지에 영향을 미치는 결정에 AI를 활용하는 방안을 검토하고 있다. 따라서 이 계획은 단순한 사무 현대화 프로젝트가 아니라 책임성의 시험대다.

DHS는 이미 민감한 콘텐츠를 식별하고 삭제하는 사전 배포 사용 사례를 공개했다. 세관국경보호국(Customs and Border Protection) 역시 검토자로부터 학습하고 기록의 관련성을 분류할 수 있는 문서 검토 소프트웨어를 사용한다. 시민자유 옹호 단체들은 이러한 시스템이 과도한 삭제라는 기존 패턴을 재현하는 동시에 신중한 인간 검토의 여지를 줄일 수 있다고 경고한다.

DHS, FOIA 워크플로에 AI를 더 깊이 도입

중요한 변화는 DHS가 소프트웨어를 사용한다는 사실이 아니라, AI가 중대한 검토 결정에 더 가까이 다가가고 있다는 점이다.

DHS는 수년간 요청 접수, 사건 관리, 파일 공유, 중복 제거, 기록 전달을 위해 전자 도구를 사용해 왔다. 이러한 기능은 공공이 무엇을 볼 수 있는지 반드시 결정하지 않으면서도 수작업 처리를 대체한다. 새롭게 도입되는 사용 사례는 문서 식별과 삭제 과정에 더 깊이 관여한다.

DHS의 연례 FOIA 보고에 따르면, 산하 Privacy Office는 요청 처리용 신기술을 계속 개발하고 배포하고 있다. DHS는 향후 1년 동안 추가 자동화 도구를 출시할 것으로 예상한다. DHS는 그 목표를 효율성 향상과 반복적인 행정 업무 제거라고 설명한다.

이 설명은 가능한 기능의 폭넓은 범위를 포괄한다. 자동화 시스템은 사건 필드를 채우고, 중복 파일을 감지하며, 스캔한 페이지를 검색 가능한 텍스트로 변환하거나, 기록을 올바른 사무실로 전달할 수 있다. 각 기능은 법적 판단을 대체하지 않으면서 시간을 절약할 수 있다.

문서의 요청 관련성 판단은 더 민감한 문제다. 관련 기록은 일부 정보가 나중에 비공개 처리되더라도 요청자의 검색 범위에 포함된다. 시스템이 해당 기록을 무관한 것으로 잘못 분류하면 요청자는 그 기록이 존재했다는 사실조차 알지 못할 수 있다.

삭제는 또 다른 위험층을 만든다. FOIA는 국가안보, 법 집행, 개인정보 보호와 관련된 보호 조항을 포함해 특정 법정 면제 사유에 따라 기관이 정보를 비공개로 할 수 있도록 허용한다. 이러한 면제 조항의 적용에는 흔히 맥락, 법적 해석, 그리고 공개가 예견 가능한 피해를 초래할지에 대한 판단이 필요하다.

DHS는 민감한 자료의 식별과 삭제를 간소화하기 위한 AI 사용 사례를 확인했다. DHS의 공개 인벤토리에 따르면, 부서는 이 계획된 사용을 고영향이 아닌 것으로 분류했다. 고영향 시스템은 연방 AI 정책에 따라 더 강력한 위험 관리 기대치를 적용받기 때문에 이 지정은 중요하다.

인벤토리는 해당 시스템이 사전 배포 단계에 있다고 설명한다. 즉, 공개 기록만으로는 DHS가 이를 얼마나 광범위하게 사용할지, 어떤 구성 요소가 참여할지, 또는 직원들이 그 제안 중 몇 퍼센트를 수용할지를 아직 확인할 수 없다.

별도의 도구도 이미 이 과정의 일부다. DHS는 RelativityOne을 지식 검색용 상용 AI 시스템으로 등재하고 있다. 세관국경보호국의 개인정보 분석은 FOIA 요청에 대한 적시 대응 지원을 포함해 그 역할을 더 구체적으로 설명한다.

CBP의 FOIA 부서 내에서 이 플랫폼은 검토자 결정으로부터 학습하고 문서를 관련 또는 무관으로 태그할 수 있다. 이 기법은 일반적으로 기술 지원 검토(technology-assisted review)라고 불리며, 소프트웨어가 사람이 라벨을 붙인 사례를 활용해 더 큰 자료 집합의 우선순위를 정하거나 분류하는 방식을 뜻한다.

기술 지원 검토가 항상 자율적인 공개 결정을 의미하는 것은 아니다. 검토자는 예측 결과를 이용해 문서 순서를 정하고, 중복 가능성이 높은 문서를 식별하거나, 불확실한 분류에 주의를 집중할 수 있다. 공개 문서는 직원이 언제 태그를 검증해야 하는지, DHS가 오류를 어떻게 측정하는지 등 중요한 세부 사항을 명확히 밝히지 않는다.

이 공백이 핵심 긴장을 만든다. DHS는 AI를 과부하 상태의 직원을 지원하는 수단으로 제시하지만, 문서화된 일부 기능은 어떤 기록이 그 직원들에게 전달되는지에 영향을 줄 수 있다. 효율성은 수작업 단계를 줄이는 데 달려 있다. 책임성은 어떤 단계를 안전하게 제거할 수 없는지 아는 데 달려 있다.

요청 건수가 DHS의 자동화 이유를 설명한다

DHS는 인력 압박을 고려하기 전에도 자동화가 매력적으로 보일 만큼 큰 업무량 문제에 직면해 있다.

DHS는 2025 회계연도를 미처리 FOIA 요청 221,068건으로 시작했다. 이후 100만 건이 넘는 신규 요청을 받았고 거의 같은 규모를 처리했다. 그럼에도 DHS는 미처리 요청 245,572건으로 마감했으며, 이는 한 해 동안 24,504건 증가한 수치다.

미처리 요청과 공식 적체 건수는 동일하지 않다. 요청은 적용되는 법정 응답 기간을 넘겨 미해결 상태로 남을 때 적체로 분류된다. DHS는 전체 미처리 재고가 245,000건을 넘었음에도 적체가 접수 요청의 16%를 차지했다고 밝혔다.

이 구분은 유용하지만, 운영상의 과제가 작다는 뜻은 아니다. 미처리 사건마다 여전히 추적, 소통, 검색, 검토 또는 전달이 필요하다. 복잡한 요청은 방대한 이메일 모음, 이민 파일, 법 집행 기록, 영상 또는 여러 구성 조직에 분산된 자료를 포함할 수 있다.

DHS는 오랫동안 연방 FOIA 업무량 중 유난히 큰 비중을 담당해 왔다. 산하 기관에는 세관국경보호국, 이민세관집행국, 연방재난관리청, 교통보안청, 미국 시민권·이민서비스국이 포함된다.

이들 구성 조직 중 여러 곳은 사람들이 즉각적인 개인적 또는 법적 사유로 필요로 하는 기록을 보유한다. 이민 요청은 개인의 공식 파일과 관련될 수 있다. 재난 관련 요청은 비상사태 이후 정부의 결정에 관한 것일 수 있다. 기자와 감시 단체는 정책 기록, 계약, 커뮤니케이션, 집행 데이터를 요구한다.

따라서 신속성에 대한 필요는 단순한 편의성을 넘어선다. 기록 공개 지연은 소송, 보도, 이민 절차, 역사 연구 또는 진행 중인 정책에 대한 대중의 감시에 영향을 미칠 수 있다.

연방 인력 변화도 압박을 더한다. 초기 보도에서 인용한 데이터에 따르면, 두 번째 트럼프 행정부 출범 이후 600명 이상의 정부 정보 전문직 직원이 연방 공직을 떠났다. 이 가운데 약 100명은 DHS 출신이었다.

정부 정보 전문직 범주에는 FOIA 요청을 처리하는 직원이 다수 포함된다. 업무 내용이 다양하기 때문에 퇴직이 FOIA 처리 역량의 동일한 감소로 곧바로 이어지는 것은 아니다. 그럼에도 연방 인력 데이터는 이미 증가하는 기록 업무량에 직면한 기관들에 영향을 미치는 더 광범위한 인력 축소를 보여준다.

경험 많은 검토자가 줄어들면 어려운 순환이 생긴다. 남은 직원은 더 많은 사건을 맡고, 관리자는 더 빠른 도구를 찾으며, 검토자는 자동화 결과를 점검할 시간이 줄어든다. 압박을 완화하기 위해 도입한 기술이 오히려 적절한 감독을 더 어렵게 만들 수 있다.

이러한 변화는 DHS만의 일이 아니다. 국립문서기록관리청(National Archives)의 정부정보서비스국은 응답 기관의 18.6%가 FOIA 처리에 AI 또는 머신러닝을 사용했다고 보고했다. 이 결과는 도입이 진행 중임을 보여주지만, 대다수 기관은 여전히 이러한 도구의 사용을 보고하지 않았다.

다른 부처도 유사한 기능을 탐색하고 있다. 보건복지부는 자동화 워크플로 기능, 문서 검색 플랫폼 및 AI 개념 검증과 관련된 작업을 설명했다. 국방부 관계자들도 FOIA 운영을 위한 에이전트형, 생성형 및 예측형 AI를 검토했다.

이는 증가하는 수요와 제한된 인력에 대응하는 정부 전반의 움직임이 되고 있다. DHS는 처리 규모, 민감한 기록, 집행 책임 때문에 두드러진다. 이 환경에서의 실수는 개별 요청자와 더 광범위한 공공 감시 모두에 영향을 미칠 수 있다.

핵심 상충 관계는 속도와 검토 가능한 판단 사이에 있다

AI는 문서 발견을 가속할 수 있지만, FOIA 결정에 필요한 법적 판단을 지니고 있지는 않다.

일부 작업은 자동화 적용 사례가 비교적 명확하다. 광학 문자 인식은 스캔한 페이지를 검색 가능한 텍스트로 바꿀 수 있다. 중복 감지는 검토자가 동일한 이메일 스레드를 반복해서 읽는 일을 막을 수 있다. 언어 식별과 파일 변환은 기록을 검토에 적합하게 준비할 수 있다.

검색 지원은 좁은 키워드 질의가 놓칠 수 있는 기록을 직원들이 찾도록 도울 수도 있다. 머신러닝 시스템은 관련 개념을 식별하고, 요청 관련성이 높은 문서의 순위를 매기며, 유사한 자료를 그룹화할 수 있다. 이러한 기능은 하나의 사건에 수천 개의 파일이 포함될 때 유용하다.

미국시민자유연맹의 선임 변호사 Cody Venzke는 원 보도에서 이러한 가능성을 인정했다. 그는 AI가 문서 발견을 신속하게 하고, 광범위한 요청에서 관련 기록이 누락될 가능성을 줄일 수 있다고 말했다.

그의 경고는 그다음에 일어나는 일에 관한 것이다. 삭제는 단순한 패턴 매칭 작업이 아니다. 검토자는 법적 면제 사유를 식별하고, 이를 특정 자료에 적용하며, 공개가 예견 가능한 피해를 만들지 고려해야 한다.

맥락에 따라 답은 달라진다. 한 이름은 어떤 기록에서는 보호가 필요하지만 다른 기록에서는 이미 공개되어 있을 수 있다. 심의 과정을 설명하는 문구에는 여전히 공개돼야 하는 분리 가능한 사실 정보가 포함될 수 있다. 법 집행 기법은 어느 시점에는 민감하지만 나중에는 널리 알려질 수 있다.

모델은 이전 사례를 바탕으로 라벨을 부여할 수 있지만, 과거의 라벨이 반드시 정확한 것은 아니다. 기관의 대응은 법적 해석, 위험 선호, 소송 이력, 검토자 습관을 반영한다. 그러한 대응으로 학습하면 같은 경향을 더 큰 규모로 재현할 수 있다.

기관들이 기록을 과도하게 삭제한다는 비판을 자주 받는다는 점에서 이 우려는 특히 중요하다. 지나치게 신중한 인간 검토자는 한 사건에서 너무 많은 정보를 가릴 수 있다. 수천 건의 신중한 결정으로 학습한 시스템은 그 행동을 수천 건의 사건에 적용할 수 있다.

전자개인정보정보센터의 법률 펠로우 Abigail Kunkler는 기존 대응을 기반으로 학습한 자동화가 기존의 삭제 패턴을 반영할 것이라고 주장했다. 그의 우려는 AI 모델이 가끔 실패한다는 데만 있지 않다. 이 시스템이 정보 비공개에 대한 제도적 선호를 표준화할 수 있다는 점이다.

반대 방향의 오류도 중요하다. 모델이 개인정보, 보안 정보 또는 법적으로 보호되는 세부 사항을 인식하지 못할 수 있다. 이는 개인을 노출시키거나 수사에 피해를 줄 수 있다. 따라서 기관들이 시스템을 신중한 방향으로 조정할 합리적인 이유가 있다.

그러나 신중함을 위해 조정하면 오류는 비공개 쪽으로 기울게 된다. 요청자는 검토 전에 분류기가 제외한 기록을 쉽게 감지할 수 없다. 눈에 보이는 가림 처리에는 이의를 제기할 수 있지만, 받지 못했거나 존재 자체를 알지 못했던 문서에는 이의를 제기할 수 없다.

이러한 비대칭성 때문에 응답성 분류는 특히 중대한 의미를 갖는다. 거짓 양성은 관련 없는 문서를 검토자에게 보내 시간을 소모하게 한다. 거짓 음성은 응답성이 있는 기록을 절차에서 조용히 제외할 수 있다.

DHS에는 이러한 차이를 반영하는 평가 지표가 필요하다. 단일 정확도 점수는 해로운 실패 양상을 가릴 수 있다. 부처는 누락된 응답성 기록, 불필요한 검토, 잘못된 가림 처리 제안, 노출된 민감 정보를 각각 추적해야 한다.

테스트에도 현실적인 데이터가 필요하다. 깨끗한 샘플 문서로 평가된 시스템은 스캔한 페이지, 손글씨 메모, 이메일 스레드, 첨부 파일, 오디오 전사본 또는 여러 언어가 포함된 기록에서 다르게 작동할 수 있다. DHS는 산하 기관 전반에서 이러한 모든 형식을 처리한다.

AI를 가장 효과적으로 활용하려면 시스템을 보조적 역할에 두어야 한다. 시스템은 문서의 우선순위를 정하고, 가림 처리를 제안하며, 어떤 패턴이 권고를 촉발했는지 설명할 수 있다. 훈련받은 직원이 기록의 응답성을 확인하고 최종 비공개 결정을 내려야 한다.

이 구조는 검토가 실질적일 때에만 인간의 권한을 보존한다. 직원에게 승인 버튼을 누르도록 요구하는 것만으로는 의미 있는 감독이 만들어지지 않는다. 검토자에게는 권고에 이의를 제기할 수 있는 충분한 시간, 교육, 시스템 정보가 필요하다.

DHS는 보호장치에 관해 충분히 설명하지 않았다

공개 목록은 AI 기능을 식별하지만, 그 통제 장치를 판단하기에 충분한 근거를 제공하지 않는다.

DHS는 계획 중인 민감 콘텐츠 식별 및 가림 처리 사용 사례를 고영향이 아닌 것으로 분류했다. 이 결정은 해당 시스템과 관련된 위험 관리 요건을 제한한다. 그러나 공개 정보만으로는 이 사용 사례가 왜 그러한 분류를 받았는지 완전히 설명되지 않는다.

연방 정책의 정의는 여기서 중요하다. 시스템은 급여, 치안 또는 개인의 자유에 관한 결정을 내리지 않으면서도 정부 정보에 대한 접근에 영향을 미칠 수 있다. 그러한 더 제한적인 역할은 공식적인 고영향 범주 밖에 놓일 수 있다.

그럼에도 공식 분류가 낮다고 해서 공공 책무성 위험까지 낮다는 뜻은 아니다. FOIA는 행정부 기관을 검토하는 주요 법적 장치 중 하나다. 검색이나 가림 처리 방식을 바꾸는 도구는 언론인, 소송 당사자, 연구자, 시민이 정부 활동에 관해 알게 되는 내용을 형성할 수 있다.

DHS의 설명 사이의 불일치는 주목할 만하다. 일반 상용 목록은 RelativityOne을 지식 검색 시스템으로 분류한다. CBP의 privacy analysis는 검토자로부터 학습하고 관련성에 따라 문서를 독립적으로 태그하는 기능을 설명한다.

두 설명은 모두 기술적으로 정확할 수 있다. 지식 검색에는 문서의 탐색과 분류가 포함된다. 그러나 더 포괄적인 명칭은 기록을 추가 검토에서 제외하는 일이 갖는 중요성을 전달하지 못한다.

Cato Institute의 선임 연구원 Patrick Eddington은 이러한 차이가 더 면밀한 검토를 정당화할 가능성이 가장 높은 기능을 가린다고 주장했다. 그의 비판은 목록 설계의 문제를 지적한다. 일반적인 범주는 운영상 결정을 설명하지 않으면서도 공개 요건을 충족할 수 있다.

DHS는 각 도구가 각 단계에서 수행하는 역할을 공개해야 한다. 설명은 검색, 우선순위 지정, 응답성 분류, 가림 처리 권고, 최종 승인, 품질 보증을 구분해야 한다. 이러한 기능을 “처리”라는 말로 묶으면 의미 있는 평가가 불가능해진다.

부처는 인간 검토의 기준도 설명해야 한다. 관련 없음 태그는 모두 검증되는가, 아니면 일부 표본만 검증되는가? 소프트웨어가 한 줄씩 승인받지 않은 가림 처리 문서를 공개할 수 있는가? 모델이 낮은 신뢰도를 표시하면 어떻게 되는가?

감사 기록도 빠진 부분이다. 방어 가능한 시스템은 모델 버전, 입력 자료 집합, 분류 결과, 검토자 변경 사항, 최종 결과를 보존해야 한다. 이러한 기록은 DHS가 오류를 조사하고 행정 이의 신청이나 소송에 대응하는 데 도움이 될 것이다.

이의 제기 절차는 자동화된 지원을 고려해야 한다. 불충분한 검색에 이의를 제기하는 요청자는 기관이 기계 학습을 사용했는지 알 필요가 있다. 그 검색의 적정성을 검토하는 법원에는 시스템이 어떻게 구성되고 감독됐는지에 관한 증거가 필요하다.

조달은 추가적인 불확실성을 낳는다. DHS는 AI 기능을 갖춘 맞춤형 FOIA 소프트웨어 계약을 Deloitte에 수여할 의향이 있다는 공고를 게시했다. 의향 공고는 부처가 계획한 구매 경로를 나타낼 뿐, 완료된 배치나 측정된 성능의 증거는 아니다.

계획된 소프트웨어는 약 40개 공급업체가 참여한 연방 FOIA 기술 쇼케이스를 뒤따른다. 행사 요약에 따르면 거의 85%가 AI 기능을 강조했다. 여기에는 오디오 마스킹, 가림 처리, 관련성 스캔, 필드 입력, 대국민 챗봇이 포함됐다.

공급업체의 관심은 DHS에 선택지가 있음을 보여 준다. 그러한 도구들이 공통의 정확성, 보안 또는 설명 가능성 기준을 충족한다는 뜻은 아니다. 제품 시연은 분쟁이 있는 요청에서 나타나는 문서 품질과 법적 모호성을 재현하는 경우가 드물다.

계약 조건은 보호장치를 집행 가능한 요건으로 바꿀 수 있다. DHS는 대표성 있는 기록을 통한 테스트, 모델 변경 공개, 사고 보고, 감사 로그 보존, 접근성, 정부 데이터의 2차 사용 제한을 요구할 수 있다.

부처는 더 광범위한 배치에 앞서 독립적인 평가를 요구할 수도 있다. 테스트에는 시민자유 전문가, 경험 많은 FOIA 전문가, 기록 담당자, 보안 인력, 자주 요청하는 이용자 대표가 참여해야 한다.

이러한 세부 사항이 없다면, 대중은 짧은 목록 설명과 조달 공고를 바탕으로 보호장치를 추정해야 한다. 이는 투명성 법률을 지원하도록 설계된 시스템에 충분하지 않다.

AI FOIA 가림 처리에는 측정 가능한 인간 감독이 필요하다

인간 검토는 사람들이 시스템의 실수를 포착하는지 DHS가 측정할 때에만 신뢰성을 갖는다.

기관들은 흔히 사람이 여전히 절차에 관여한다고 말하며 AI 우려에 답한다. 이 표현은 안심시키는 듯하지만, 매우 다양한 운영 모델을 설명한다. 검토자는 모든 문서를 검토할 수도 있고, 작은 표본만 확인할 수도 있으며, 시스템이 불확실성을 표시한 뒤에만 개입할 수도 있다.

DHS는 각 기능의 검토 모델을 정의해야 한다. 행정 자동화는 정기적인 품질 점검과 함께 운영될 수 있다. 응답성 분류는 거짓 음성이 기록을 숨길 수 있으므로 더 강한 검증이 필요하다. 가림 처리 제안은 공개 전에 법적 검토를 거쳐야 한다.

표본 추출은 품질 보증에 도움이 될 수 있지만, 표본은 위험을 반영해야 한다. 무작위 점검은 중요한 응답성 자료가 포함된 드문 문서를 놓칠 수 있다. DHS는 낮은 신뢰도 예측, 이례적 형식, 민감한 주제, 광범위한 공익이 관련된 사례를 과표집해야 한다.

기관에는 기준선도 필요하다. 보조 검토를 확립된 인간 절차와 비교하지 않고서는 개선을 입증할 수 없다. 지표에는 처리 시간, 검토자 업무량, 누락 기록, 번복된 가림 처리, 이의 제기 결과, 소송 판단이 포함돼야 한다.

속도만으로는 오해를 부르는 결과가 된다. 더 많은 문서를 제외해 사건을 더 빨리 종결하는 시스템은 공개를 줄이면서도 효율적으로 보일 수 있다. DHS에는 적시성과 완전성을 모두 보여 주는 짝지어진 지표가 필요하다.

가림 처리의 정확성을 평가하려면 페이지의 검은 상자 수를 세는 것 이상이 필요하다. 부처는 각각의 비공개 처분에 유효한 면제 사유가 있는지, 면제 대상이 아닌 정보가 합리적으로 분리됐는지, 기관이 예견 가능한 피해 기준을 적용했는지 검토해야 한다.

검토자 행동도 측정해야 한다. 자동화 편향은 사람들이 시스템의 제안에 과도한 비중을 둘 때 발생한다. 검토자가 높은 업무량에 직면하거나 소프트웨어가 이미 어려운 분석을 끝냈다고 가정할 때 이 편향은 커질 수 있다.

인터페이스 설계는 이러한 위험을 줄일 수 있다. 시스템은 자신의 답을 확정된 것으로 제시하지 않으면서 근거 텍스트와 신뢰도 정보를 보여 줘야 한다. 검토자는 민감한 권고를 수용하거나 거부한 이유를 기록해야 한다.

교육도 마찬가지로 중요하다. 직원들은 모델이 무엇을 평가하는지, 어디서 성능이 떨어지는지, 원본 자료의 변화가 결과에 어떤 영향을 주는지 이해해야 한다. 법률 교육만으로는 기계 학습의 실패 양상을 설명할 수 없다.

DHS는 2024년 FOIA 처리 센터의 직원 약 500명을 가상 교육 프로그램에 초대했다. 세션에는 FOIA 처리에서의 AI와 기계 학습에 관한 논의가 포함됐다. 이는 유용한 출발점이지만, 배치에는 지속적이고 도구별로 특화된 준비가 필요하다.

독립적 감독은 통제 장치가 운영 압박 속에서도 유지되는지 시험할 수 있다. 감찰관, National Archives의 FOIA 옴부즈맨, 의회 위원회, 법원은 모두 기관 투명성을 평가하는 데 서로 다른 역할을 한다.

요청자도 증거를 제공한다. 누락 기록, 일관성 없는 가림 처리, 비정상적으로 좁은 검색의 양상은 집계된 성능 데이터가 놓치는 문제를 드러낼 수 있다. DHS에는 이러한 불만을 시스템 평가와 연결하는 절차가 필요하다.

부처는 중대한 사고를 공개해야 한다. 모델이 응답성 기록을 누락하거나 보호 대상 정보를 노출하면 DHS는 범위, 시정 조치, 예방적 변경 사항을 문서화해야 한다. 하나의 요청만 조용히 수정하면 근본적인 위험은 그대로 남는다.

공개 보고를 위해 민감한 기록이나 독점 코드를 공개할 필요는 없다. DHS는 테스트 방법, 집계 결과, 검토 요건, 오류 범주를 공개할 수 있다. 이러한 공개는 운영상 비밀을 드러내지 않고도 외부인이 거버넌스를 평가할 수 있게 한다.

더 넓은 교훈은 FOIA를 넘어 적용된다. 기관은 자동화 뒤에 승인 단계를 두는 것만으로 숙련된 직원 감소를 보완할 수 없다. 의미 있는 감독에는 시간, 권한, 교육, 증거를 갖춘 사람이 필요하다.

세 가지 신호가 계획이 접근성을 개선하는지 보여 줄 것이다

다음 시험대는 DHS가 추가 AI 도구를 발표하는지가 아니라 운영상 증거를 공개하는지다.

첫 번째 신호는 더 상세한 AI 목록이다. DHS는 어떤 산하 기관이 각 시스템을 사용하는지, 어떤 처리 단계에 자동화가 적용되는지, 어떤 결정에 인간의 확인이 필요한지를 식별해야 한다. 또한 영향 분류의 근거도 설명해야 한다.

더 명확한 공개는 부처의 효율성 주장을 강화할 것이다. 이는 DHS가 저위험 사무 작업을 기록 접근에 영향을 미치는 결정과 분리했음을 보여 줄 것이다. “지식 검색”에 대한 또 하나의 일반적 설명은 신뢰를 약화시킬 것이다.

두 번째 신호는 Deloitte 조달과 그에 따른 업무 지시서의 구조다. procurement notice는 정확도 테스트, 감사 추적, 인간 검토, 모델 변경, 데이터 보호, 사고 보고를 포괄하는 요건으로 이어져야 한다.

측정 가능한 통제 장치를 담은 계약은 공개 약속을 공급업체의 의무로 바꿀 것이다. 주로 처리량과 배치 속도에 초점을 둔 계약은 위험을 FOIA 직원과 요청자에게 전가할 것이다.

세 번째 신호는 향후 보고 주기 동안의 성과다. DHS는 처리 품질이 안정적으로 유지되는 가운데 계류 중인 목록이 245,572건에서 감소하는지 공개해야 한다. 이의 제기 번복, 소송 판단, 입증된 검색 불만은 종결 건수에 대한 중요한 균형 지표가 될 수 있다.

더 작은 적체는 자동화가 접근성을 개선할 때에만 DHS의 주장을 뒷받침할 것이다. 더 광범위한 가림 처리나 누락 기록을 수반한 더 빠른 응답은 더 강한 투명성 없는 행정적 진전을 의미할 것이다.

대중은 인력 현황도 주시해야 한다. FOIA 옴부즈맨 보고서는 AI 도입이 연방 기관 전반으로 확산하고 있음을 보여준다. 그러나 이 보고서가 소프트웨어가 숙련된 기록 관리 전문가를 대체할 수 있다는 점을 입증하는 것은 아니다.

전문 인력의 이탈이 계속될 경우, DHS는 자체 안전장치가 전제하는 수준의 검토를 제공하는 데 어려움을 겪을 수 있다. 반대로 부처가 숙련된 팀을 유지하고 자동화를 사전 준비와 우선순위 설정에 활용한다면, 이 도구들은 반복 업무를 안전하게 줄일 가능성이 더 커진다.

가장 신뢰할 만한 결과는 완전 자동화된 FOIA 사무소가 아닐 것이다. 더 많은 관련 기록을 찾아내고, 일상적인 처리 업무를 줄이며, 직원들이 법률 분석에 더 많은 시간을 할애할 수 있게 하는 시스템이 될 것이다. DHS는 이후 외부인이 그 결과를 검증할 수 있을 만큼 충분한 근거를 공개해야 한다.

FOIA 자동화는 이 기술이 투명성 절차 안에서 작동한다는 바로 그 이유로 면밀한 검토가 필요하다. 눈에 보이지 않는 오류 하나가 어떤 정부 활동이 계속 비공개로 남을지를 결정할 수 있다. 따라서 감사 가능성은 선택적 규정 준수 계층이 아니라 핵심 기능이다.

DHS는 이제 AI 지원 공공기록 처리의 실행 가능한 모델을 구축할 기회를 맞았다. 부처는 인간의 권한을 명확히 정의하고, 현실적인 실패 상황을 시험하며, 단순한 처리 속도를 넘어선 결과를 보고해야 한다.

배치가 확대됨에 따라 정보공개 청구자, 언론인, 감독 단체는 세 가지 질문을 던져야 한다. AI는 어떤 결정에 영향을 미치는가, 누가 그 결정을 검토하는가, 그리고 그 검토가 제대로 작동한다는 것을 보여주는 근거는 무엇인가? 그 답이 DHS가 지연을 줄일지, 아니면 비공개 결정을 자동화하는 데 그칠지를 결정할 것이다.