DHS AI FOIA 가림 처리는 속도를 약속하지만, 더 깊은 비밀주의를 초래할 위험이 있다
DHS는 기계가 신뢰할 만한 공개 판단을 내릴 수 있다는 증거가 제한적인 상황에서도, 연간 10만~14만 건의 공개 기록 요청에 대한 가림 처리를 AI가 추천하도록 할 계획이다. DHS AI FOIA 가림 처리 이니셔티브는 처리 시간 단축을 약속한다. 그러나 과도한 비공개 처리를 더 빠르고 저렴하게 만들고, 청구인이 이의를 제기하기는 더 어렵게 만들 위험도 있다.
국토안보부는 기록이 기관을 떠나기 전에 직원들이 해당 추천을 검토할 것이라고 밝혔다. 정보자유법(FOIA)은 맥락에 기반한 법적 판단을 요구하기 때문에 이 안전장치는 중요하다. 모델은 이름이나 식별 번호를 인식할 수 있다. 그러나 정책 논의의 공개가 법적으로 인정되는 피해를 초래할지를 독립적으로 판단할 수는 없다.
이는 기술과 종이 기반 관료주의 사이의 경쟁이 아니다. 실제 충돌은 처리 효율성과 실질적인 공공 접근성 사이에 있다. 연방 기관들은 인간 검토자가 감당하기 어려운 규모의 기록 요청에 직면해 있다. 그럼에도 정부는 자동화된 추천이 법이 허용하는 경우 일관되게 공개에 유리하게 작동할 것임을 보여주지 못했다.
이 문제는 DHS에서 특히 큰 무게를 지닌다. 연방 가림 처리 계획에서 인용한 연방 데이터에 따르면, 이 부서는 2025 회계연도에 거의 100만 건의 요청을 처리했다. 이 가운데 가림 처리 없이 기록이 공개된 경우는 2.3%에 불과했다. 자동화가 이 업무량의 일부에만 영향을 미치더라도, 그 전제는 언론인, 연구자, 변호사, 일반 시민이 연방 정부 활동에 대해 알 수 있는 내용을 형성하게 된다.
DHS AI FOIA 가림 처리가 실제로 수행할 일
당장의 변화는 자율적인 검열이 아니라, 막대한 규모의 법적 검토 절차에 자동화된 추천이 들어오는 것이다.
DHS 산하 기관인 미국 관세국경보호청은 FOIA 처리 과정에서 Google의 인공지능 및 머신러닝 도구를 사용할 계획이다. 이 시스템은 비공개 대상이 될 수 있는 콘텐츠를 식별하고 정부 직원에게 가림 처리를 추천한다.
가림 처리는 일반적으로 텍스트, 이미지, 오디오 또는 비디오를 가려 기록 공개 전에 일부를 삭제하는 조치다. 기관은 정보가 FOIA 면제 조항에 해당하거나 다른 법률이 공개를 금지할 때 가림 처리를 적용한다. 흔한 사례로는 개인정보, 기밀 자료, 법 집행 정보, 그리고 특정 내부 심의 자료가 있다.
DHS의 설명에 따르면 자동화는 처리 시간을 줄여야 한다. 이 부서는 또한 직원이 각 사례를 검토하고, 청구인이 정확하고 완전한 정보를 받도록 할 것이라고 밝혔다. 이는 최종 결정의 책임이 인간에게 남아 있음을 시사한다.
그러나 계획된 규모는 그러한 검토의 실질적 의미를 바꾼다. DHS는 전체 접수 건수의 10%를 넘는 요청 범주에 AI를 적용할 것으로 예상한다. 부서는 그 범위를 약 10만~14만 건으로 추산한다.
기계의 제안을 검토하는 일은 반드시 새로 판단을 내리는 것과 같지 않다. 바쁜 직원은 모델이 강조 표시한 구절에서 시작해 이를 확인하는 데 집중할 수 있다. 이러한 업무 흐름은 체계적이거나 권위 있어 보인다는 이유로 시스템의 결과를 받아들이는 경향인 자동화 편향을 낳을 수 있다.
모델이 명백한 개인정보를 넘어설 때 이 차이는 결정적으로 중요해진다. 사회보장번호를 탐지하는 일은 비교적 안정적인 패턴을 따른다. 미완성 정책에 관한 이메일에 면제 조항을 적용하려면 문서의 작성자, 목적, 시점, 수신 대상, 그리고 최종 결정과의 관계를 이해해야 한다.
DHS는 시스템이 단순 패턴 매칭을 처리하는 경우와 이러한 맥락적 판단을 처리하는 경우가 각각 얼마나 되는지 공개적으로 밝히지 않았다. 종합적인 성능 결과, 오류율, 테스트 기록, 학습 사례 또는 재검토 비율도 공개하지 않았다.
다른 부처들도 실험 중이다. 내무부는 변호사-의뢰인 비밀보호 대상이 될 수 있는 자료를 찾기 위해 Microsoft 기술을 사용하는 것으로 알려졌다. 보건복지부는 대규모 문서 모음을 검토하고 가림 처리하는 개념검증 시스템을 설명했다. 법무부는 여러 산하기관이 이미 자동화된 검색 및 검토 기능을 사용한다고 밝혔다.
따라서 이 움직임은 DHS의 단일 도입을 넘어선다. 연방 기관들은 정부 기록과 이를 요청하는 사람들 사이에 기계 지원 계층을 구축하고 있다. 아직 해결되지 않은 문제는 이 계층이 검토자가 공개 가능한 정보를 찾도록 도울지, 아니면 더 많은 정보를 제거하도록 부추길지다.
이 불확실성은 운영 효율화 조치를 정부 투명성의 시험대로 바꾼다.
연방 기관들이 지금 FOIA를 자동화하는 이유
AI가 FOIA에 도입되는 이유는 요청량과 기록 규모가 많은 기관의 기존 검토 시스템 역량을 넘어섰기 때문이다.
FOIA는 대중에게 행정부 기관의 기록을 요청할 권리를 부여한다. 의회, 연방 법원, 또는 대통령에게 직접 자문하는 대부분의 기관은 대상이 아니다. 적용 대상인 각 기관은 관련 기록을 찾아 검토하고, 적법한 면제 조항을 적용하며, 합리적으로 분리 가능한 모든 비면제 자료를 공개해야 한다.
하나의 요청이 수천 건의 이메일, 첨부파일, 메시지, 동영상, 스프레드시트 및 스캔 문서를 포괄하면 이 과정은 느려진다. 검토자는 중복을 찾아내고, 관련 자료를 식별하며, 다른 부서와 협의하고, 정당한 비밀을 보호하면서 법적으로 공개할 수 있는 모든 내용을 보존해야 한다.
법무부의 연례 FOIA 데이터에 따르면, 연방 정부 전체 기관은 2025 회계연도에 사상 최대인 160만 건의 요청을 처리했다. 이는 전년보다 9% 증가한 수치다.
기술은 이 업무량의 여러 기계적 부분을 처리할 수 있다. 광학 문자 인식은 스캔된 페이지를 검색 가능한 텍스트로 바꾼다. 중복 제거는 반복된 이메일 스레드를 없앤다. 개체 인식은 이름, 전화번호, 주소 및 기타 반복적인 패턴을 찾아낸다. 분류 시스템은 요청과 관련 있어 보이는 문서의 우선순위를 정할 수 있다.
이러한 사용 사례의 위험은 동일하지 않다. 관련 기록을 찾기 위해 문서 모음을 검색하는 기능은 대안이 불완전한 수작업 검색이라면 접근성을 넓힐 수 있다. 언어를 자동으로 가리는 일은 공개되는 내용 자체에 영향을 미친다.
연방 관리들은 수년간 이 구분을 검토해 왔다. 2026년 5월, 최고 FOIA 책임자 협의회, 국립문서기록관리청의 정부정보서비스국, 법무부는 세 번째 NexGen FOIA Tech Showcase를 개최했다.
정부의 기술 쇼케이스는 전자증거개시, 사건 처리, 접근 가능한 공개 자료, 공개 열람실 및 자동 가림 처리를 위한 도구를 찾았다. 제안된 시스템은 종이 파일, 디지털 콘텐츠, 비디오, 오디오 및 구조화된 데이터를 포괄했다.
이 행사는 2022년과 2024년에 열린 유사한 쇼케이스를 이은 것이다. 또한 기관들이 AI 지원 처리에 관한 업계 정보를 구하도록 권고한 연방 FOIA 자문위원회의 권고도 반영했다.
도입은 여전히 제한적이지만 증가하고 있다. 국립문서기록관리청의 최신 FOIA 평가에 따르면, 응답한 연방 기관의 20.6%가 2025년에 기록 검색이나 정리를 돕기 위해 AI 또는 머신러닝을 사용했다. 이는 이전 평가의 18.6%에서 상승한 수치다.
같은 보고서는 FOIA 검색에 전자증거개시 도구를 사용한 기관이 80%였다고 밝혔다. 2020년에는 72%였다. 이 수치는 생성형 AI가 지배적인 기술 화두가 되기 전부터 기관들이 문서 업무를 자동화하고 있었음을 보여준다.
적체 문제는 현실적이다. 지연된 접근은 정확한 정보조차 쓸모없게 만들 수 있다. 선거, 법정 분쟁, 정책 논쟁 또는 공공 비상사태 이후에 공개된 기록은 책임성 확보에 기여하기에는 너무 늦을 수 있다.
따라서 자동화는 직원이 문서를 찾고, 중복을 제거하거나, 명백히 보호해야 하는 개인정보를 식별하도록 도울 때 개방성을 증진할 수 있다. 더 빠른 처리는 결코 공허한 이점이 아니다.
위험은 기관들이 속도를 성공의 주요 척도로 취급할 때 나타난다. 종결된 요청이 반드시 충족된 요청을 의미하지는 않는다. 불필요한 검은 가림으로 가득한 신속한 응답은 더 느리지만 신중하게 검토된 공개보다 공공에 더 적은 가치를 제공할 수 있다.
그렇기 때문에 핵심 성과 질문은 시스템이 시간당 몇 페이지를 처리하는지가 될 수 없다. 어느 수준의 인간 검토를 거쳐, 얼마나 많은 오류와 함께, 얼마나 많은 적법한 정보가 대중에게 전달되는지가 되어야 한다.
효율성 약속이 공개 문제와 만날 때
유효한 가림 처리를 가속할 수 있는 동일한 시스템은 정부가 이미 지나치게 많은 정보를 비공개로 유지하는 경향도 확대할 수 있다.
DHS는 2025 회계연도에 994,992건의 FOIA 요청을 처리했다. 완료된 사례 가운데 가림 처리 없이 기록을 공개한 비율은 2.3%에 불과했다. 약 40%는 일부가 가려진 형태로 공개됐다.
나머지 요청은 여러 이유로 종결됐다. 일부는 법정 면제 조항에 따라 전면 거부됐다. 많은 경우 부서는 관련 기록을 찾지 못했다고 밝혔다. 다른 요청은 철회되거나 다른 곳으로 이관됐으며, 절차상 이유로 종결되기도 했다.
이 범주들이 부정행위를 입증하는 것은 아니다. DHS는 이민, 국경 단속, 사이버보안, 비상 관리, 교통 보안 및 경호 업무를 다룬다. 해당 부서의 기록에는 개인정보와 법 집행 또는 국가안보에 연관된 정보가 일상적으로 포함된다.
그럼에도 기준선은 중요하다. DHS는 광범위하고 가림 없는 공개로 알려진 시스템에 자동화된 추천을 도입하는 것이 아니다. 이미 전면 공개가 드문 시스템에 이를 도입하고 있다.
AI는 이 시스템을 어느 방향으로든 움직일 수 있다. 잘 설계된 모델은 직원이 보호 대상인 이름을 분리하면서 문단의 나머지를 공개하도록 도울 수 있다. 이는 면제 정보를 대중이 받을 수 있는 자료와 분리하라는 법의 요건을 뒷받침한다.
조정이 부실한 모델은 한 문장이 보호 대상 언어와 유사하다는 이유로 문단 전체를 표시할 수 있다. 직원이 이 추천을 받아들인다면 시스템은 잠재적으로 민감한 텍스트와 함께 면제 대상이 아닌 맥락까지 숨기게 된다.
모델은 또한 두 가지 서로 다른 오류를 낸다. 거짓 음성은 보호해야 할 정보를 놓쳐 사적 정보나 기밀 자료를 노출할 수 있다. 거짓 양성은 적법한 정보를 제거 대상으로 표시한다.
정부의 유인은 이러한 오류를 동등하게 다루지 않는다. 우발적인 공개는 즉각적인 보안 사고, 개인정보 민원 또는 징계 문제를 초래할 수 있다. 불필요한 가림 처리는 일반적으로 청구인에게 부담을 지우며, 청구인은 이에 이의를 제기하려면 행정심판을 청구하거나 소송을 제기해야 한다.
이 불균형은 보수적인 설정을 부추긴다. 우발적 공개를 피하도록 최적화된 시스템은 더 많은 자료를 표시할 가능성이 크다. 시간 압박 속에서 일하는 인간 검토자는 비공개가 제도적으로 더 안전하다고 느끼기 때문에 이러한 제안을 승인할 수 있다.
그 결과 비밀주의 쪽으로의 톱니바퀴 효과가 나타날 수 있다. 각 모델 추천은 그 자체로 신중해 보인다. 그러나 수십만 건의 요청에 걸쳐 누적된 효과는, 더 숙고된 검토라면 공개됐을 상당한 양의 정보를 제거할 수 있다.
자동화는 일관성을 가능하게 하지만, 일관성이 곧 공정성을 뜻하는 것은 아니다. 모델은 기관 전체에 걸쳐 법률을 좁게 해석하는 방식을 적용할 수 있다. 또한 설정이나 학습에 사용된 기록 속 일관되지 않은 결정을 그대로 재현할 수도 있다.
FOIA 결정은 종종 기관의 역사에 좌우된다. 과거 검토자들이 특정 유형의 논의를 정기적으로 비공개 처리했다면, 그들의 작업을 학습한 시스템은 그러한 관행을 정상적인 답변으로 제시할 수 있다. 모델은 이전 결정이 신중한 법률 분석, 시대에 뒤떨어진 지침, 또는 습관적인 과잉 비공개 처리 중 무엇을 반영했는지 알지 못한다.
이는 피드백 루프를 만든다. 과거의 비공개 결정은 자동화된 권고에 영향을 미친다. 검토자들은 그 권고를 수용한다. 그러면 승인된 결과물은 미래의 자동화 결정들을 뒷받침하는 증거가 된다.
정부가 이 순환을 끊을 수 있는 방법은 의도적인 평가뿐이다. 기관에는 면제 대상 자료와 공개 가능한 자료가 모두 포함된 시험용 자료 모음이 필요하다. 독립 검토자들은 거짓 양성, 거짓 음성, 그리고 유효한 가림 처리 주변에서 사라진 비면제 텍스트의 양을 측정해야 한다.
재정의 데이터도 중요하다. 직원들이 모델의 제안을 거의 거부하지 않는다면 감독은 명목상에 그칠 수 있다. 검토자들이 가림 처리를 자주 추가하거나 제거한다면, 시스템은 약속한 만큼의 노동력을 절감하지 못하고 있을 수 있다.
DHS는 인간이 계속 관여할 것이라고 밝혔다. 그러나 그 관여가 독립적이고, 충분한 인력을 갖추며, 문서화되고, 품질 점검의 대상이 되는지는 아직 보여주지 않았다. 이러한 세부 사항이 공개되기 전까지 효율성 주장은 불완전하다.
AI는 패턴만으로 예견 가능한 피해를 판단할 수 없다
모델은 언어 패턴을 감지할 수 있지만, FOIA는 기관이 각각의 비공개 결정과 구체적이고 합리적으로 예견 가능한 피해를 연결하도록 요구한다.
의회는 2016년 FOIA 개선법을 통해 이 요건을 강화했다. 기관은 일반적으로 공개가 면제 조항으로 보호되는 이익을 해칠 것이라고 합리적으로 예견할 수 있을 때에만 면제 정보를 비공개로 할 수 있다. 다른 법률이 공개를 금지하는 경우에도 정보를 비공개로 할 수 있다.
예견 가능한 피해 기준은 기관이 기술적으로 적용 가능한 모든 면제 조항을 자동적인 명령처럼 취급하지 못하게 한다. 문서는 면제 조항의 범위에 들어갈 수 있지만, 비밀로 유지할 실질적인 이유가 여전히 없을 수 있다.
법무부의 공개 지침은 기관에 맥락을 고려하라고 안내한다. 관련 요소에는 기록의 연령, 과거의 공식 공개, 민감성, 목적 등이 포함될 수 있다. 예상되는 피해가 불분명할 경우 기관은 해당 내용을 잘 아는 직원과 협의해야 한다.
이 작업은 개체 탐지와 근본적으로 다르다. 모델은 개인의 이름을 찾을 수 있다. 하지만 그 이름만으로 공개가 사생활을 침해하는지, 기밀 정보원을 식별하는지, 공무 수행을 드러내는지, 또는 이미 공개된 정보를 반복하는지를 판단할 수는 없다.
동일한 과제는 심의 과정 특권에도 적용된다. 이 보호는 기관 내 협의를 반영하는 특정한 결정 전 의사소통에 적용될 수 있다. 그러나 기관이 모든 초안, 권고안, 내부 이메일을 숨길 수 있게 하지는 않는다.
연구자들은 이 문제에 머신러닝을 적용해 시험했다. Jason R. Baron, Mahmoud F. Sayed, Douglas W. Oard는 클린턴 대통령 기록의 자료를 수집하고, 심의적 성격을 띨 가능성이 있는 구절을 식별하도록 분류기를 학습시켰다.
그들의 머신러닝 연구는 학습과 평가가 일관된 검토자 해석을 따를 때 시스템 성능이 가장 좋았다고 밝혔다. 검토자, 기록 관리 주체 또는 주제가 바뀌면 성능은 약화됐다.
이후 공개 논의에서 Baron은 이 방법들이 심의 과정 특권과 관련된 자료를 구분하는 데 약 70%의 정확도를 보였다고 설명했다. 일관된 조건에서 발표된 결과는 F1 측정치가 70~83%라고 보고했다. F1 점수는 모델이 관련 구절을 얼마나 많이 찾는지와 양성 분류가 얼마나 자주 정확한지를 결합한 지표다.
이 결과는 분류 우선순위 설정에 유용하다. 그러나 감독 없는 법률 결정을 뒷받침하기에는 충분히 강하지 않다. 성능이 70%라면 상당한 비율의 구절이 잘못 분류된다.
이 연구는 더 깊은 문제도 드러낸다. 인간 검토자들은 동일한 언어가 비공개 처리 대상인지에 대해 항상 합의하지는 않는다. 한 검토자의 해석으로 학습된 시스템은 다른 검토자가 법을 다르게 적용할 때 어려움을 겪을 수 있다.
이 불일치는 단순한 기술적 잡음이 아니다. 이는 FOIA의 맥락적 성격을 반영한다. 법률적 판단은 기록이 무엇을 의미하는지, 정부가 이미 무엇을 공개했는지, 공개로 인해 어떤 구체적 피해가 발생하는지에 달려 있다.
따라서 DHS에는 자동화 파이프라인 끝에 배치된 인간 한 명 이상이 필요하다. 실질적인 검토를 위해서는 모델의 권고를 거부할 충분한 시간, 권한, 정보가 필요하다. 직원은 더 좁은 범위의 가림 처리가 정당한 이익을 보호할 수 있는지도 검토해야 한다.
기관은 모든 자동화 제안에 대한 감사 추적 기록을 보존해야 한다. 이 기록은 시스템이 어떤 구절을 표시했는지, 어떤 면제 조항과 연결했는지, 직원이 무엇을 변경했는지, 최종 결정이 왜 예견 가능한 피해 요건을 충족했는지를 식별해야 한다.
청구인은 민감한 학습 데이터나 시스템 보안 세부 사항에 접근할 필요는 없다. 그러나 자동화 도구가 자신의 기록에 어떤 영향을 미쳤는지 이해 가능한 정보를 받을 필요는 있다. 이러한 가시성이 없다면 청구인은 변호사의 판단과 모델 지원 기본값을 구분할 수 없으므로 이의 제기가 더 어려워진다.
인간이 승인 버튼을 눌렀다는 이유만으로 블랙박스 권고가 문서 위의 블랙박스가 되어서는 안 된다.
인간 검토는 결과를 바꿀 때에만 안전장치가 된다
“휴먼 인 더 루프”라는 표현은 기관이 사람들이 실제로 자동화 권고에 의문을 제기하는지를 측정하지 않는 한 거의 보호 기능을 제공하지 않는다.
DHS는 직원들이 AI 지원 사례를 검토할 것이라고 말한다. 연방 FOIA 옴부즈 사무소 역시 AI와 머신러닝이 면제 조항 및 예견 가능한 피해에 관한 전문적 판단을 대체할 수 없다고 경고한다.
이는 올바른 공식 입장이다. 그 효과는 업무 흐름 설계에 달려 있다.
검토자가 제안된 표시가 나타나기 전에 완전한 문서를 본다면, 독립적인 판단을 형성할 수 있다. 시스템이 이미 제안된 가림 처리로 뒤덮인 페이지를 제시한다면, 그 표시는 기준점이 된다. 검토자는 가림 처리를 추가할지 결정하는 대신 보호 조치를 제거하는 이유를 정당화해야 한다.
그 차이는 절차적인 것으로 보일 수 있지만, 의심이 향하는 방향을 바꾼다. 첫 번째 업무 흐름에서는 불확실성이 공개에 유리하게 작용할 수 있다. 두 번째에서는 불확실성이 모델의 블랙박스를 유지하는 방향으로 작용한다.
인력도 또 다른 제약을 만든다. 기관은 업무량을 처리할 인력이 충분하지 않기 때문에 자동화를 도입할 수 있다. 같은 인력 부족으로 검토자에게 각 결과를 살필 시간이 몇 분밖에 주어지지 않는다면, 형식적인 인간 승인은 처리량 점검 단계가 된다.
성과 목표는 이러한 압박을 증폭시킬 수 있다. 관리자는 종결된 청구 건수, 처리된 페이지 수, 또는 적체 감소를 측정할 수 있다. 이런 수치는 세기 쉽다. 신중한 검토를 통해 보존된 비면제 정보의 양은 관찰하기가 더 어렵다.
효과적인 감독 프로그램은 여러 지표를 활용할 것이다. 기관은 머신 지원 결정과 독립 검토 표본을 비교해야 한다. 직원들이 제안된 가림 처리를 얼마나 자주 제거하거나 축소하는지, 또는 시스템이 놓친 보호 조치를 추가하는지를 추적해야 한다.
또한 문서 유형별 결과도 시험해야 한다. 표준화된 양식에서 여권 번호를 안정적으로 감지하는 도구는 정책 이메일, 손글씨 메모, 스프레드시트, 녹음된 인터뷰 또는 역사적 문서에서는 성능이 떨어질 수 있다.
시험에는 두 오류 유형의 결과가 모두 포함되어야 한다. 거짓 음성은 보호 대상 정보를 노출할 수 있다. 거짓 양성은 대중의 접근을 막을 수 있다. 사생활 및 보안 오류만을 유일하게 의미 있는 실패로 취급하면 평가 과정에 과잉 가림 처리가 내재된다.
기관은 집계 결과를 공개해야 한다. 유용한 공개 정보에는 AI로 처리된 청구 건수, 관련 면제 조항, 표본 오류율, 검토자 재정의율, 처리 시간 변화가 포함될 것이다.
공개 보고는 개별 청구의 민감한 내용을 드러내지 않는다. 대신 도구가 보조 역할을 하는지, 아니면 공개적으로 인정되지 않은 의사결정자인지를 확인할 수 있게 한다.
이의 제기는 또 다른 증거 원천이 된다. AI 지원 사례에서 성공적인 행정 이의 제기가 더 많이 발생한다면, 이는 시스템 또는 검토 절차가 지나치게 광범위하게 비공개 처리하고 있음을 시사할 것이다. 기관은 이러한 결과를 전통적 방식으로 검토된 사례와 비교해야 한다.
법원도 결국 역할을 하게 될 것이다. FOIA 소송에서는 기관이 진술서 또는 Vaughn index, 즉 비공개 자료를 주장된 면제 조항과 연결하는 문서를 통해 가림 처리의 근거를 설명해야 하는 경우가 많다. 자동화 도구가 이러한 법적 부담을 줄여주지는 않는다.
기관이 모델을 일반적으로 언급하지 않고는 공개가 왜 피해를 초래하는지 설명할 수 없다면, 그 정당화는 실패해야 한다. 어떤 공급업체가 소프트웨어를 제공했든 최종 결정에 대한 책임은 정부에 남는다.
따라서 공급업체 감독은 공공 책임성의 일부다. 계약은 정부의 시험을 허용하고, 로그를 보존하며, 모델 변경을 문서화하고, 민감한 기록이 무관한 학습에 재사용되지 않도록 해야 한다. 기관은 시스템이 운영에 들어간 후 업데이트가 행동을 바꾸는지도 이해해야 한다.
정부 AI 가림 처리의 가장 강력한 형태는 직원들이 잠재적 민감 정보를 찾도록 돕는 동시에 독립적인 법률 판단을 보존하는 것이다. 가장 취약한 형태는 끝에 인간 서명을 붙인 과잉 가림 처리를 반복 가능한 업무 흐름으로 바꾸는 것이다.
DHS는 첫 번째 형태를 설명했다. 그것이 두 번째 형태와 다르다는 것을 구분할 증거는 아직 공개되지 않았다.
시스템이 공개성에 기여하는지 보여줄 세 가지 신호
다음 시험은 DHS가 AI를 배포하는지 여부가 아니라, 보호 대상 자료를 노출하지 않으면서 기술이 더 많은 적법한 정보를 공개한다는 점을 부처가 입증하는지 여부다.
첫 번째 신호는 운영 투명성이다. DHS는 어떤 청구 범주가 자동화 권고를 사용하는지, 어떤 모델이 작업을 수행하는지, 어떤 면제 조항을 지원하는지 명확히 설명해 공개해야 한다.
이 설명은 기본적인 패턴 인식과 맥락적 법률 분류를 구분해야 한다. 식별 번호를 찾는 것은 내부 정책 논의를 평가하는 것과 다른 위험을 수반한다. 이를 하나의 “AI” 라벨 아래 결합하면 의미 있는 검토가 불가능해진다.
부처는 집계된 성능 지표도 공개해야 한다. 거짓 양성률은 시스템이 공개 가능한 자료를 숨기도록 권고하는 빈도를 보여준다. 거짓 음성률은 시스템이 보호 대상 정보를 얼마나 자주 놓치는지를 나타낸다.
검토자 재정의율은 인간이 독립적인 판단을 행사하는지를 드러낼 것이다. 재정의율이 0에 가깝다면 도구가 매우 정확하다는 뜻일 수 있다. 그러나 더 가능성 높은 해석은 자동화 편향, 제한된 검토 시간, 또는 직원들이 제안을 바꾸지 못하게 하는 유인에 대한 의문을 제기하는 것이다.
두 번째 신호는 공개된 기록의 품질이다. 처리 시간은 줄어야 하지만 공개 범위가 축소되어서는 안 된다. 연구자들은 배포 전후의 전면 공개, 부분 공개, 완전 거부 비율을 비교할 수 있다.
이 범주들은 완벽하지 않다. 삭제된 단어 하나와 블랙박스로 뒤덮인 열 페이지는 모두 부분 공개로 집계될 수 있다. 따라서 DHS는 대표적인 문서 표본 내에서 공개된 대응 텍스트의 비율을 검토해야 한다.
행정 이의 제기는 또 다른 측정 수단이 될 것이다. 머신 지원 가림 처리와 관련된 성공적인 이의 제기가 증가한다면 부처의 주장은 약화될 것이다. 지연 시간이 줄어드는 동시에 공개 결과가 안정적으로 유지되거나 개선된다면, 이는 효율성 주장을 뒷받침할 것이다.
세 번째 신호는 집행 가능한 책임성이다. 청구인은 자동화가 응답에 실질적으로 영향을 미친 시점을 알아야 한다. 기관의 이의신청 담당자와 법원은 각 권고가 최종 결정에 어떻게 반영됐는지 보여주는 기록을 필요로 한다.
의회, 감찰관, 국립기록원은 모델이 특정 구절을 표시한 뒤 DHS가 예견 가능한 피해 기준을 독립적으로 적용하는지 검토해야 한다. 또한 공급업체 통제, 데이터 보안, 모델 업데이트, 피드백 루프 방지 장치도 평가해야 한다.
이러한 보호장치 중 어느 것도 자동화를 거부할 필요는 없다. FOIA 담당 부서는 더 나은 검색, 중복 제거, 문서 변환 및 검토 도구가 필요하다. 법에 따라 공개할 수 있는 기록이 수년간 적체 상태로 방치된다면 공공 접근성은 개선되지 않는다.
그러나 더 빠른 비공개 처리는 더 빠른 공개와 같지 않다. 전자는 정보를 제거한다. 후자는 법이 허용하는 모든 정보에 대중이 적시에 접근할 수 있도록 한다.
이 구분은 DHS의 AI 기반 FOIA 비공개 처리에 대한 모든 평가를 이끌어야 한다. 부처는 감사 방법, 오류 측정치, 재검토 데이터, 그리고 처리 전후의 공개 결과를 공개함으로써 접근 방식을 검증할 수 있다.
언론인, 연구자, 변호사 및 기타 청구인은 처리 시간 단축만을 성공의 증거로 받아들이지 말고 이러한 지표를 주시해야 한다. 기관이 포괄적인 설명만 제시하거나 필요 이상으로 정보를 보류하는 것으로 보일 때에는 행정 이의신청도 활용해야 한다.
AI는 공개 정보와 보호 정보 사이의 경계를 찾는 데 도움을 줄 수 있다. 그러나 그 경계를 은밀히 비밀주의 쪽으로 옮겨서는 안 된다. 결정적인 질문은 간단하다. DHS가 절차를 가속한 뒤, 미국인들은 더 유용한 정보를 받게 될까, 아니면 검게 가려진 페이지를 더 빨리 받게 될 뿐일까?
