OpenAI NYC Council 청문회, AI 연구소들에 선서 증언 요구

OpenAI는 의원들이 소환장을 경고한 뒤에야 대부분 출석에 동의한 세 경쟁사와 함께 선서 하에 NYC Council 청문회에 참석한다. 10월 5일 열리는 이번 회의에는 Anthropic, Google, Meta, OpenAI가 시의원 51명 전원 앞에 선다. 고도화된 AI가 인간의 통제를 벗어날 수 있다고 공개 경고한 전 Anthropic 연구원 Jacob Coxon도 증언할 것으로 예상된다.

OpenAI NYC Council 청문회는 단순한 정책 토론회가 아니다. 시의원들은 외부 모델 검증을 의무화하고, 내부고발자에게 보상하며, 예견 가능한 피해에 대한 책임을 만들고, 신속한 사고 보고를 요구할 수 있는 제안을 검토하고 있다. 이러한 조치는 포괄적인 안전 약속을 기업, 검증기관, 배포자가 문서화해야 할 수도 있는 의무로 바꾸게 된다.

핵심 갈등은 책임성과 자율 거버넌스 사이에 있다. AI 기업들은 안전 프레임워크를 공개하고 내부 테스트 의무를 받아들여 왔다. 이제 New York City 의원들은 독립적인 증거, 법적 구제수단, 그리고 공식 기록에 남는 증언을 원한다. 이번 청문회는 주요 연구소들이 자체 평가자가 아닌 선출직 공직자의 질문에 직면했을 때 위험 통제를 방어할 수 있는지 시험하게 될 것이다.

OpenAI NYC Council 청문회의 더 넓은 표적

이번 청문회는 AI 안전을 기업 정책 문서의 영역에서 선서한 공개 증언의 영역으로 옮긴다.

New York City Council은 10월 5일 오전 11시 City Hall에서 Committee of the Whole 청문회를 열기로 했다. Committee of the Whole는 사안을 하나의 상임위원회에 맡기는 대신 Council 전체가 함께 모이는 방식이다.

Council은 이번 회의를 인공지능이 제기하는 위험을 검토하는 자리라고 설명한다. 청문회 의제에는 감독 안건 하나와 입법 제안 아홉 건이 담겨 있다. 이 제안들은 모델 검증, 내부고발자, 챗봇 개인정보 보호, 사고 보고, 책임, 비상 계획, 광고 주장 등을 다룬다.

Meta는 Council이 강제 절차를 예고하기 전에 고위 대표를 보내기로 약속했다. OpenAI와 Google은 소환장 경고 이후 참여에 동의했다. Anthropic은 처음에는 거절했지만, 예고된 기한 직전에 참석을 확정했다.

Council은 이번이 AI 위험과 가능한 입법 대응에 관해 네 기업으로부터 받는 최초의 선서 공개 증언이 될 것이라고 밝혔다. 이 설명은 중요하다. 이는 Council의 설명이며, 청문회는 아직 각 기업이 무엇을 인정하고, 반박하며, 공식 기록에 남길지를 확정하지 않았다.

초청받은 기업들은 최고경영자를 보낼 것으로 예상되지 않는다. Bloomberg는 정책 및 안전 담당 임원들이 연구소를 대표할 것이라고 보도했다. 이들의 신원, 권한, 기술적 질문에 답하려는 의지는 청문회의 가치를 좌우할 것이다.

SpaceXAI도 Council의 최초 초청에 응답하지 않으면서 분쟁의 일부가 됐다. Julie Menin 의장은 Council의 조사 권한에 따라 소환장을 발부했다. Council은 해당 기업이 응하지 않을 경우 New York State Supreme Court에 집행을 요청할 수 있다고 밝혔다.

이후 한 지역 보도는 SpaceXAI가 참여할 것으로 예상된다고 전했다. 이 संभाव성 있는 추가 참여는 기업 명단을 넓히지만, 핵심 대립을 바꾸지는 않는다. 의원들은 최전선 AI 개발사들이 통제된 시연 밖에서도 안전장치가 작동한다는 점을 보여줄 수 있는지 알고 싶어 한다.

Coxon은 다른 종류의 증언을 제시한다. 그의 퇴사 관련 보도에 따르면, 그는 이전에 OpenAI와 Anthropic에서 사전학습 연구를 수행했다. 사전학습은 모델이 이후 정제에 앞서 방대한 데이터셋으로부터 패턴을 학습하는 대규모 과정이다.

그는 9월 Anthropic을 떠난 뒤 주요 연구소들이 용납할 수 없는 위험을 감수하고 있다고 비판했다. 그의 증언에 관한 보도에 따르면, Coxon은 고도화된 시스템을 개발하는 사람들이 AI가 이번 10년이 끝나기 전에 인류를 멸종시킬 수 있다고 믿는다고 말했다.

이는 확립된 전망이 아니라 이례적인 주장이다. Reuters 역시 Coxon의 출석 계획에 관한 Bloomberg 보도를 독립적으로 확인할 수 없었다고 전했다. Council은 더 광범위한 청문회를 조직한 이유를 설명하면서 별도로 그의 사임을 언급했다.

보도에 따르면 Coxon은 전 Google DeepMind 연구원 Alex Turner, 그리고 AI Futures Project를 이끄는 전 OpenAI 연구원 Daniel Kokotajlo와 함께 출석한다. 이들의 존재는 기업 증인만으로 구성된 청문회보다 회의를 더 대립적으로 만들 수 있다.

기업 대표들은 평가, 배포 통제, 사고 절차를 설명할 가능성이 높다. 전직 내부자들은 이러한 안전장치가 연구소들이 경쟁적으로 구축하는 시스템을 제대로 다루는지 문제를 제기할 수 있다. 시의원들은 이후 동일한 공개 규칙 아래 두 설명을 비교할 수 있다.

그 비교가 즉각적인 변화다. AI 안전 논의에서는 기업의 보장과 비판자들의 경고가 종종 분리된다. New York City는 불완전한 검증이나 피할 수 있었던 피해에 결과를 부과하는 법안을 검토하면서, 이들을 한 회의장에 모으고 있다.

New York, 배포 전 증거 요구

가장 중대한 제안은 대상 AI 모델을 시에서 제공하거나 배포하기 위한 조건으로 독립 검증을 요구하게 된다.

의제에 T2026-2602로 등재된 Council의 제안은 제3자 검증 없이 New York City에서 AI 모델을 마케팅, 판매 또는 배포하는 것을 금지한다. 또한 인간 운영자가 모델을 종료할 수 있는 기술적 기능을 요구한다.

제3자 검증은 개발자의 평가에만 의존하지 않고 외부 평가자가 시스템을 살펴보는 것을 뜻한다. 이 제안은 과업 수행 능력, 차별적 영향, 개인정보 보호, 안전을 관련 영역으로 규정한다. 또한 검증기관에 인간 종료 기능이 실제로 작동하는지도 검토하도록 요구한다.

검증기관은 모델과 관련된 이해관계를 공개해야 한다. 또한 시스템이 검증됐는지 또는 배포 준비가 됐는지를 보고해야 한다. New York City Cyber Command는 이행 규칙과 검증기관 자격을 정하게 된다.

처벌 규정은 평가 관계의 양측 모두에 이해관계를 부여한다. 의제에 따르면 민사 벌금은 최대 $25,000에 이를 수 있으며, 필수 검증 없이 모델을 제공하거나 배포한 건별로 $25,000의 고정 벌금이 부과될 수 있다. 허위 검증에도 같은 금액이 적용될 수 있다.

제안된 AI 규정은 검증을 넘어선다. 한 조치는 사람들이 대상 AI 위반에 대해 Department of Consumer and Worker Protection에 민원을 제기할 수 있도록 한다. 이 기관은 민원이 경솔하거나, 거짓이거나, 중복되지 않는 한 일반적으로 조사에 나서게 된다.

시가 주장된 사실을 근거로 사건을 추진할 경우, 민원 제기자는 회수된 금액의 25%를 받을 수 있다. 당국이 민원 제기자에게 위반 통지서를 발부하거나 민사소송을 시작하도록 지정하면 이 비율은 50%까지 높아질 수 있다.

이 인센티브 메커니즘은 정보 문제를 해결하려는 시도다. 외부인은 내부 평가가 어떻게 설계됐는지, 어떤 경고가 상부에 전달됐는지, 또는 왜 배포가 진행됐는지를 아는 경우가 드물다. 직원과 계약자는 더 나은 접근 권한을 갖는 경우가 많지만, 부정행위를 신고하면 경력이 위협받을 수 있다.

또 다른 법안은 시 직원과 대상 계약자에 대한 내부고발자 보호를 명확히 한다. 이는 근로자가 AI 개발 또는 사용이 중대하고 구체적인 공공안전 위험을 제기한다고 합리적으로 믿는 사안에 관한 신고를 보호한다.

이 패키지는 시 계약과 연계된 사고도 다룬다. 계약자와 시 기관은 보고 대상 AI 안전 사고를 발견한 후 24시간 이내에 Cyber Command에 통지해야 한다. Cyber Command는 이후 다시 24시간 이내에 보고된 사건을 공개해야 한다.

이 요건은 모든 모델 실패에 대한 일반적인 보고 의무보다 범위가 좁다. 이는 대상 시 계약에 초점을 맞춘다. 그럼에도 연구자, 기자, 공급업체, 주민이 시간에 따라 비교할 수 있는 가시적인 기록을 만들게 된다.

사적 소송권은 또 다른 집행 공백을 다룬다. T2026-2600에 따르면, 상업적으로 이용 가능한 모델이 악의적이거나 부적절한 제3자 사용을 통해 피해를 초래한 경우 개인은 회사를 상대로 소송을 제기할 수 있다. 이 청구에는 예견 가능한 피해와 해당 오용에 연계된 불충분한 안전장치가 필요하다.

예견 가능성은 논쟁의 대상이 될 것이다. 개발자는 모든 악의적 프롬프트나 후속 변경을 막을 수 없다. 그러나 다른 사람이 최종 지시를 제공했다는 이유만으로 기업이 예측 가능한 악용을 예견 불가능한 것으로 취급할 수도 없다.

이 제안은 그 질문을 기업 정책팀에만 맡기지 않고 법정에 둔다. 이는 평가 결과, 악용 예측, 내부 경고, 배포 결정을 보존해야 한다는 압박을 만든다.

다른 조치들은 챗봇 데이터 관행과 안전 광고를 규제한다. 챗봇 제공업체는 개인정보 보호, 보안, 투명성, 사용자 접근 요건을 충족해야 한다. 제공업체는 챗봇이 면허를 보유한 전문가와 동등한 조언을 제공한다고 암시할 수 없다.

AI 모델 광고는 제3자가 이를 검증했는지 공개해야 한다. 중대하게 거짓이거나 오해를 불러일으키는 안전 주장은 최대 $25,000의 벌금을 받을 수 있다.

이 조항들은 안전 관련 언어를 제품 표현에 더 가까운 것으로 바꾼다. 개발자가 모델을 안전하다고 광고한다면, 시는 그 진술이 식별 가능한 평가 절차와 연결되기를 원한다.

전체 패키지는 여전히 제안 단계의 법안이다. 10월 5일 청문회는 최종 표결이 아니며, 법안들은 크게 바뀔 수 있다. Council의 조치 뒤에도 이행 문제, 법적 이의 제기, 기관 규칙, 시장의 결정이 뒤따를 수 있다.

그 불확실성이 변화의 방향을 가려서는 안 된다. New York City는 좁은 알고리즘 감독에서 범용 AI 모델과 이를 공급하는 기업에 대한 더 폭넓은 검토로 이동하고 있다.

자율적 AI 안전과 집행 가능한 증명의 충돌

핵심 분쟁은 기업들이 모델을 시험하는지 여부가 아니라, 누가 충분한 시험을 정의하고 누가 그 결과를 검증할 수 있는지에 있다.

OpenAI, Anthropic, Google, Meta는 모두 모델 평가를 수행한다. 이들은 시스템 카드, 안전 보고서, 책임 있는 확장 정책, 연구 논문, 배포 제한을 서로 다르게 조합해 공개한다.

이 문서들은 유용한 증거를 제공한다. 동시에 테스트 설계, 공개 기준, 시점, 우려스러운 결과에 대한 대응에 관한 광범위한 통제권을 기업에 남긴다.

New York의 제안은 그 권한 일부를 독립 검증기관과 시 공무원에게 이전하게 된다. 이 변화는 청문회가 New York을 넘어 중요한 이유를 설명한다. 이는 대체로 자발적 약속과 선택적 투명성을 기반으로 구축된 거버넌스 모델에 도전한다.

기업 주도 테스트는 빠르게 진행될 수 있고, 외부 평가자가 얻기 어려운 내부 접근 권한을 활용할 수 있다. 모델 개발사는 대부분의 규제기관보다 자사의 시스템, 인프라, 배포 계획을 더 잘 이해한다. 또한 공개 출시로 결과를 방어해야 한다는 압력이 생기기 전에 개발 중에 테스트를 수행할 수 있다.

외부 검토는 다른 장점을 제공한다. 이는 기업 내부에서 정상으로 자리 잡은 가정에 이의를 제기할 수 있다. 공급업체 전반의 증거를 비교하고, 안전 주장이 일관된 기준을 사용하는지 물을 수 있다.

어느 접근법도 신뢰할 수 있는 감독을 보장하지는 않는다. 독립 검증기관은 모델 접근 권한, 기술 역량 또는 충분한 시간을 갖추지 못할 수 있다. 부실하게 설계된 준수 시험은 실질적인 위험 감소보다 서류 작업에 보상할 수 있다.

제안안의 이해충돌 요건은 분명한 약점 하나를 인식한다. 개발사로부터 비용을 받는 검증기관은 고객사의 시스템을 승인하라는 압박을 받을 수 있다. 공개는 도움이 되지만, 공개만으로 재정적 의존을 없애지는 못한다.

“킬 스위치” 요건은 또 다른 어려운 질문을 제기한다. 인간이 시스템을 중단할 수 있는 기능은 단순해 보이지만, AI 제품은 클라우드 서비스, 애플리케이션, 에이전트, 고객 인프라 전반에 배포된다.

중앙 제공업체는 자사가 호스팅하는 모델에 대한 접근을 비활성화할 수 있다. 그러나 사용자가 이미 촉발한 모든 복제된 출력물, 내보낸 산출물, 로컬 통합 또는 후속 조치를 반드시 중단할 수 있는 것은 아니다.

입법안은 중단 대상 시스템을 정밀하게 정의해야 한다. 또한 서비스 비활성화와 통제된 사고를 구분해야 한다. 그렇지 않으면 개발사는 피해가 발생하는 경로를 해결하지 않은 채 형식적 통제 요건만 충족할 수 있다.

작업 성능 역시 맥락에 좌우된다. 벤치마크에서 좋은 성능을 보이는 모델이라도 병원, 채용 절차, 법률 서비스 또는 자율 소프트웨어 에이전트 안에서는 실패할 수 있다. 검증은 모델의 일반적 역량을 의도된 배포 환경과 연결해야 한다.

뉴욕은 자동화된 채용 감독을 통해 이미 이 문제를 경험했다. Local Law 144는 최근의 편향성 감사와 필수 고지 없이 대상 자동화 고용 의사결정 도구를 사용하는 고용주와 고용 대행사를 제한한다.

뉴욕시는 2023년 7월부터 이 제도를 시행하기 시작했다. 시의 채용 감사 규칙은 중요한 선례를 만들었지만, 현재의 제안안은 더 광범위하다.

Local Law 144는 정의된 고용 용도에 초점을 맞춘다. 시의회 요약에 따르면 T2026-2602는 시에서 마케팅, 판매 또는 배포되는 AI 모델에 적용된다. 이 문구는 적용 범위, 관할권, 기술적 실현 가능성에 관한 훨씬 더 큰 질문을 제기한다.

좁게 정의된 도구는 사용자, 의사결정, 출력물을 식별할 수 있다. 범용 모델은 코딩, 문서 분석, 고객 서비스, 연구, 창작 작업, 자율적 행동을 지원할 수 있다. 위험은 통합 방식마다 달라진다.

따라서 청문회는 증인들에게 구체적 증거를 요구해야 한다. 검증기관은 어떤 모델 접근 권한을 받게 되는가? 배포 전에 어떤 평가가 반드시 이뤄져야 하는가? 모델 업데이트 후 검증은 얼마나 자주 갱신돼야 하는가?

시의원들은 개발사가 모델을 제공하지만 다른 회사가 애플리케이션을 구축하는 경우 누가 책임을 지는지도 물어야 한다. 광범위한 규칙은 모델 제공업체, 유통업체, 배포업체 또는 이들 모두에 적용될 수 있다.

이 지점에서 책임성과 혁신은 실제적인 상충 관계가 된다. 허술한 기준은 신뢰할 수 없는 주장이 통과하도록 만들 수 있다. 모호하거나 지나치게 광범위한 기준은 더 나은 안전성을 만들지 못한 채 유용한 배포를 위축시킬 수 있다.

선도적인 연구소들은 기술적으로 정교하고 전국적으로 일관된 규칙을 주장할 유인이 있다. 연방 기준이 불충분해 보일 때 도시 입법자들에게는 행동할 유인이 있다. 청문회는 이러한 경쟁하는 우선순위를 동일한 공개 기록에 올려놓는다.

내부고발자 경고에는 헤드라인 이상의 것이 필요하다

Coxon의 경고는 정치적 긴장감을 높이지만, 입법자들에게는 여전히 구체적 시스템, 의사결정, 실패에 관한 검증 가능한 증거가 필요하다.

실존적 위험 주장은 주장되는 피해 규모가 막대하기 때문에 주목을 끈다. 하지만 개인정보 보호, 차별, 사기, 사이버보안, 안전하지 않은 자동화에 관한 더 시급한 질문을 압도할 수도 있다.

시의회 패키지는 두 수준 모두를 다루려 한다. 비상 계획과 모델 중단 요건은 심각한 실패에 대응한다. 챗봇 개인정보 보호, 광고 공개, 계약 규칙, 사적 구제수단은 주민들이 더 이른 시점에 마주할 수 있는 피해를 다룬다.

Coxon의 증언은 확률 주장보다 운영상 세부 사항으로 나아갈 때 가장 유용할 것이다. 입법자들은 그가 우려하는 역량이 무엇인지, 어떤 증거가 그의 판단을 바꿨는지, 현행 연구소에 어떤 보호장치가 부족하다고 보는지 이해해야 한다.

또한 개인적 위험 추정과 문서화된 회사 조사 결과를 구분해야 한다. 전직 직원의 경고는 심각한 이견을 드러낼 수 있다. 그러나 그것만으로 파국적 결과가 발생할 것임을 독립적으로 입증하지는 못한다.

같은 기준은 회사의 증언에도 적용된다. 안전 문화에 관한 발언은 모델이 의미 있는 적대적 시험을 통과했다는 증거가 아니다. 책임 있는 스케일링 프레임워크는 사업 압력이 높아질 때 직원들이 출시를 중단할 수 있음을 보여주지 않는다.

시의회는 각 회사에 심각한 내부 경고가 조직 내에서 어떻게 전달되는지 물어야 한다. 누가 배포를 지연시킬 수 있는가? 어떤 임원이 그 결정을 번복할 수 있는가? 이견이 있은 뒤에도 어떤 문서가 남는가?

내부고발자 보호는 공식 보고 채널이 실패할 수 있기 때문에 중요하다. 직원들은 보복, 향후 일자리 상실, 기밀 정보와 관련한 법적 분쟁을 우려할 수 있다. 그러나 인센티브 프로그램은 부실하거나 중복되거나 전략적인 신고를 끌어들일 수도 있다.

제안된 신고 시스템은 경솔하고 조작되었거나 반복된 보고를 걸러내려 한다. 그 성공은 기관의 전문성과 조사 역량에 달려 있다. 공무원들은 인기가 없는 기술적 판단과 법 위반을 구분해야 한다.

금전적 보상은 신중하게 설계할 필요가 있다. 회수된 과징금의 일정 비율은 규제당국이 달리 보지 못했을 정보를 내부자가 보고하도록 장려할 수 있다. 동시에 누가 결정적인 사실을 먼저 제공했는지를 둘러싼 분쟁을 낳을 수도 있다.

시의회는 적격 정보, 보호되는 공개, 기밀 유지 규칙, 보안에 민감한 증거를 다루는 절차를 정의해야 한다. 공개적 공시는 개인정보, 모델 가중치 또는 악용 가능한 취약점을 유출하는 경로가 되어서는 안 된다.

기업 역시 부정확한 주장에 이의를 제기할 권리가 있다. 신고가 조사, 처벌, 소송 또는 공공의 평판 훼손을 촉발할 수 있을 때 적법 절차는 중요하다.

그렇다고 비밀주의가 정당화되는 것은 아니다. 이는 시가 신뢰할 수 있는 내부고발자와 증거의 무결성을 모두 보호하는 절차를 마련해야 한다는 뜻이다.

회의적인 질문은 지방정부가 프런티어 AI 산업 전반에서 그 절차를 운영할 수 있느냐는 것이다. 뉴욕시는 규제 경험, 기술 기관, 조달 권한, 거대한 시장을 갖고 있다. 그러나 국가 연구 정책, 칩 수출 또는 관할권 밖의 모든 배포를 통제하지는 못한다.

광범위한 모델 규제는 관할권 분쟁에 부딪힐 수도 있다. 클라우드 모델은 다른 곳에서 학습되고, 다른 주에 호스팅되며, 중개자를 통해 접근되고, 뉴욕 주민이 사용할 수 있다. 각각의 연결고리는 서로 다른 지역 권한의 근거를 만든다.

이런 어려움이 청문회를 상징적 행사로 만드는 것은 아니다. 도시는 기술을 구매하고, 기업을 규제하며, 소비자를 보호하고, 지역 활동의 조건을 정한다. 뉴욕의 규모는 시 경계를 넘어 공급업체 관행에 영향을 미칠 수 있게 한다.

그러나 영향력은 집행 가능성과 같지 않다. 시의회는 기관들이 검증되지 않은 모델을 어떻게 탐지하고, 책임 주체를 어떻게 식별하며, 모델 업데이트와 새 배포를 어떻게 구분할지를 보여야 한다.

기업들은 보안 세부 정보나 영업비밀을 노출하지 않고 어떤 증거를 제공할 수 있는지 설명해야 한다. 입법자들은 외부 검증기관이 중요한 주장을 시험할 만큼 충분한 접근 권한을 어떻게 받게 될지 설명해야 한다.

양측이 재앙 대 혁신이라는 수준에 머문다면, 청문회는 기억에 남는 영상만 남기고 운영상 명확성은 거의 제공하지 못할 것이다. 감사 접근, 사고 정의, 권한, 증거를 논의한다면 회기는 법안을 개선할 수 있다.

이 구분은 기업 구매자에게도 중요하다. 조달팀은 모델 보안성, 신뢰성, 준수에 관한 주장에 점점 더 자주 마주하고 있다. 신뢰할 수 있는 검증 프레임워크는 정보 격차를 줄일 수 있다.

허술한 프레임워크는 구매자가 위험을 평가하는 데 도움을 주지 못한 채 또 하나의 인증서만 추가할 것이다. 접근 권한, 시험 범위, 독립성, 반복 평가의 세부 사항이 뉴욕이 어떤 결과를 얻게 될지 결정한다.

압력은 네 개 AI 기업을 넘어선다

제안된 규칙은 모델 개발자뿐 아니라 검증기관, 계약업체, 배포업체, 광고주, AI 서비스를 구매하는 조직에도 영향을 미칠 것이다.

OpenAI, Anthropic, Google, Meta는 주요 모델을 개발하기 때문에 주목을 받는다. 의제에 기술된 법안은 더 넓은 조직 사슬에 영향을 미친다.

뉴욕에서 AI 모델을 제공하는 기업은 검증 증명을 제출해야 할 수 있다. 해당 모델을 배포하는 기업은 별도의 의무를 질 수 있다. 검증기관은 허위 인증에 대한 책임을 질 수 있다.

시 계약업체는 사고 탐지 절차와 신속한 보고 체계를 갖춰야 한다. 기관은 사고를 Cyber Command에 상향 보고하는 절차를 마련해야 한다. 이후 시는 제안된 일정에 맞출 만큼 빠르게 정보를 공개해야 한다.

소비자 대상 챗봇 제공업체는 데이터 접근, 개인정보 보호, 보안, 투명성 관행을 검토해야 한다. 마케팅팀은 안전성 주장을 뒷받침할 증거가 필요하다. 법무팀은 예측 가능한 오용을 평가해야 한다.

이러한 책임 배분은 AI 위험이 한 조직에만 존재하는 경우가 드물기 때문에 중요하다. 모델 개발자는 기초 역량을 만든다. 애플리케이션 기업은 워크플로를 정의한다. 고객은 데이터를 제공하고 시스템 접근 권한을 부여한다.

자율 에이전트는 또 하나의 층위를 더한다. 에이전트는 모델을 사용해 계획을 세우고 행동을 수행하는 소프트웨어로, 흔히 외부 도구를 통해 작동한다. 그 행동은 모델, 사용 가능한 권한, 지침, 주변 애플리케이션에 따라 달라진다.

모델은 채팅 인터페이스에서는 통제된 것처럼 보일 수 있지만, 이메일, 데이터베이스, 결제 시스템 또는 소프트웨어 저장소에 연결되면 위험해질 수 있다. 따라서 검증은 기본 모델뿐 아니라 배포 환경도 살펴봐야 한다.

시의회의 사고 보고 제안은 시 계약에 관한 이러한 운영상 현실을 인정한다. 보고 대상 사건은 모델 출력에서 시작될 수 있지만 시스템 권한이나 부실한 모니터링을 통해 피해로 이어질 수 있다.

AI를 사용하는 조직은 최종 입법을 기다리지 말고 이러한 경로를 점검해야 한다. 어떤 모델이 민감한 데이터에 접근하는지, 어떤 도구가 외부 행동을 수행할 수 있는지, 누가 권한을 철회할 수 있는지 식별할 수 있다.

문서화는 이 작업의 핵심이다. 팀은 모델 버전, 평가 결과, 사고 관련 결정, 보호장치 변경에 관한 기록이 필요하다. 이런 기록이 없다면 책임성은 기억을 둘러싼 논쟁이 된다.

지식 노동자들도 직접적인 이해관계를 갖는다. AI 어시스턴트는 내부 문서, 회의 메모, 코드, 연구 자료, 고객 정보를 점점 더 많이 다룬다. 사용자는 어떤 데이터가 시스템에 들어가는지, 검색이나 보존을 어떤 통제가 관리하는지 알아야 한다.

잘 관리되는 AI knowledge base는 팀이 맥락을 보존하고 결정을 추적하는 데 도움이 될 수 있다. 그러나 이는 모델 검증, 접근 통제 또는 사고 대응을 대체하지는 않는다.

개발자들에게 청문회는 안전성 주장에 점점 더 많은 근거 자료가 필요해질 것이라는 신호다. 애플리케이션에 가드레일이 있다는 말만으로는 회의적인 규제기관을 납득시키지 못한다. 팀에는 테스트 사례, 평가 로그, 접근 기록, 대응 절차가 필요할 수 있다.

기업 구매자는 기업들이 독립 시험을 위한 공통 기준을 받아들이는지 주시해야 한다. 공유된 기준은 조달을 단순화할 수 있다. 서로 다른 기준은 구매자에게 호환되지 않는 보고서를 비교하게 만들 수 있다.

기업들은 서로 다른 전략적 압력에도 직면한다. OpenAI와 Anthropic은 프런티어 모델 개발과 안전성 연구를 강조한다. Google은 검색, 클라우드, 생산성, 소비자 서비스 전반에 AI를 통합한다.

Meta는 대규모 소셜 플랫폼과 광고 시스템을 운영하면서 모델을 개발한다. 이러한 사업 구조의 차이는 배포 규모, 접근 모델, 그리고 각 기업이 제시할 수 있는 증거에 영향을 미친다.

청문회는 이러한 차이를 하나의 산업 전반에 대한 답으로 평준화해서는 안 된다. 대신 사업 모델 전반에 적용되는 의무와 맥락별 규칙이 필요한 의무를 구분해야 한다.

뉴욕의 기존 채용 관련 법은 선례이자 경고를 제공한다. 지역 차원의 감사 의무는 외부 검토 시장을 만들 수 있다. 동시에 정의, 적용 범위, 그리고 감사가 영향을 받는 사람들이 우려하는 피해를 측정하는지에 관한 논쟁을 낳을 수도 있다.

새 제안들은 더 큰 규모에서 이러한 질문에 직면하게 된다. 범용 모델은 자주 바뀌고 개발자가 완전히 예측할 수 없는 용도를 지원한다. 모든 사소한 변경을 법적으로 감당하기 어렵게 만들지 않으면서도, 업데이트 이후 검증이 의미를 유지해야 한다.

시의회는 이 패키지를 혁신 친화적이면서 안전 친화적인 조치로 규정했다. 그 균형은 구호가 아니라 정의와 시행 방식에 달려 있다.

명확한 적용 범위는 이미 통제 장치를 문서화한 개발사에 보상을 줄 수 있다. 모호한 적용 범위는 소규모 제공업체가 철수하는 사이 규제 준수 비용을 감당할 수 있는 대형 기업에 유리하게 작용할 수 있다.

이 가능성은 청문회에서 주목할 만하다. 책임성이 가장 큰 기업만 감당할 수 있는 장벽이 되어서는 안 된다. 그렇다고 시장 집중에 대한 우려가 부실한 테스트를 정당화하는 구실이 되어서도 안 된다.

청문회의 중요성을 보여줄 세 가지 신호

청문회의 중요성은 청문회가 만들어내는 증거, 법안에 가해지는 변경, 그리고 뉴욕이 실제로 집행할 수 있는 기준으로 측정될 것이다.

첫 번째 신호는 증언 자체다. 기업 대표들이 구체적인 평가 방법, 에스컬레이션 절차, 배포 기준으로 답하는지 지켜봐야 한다.

책임 있는 AI에 관한 일반적인 발언만으로는 알 수 있는 것이 거의 없다. 독립적 접근, 레드팀 결과, 사고 처리, 출시 권한에 관한 구체적인 설명은 외부인이 평가할 수 있는 기록을 만들 것이다.

Coxon과 다른 전직 연구자들에게도 같은 기준이 적용된다. 입법자들이 조사할 수 있는 메커니즘, 거버넌스 실패 또는 의사결정을 지목한다면 이들의 증언은 더 강해진다. 파국적 전망만으로는 시가 어떻게 규제해야 하는지 알려주지 못한다.

두 번째 신호는 입법 수정 과정이다. 기업 증언 계획은 시의회가 제안된 해결책에 대한 업계 의견을 원한다고 밝힌다. 의미 있는 수정안은 청문회가 입법자들의 이해를 바꿨음을 보여줄 것이다.

AI 모델의 정의, 제3자 검증의 범위, 배포의 의미를 지켜봐야 한다. 이 용어들은 규칙이 좁은 범주의 시스템만 포괄할지, 거의 모든 AI 기반 서비스를 포괄할지를 결정한다.

제안된 중단 기능도 주목해야 한다. 실행 가능한 조항은 누가 이를 통제하는지, 무엇을 비활성화하는지, 어떻게 테스트하는지, 어떤 배포에 이를 요구하는지를 명시해야 한다.

내부고발자 인센티브에는 상세한 자격 요건과 기밀 유지 규칙이 필요하다. 사적 소송권에는 예견 가능성과 합리적인 보호조치에 관한 방어 가능한 기준이 필요하다.

세 번째 신호는 시행 경로다. Cyber Command와 소비자·근로자 보호부는 제안에 따라 중대한 책임을 맡게 된다.

이들의 인력, 기술적 접근권, 규칙 제정 권한, 집행 절차는 법률 문구만큼 중요하다. 조사 역량 없는 의무는 시를 기업의 공개에 의존하게 만들 것이다.

시의회 의제에는 새 제안들이 여전히 사전 검토 항목으로 올라와 있다. 예정된 청문회 전에는 회의록과 입법 조치를 확인할 수 없었다. 따라서 독자는 이 패키지를 제정된 법이 아니라 출발점으로 봐야 한다.

OpenAI NYC Council 청문회는 안전 약속과 검증 가능한 통제 사이의 격차를 좁힐 때에만 성공할 것이다. 이는 어떤 증거가 존재하는지, 누가 이를 검토할 수 있는지, 경고가 무시되면 어떤 일이 일어나는지를 묻는다는 의미다.

개발자, 기업 구매자, AI 사용자는 이러한 질문을 염두에 두고 증언을 따라가야 한다. 증인들은 테스트 가능한 보호장치를 공개하는가? 입법자들은 포괄적인 문구를 실행 가능한 의무로 수정하는가? 기관들은 이를 집행할 권한과 전문성을 받는가?

그 답은 뉴욕이 신뢰할 수 있는 책임성 모델을 구축하고 있는지, 아니면 규제 준수 서류 작업을 한 겹 더 추가하고 있는지를 보여줄 것이다. 청문회 기록을 지켜본 뒤, 모든 공개적 보장을 선서하에 제시된 증거와 비교해야 한다.