Sandia AI 보안 지침, Tri-Valley 스타트업에 경고

Sandia National Laboratories는 Tri-Valley 스타트업들 앞에 네 명의 연구자를 내세워 경고를 전했다. 빠른 AI 도입은 기존 소프트웨어 검토 방식으로 놓칠 수 있는 위험을 만들고 있다는 것이다. 7월 29일 패널은 Sandia의 AI 보안 방법론을 비즈니스 현장에 적용해 소개했으며, 이곳에서는 소규모 팀이 정식 보증 프로그램을 마련하기 전에 모델을 배포하는 경우가 많다.

이 행사는 새로운 제품, 구속력 있는 표준, 또는 규제를 발표한 자리는 아니었다. 그 중요성은 Sandia가 제시한 운영 모델에 있었다. 스타트업은 데이터, 모델, 통합 요소, 인간의 의사결정을 하나의 연결된 시스템으로 검토하고, 현실적인 장애와 공격에 맞춰 해당 시스템을 테스트해야 한다.

이러한 입장은 배포 속도와 보안 증거 사이의 분명한 충돌을 만든다. 스타트업은 기능을 일찍 출시하고, 사용자로부터 학습하며, 빠르게 방향을 바꾸는 방식으로 경쟁한다. Sandia는 설명되지 않는 장애 하나가 전체 시스템을 훼손할 수 있는 고위험 환경의 관점에서 AI를 다룬다.

패널은 스타트업에서 익숙한 가정에도 이의를 제기했다. 신뢰할 수 있는 제공업체를 통해 모델을 사용한다고 해서 모든 위험이 해당 제공업체로 이전되는 것은 아니다. 최종 애플리케이션을 구축하는 기업은 여전히 데이터 접근, 검색 계층, 도구, 권한, 사용자 경험, 대응 절차를 통제한다.

이는 AI 보증이 마지막 단계의 컴플라이언스 작업이 아니라 제품 책임이라는 뜻이다. 창업자들에게 당장의 질문은 고객, 규제기관, 또는 공격자가 요구하기 전에 팀이 시스템 동작에 관한 증거를 제시할 수 있는가이다.

Sandia AI 보안, 연구실에서 스타트업 운영으로

이 행사는 국가 안보 문제를 초기 기업들이 이미 마주한 운영상의 질문으로 옮겨 놓았다.

Daybreak Labs는 캘리포니아주 Livermore에서 오전 11시 30분부터 오후 1시 30분까지 무료 Lunch and Learn 행사를 개최했다. 이 비영리 인큐베이터는 Tri-Valley 지역의 생명과학 및 딥테크 스타트업을 지원한다.

패널에는 Sandia의 Amanda Dodd, Gayle Thayer, Philip Kegelmeyer, Jonathan Crussell이 참여했다. 이들의 경력은 국가 안보 분석, 보안 알고리즘, 적대적 데이터 분석, 소프트웨어 보안, 에이전트형 AI 워크플로를 아우른다.

Sandia의 국가 안보 컴퓨팅 및 분석 책임자인 Dodd는 빠른 도입이 만들어내는 취약점을 중심으로 논의를 이끌었다. 그는 현재의 AI 확산을 1990년대 인터넷의 대중적 도입과 비교했다.

그 비교는 향수가 아니라 불확실성에 초점을 맞췄다. 인터넷 연결은 가치 있는 서비스를 만들었지만, 많은 조직이 예상하지 못했던 공격과 장애 양식에 시스템을 노출하기도 했다. AI는 이제 콘텐츠를 생성하고, 의사결정을 추천하며, 때로는 행동까지 수행하는 시스템 내부에 유사한 불확실성을 더하고 있다.

행사 프로그램에 따르면, 논의는 속도와 보안, 혁신과 규제, 인간과 AI 팀이 관련된 위험을 다뤘다. 또한 정부와 민간 부문의 우선순위가 어떻게 겹치는지도 살펴봤다.

Sandia의 후속 패널 보고는 AI 위협이 초래하는 세 가지 비즈니스 결과로 지식재산 손실, 운영 중단, 규제 노출을 제시했다. 이러한 결과는 기술적 약점에 직접적인 재무적·전략적 의미를 부여한다.

Sandia의 Secure Algorithms 부서 매니저인 Thayer는 보안의 초점이 하드웨어와 기존 소프트웨어를 넘어 이동하고 있다고 설명했다. 연구자들은 점점 알고리즘 자체와 그 사용 과정에서 나타나는 행동을 검토하고 있다.

이 변화는 AI 애플리케이션이 설계된 대로 작동하면서도 안전하지 않은 결과를 낼 수 있기 때문에 중요하다. 모델은 민감한 맥락을 노출하거나, 악의적인 지시를 받아들이거나, 원래의 테스트 조건 밖에서 예측 불가능하게 행동할 수 있다.

누구의 공격도 없이 애플리케이션이 실패할 수도 있다. 모호한 지시, 낯선 데이터, 취약한 평가 기준, 부적절한 자율성 수준은 심각한 오류를 만들 수 있다. 기존 취약점 스캐닝만으로는 이러한 문제를 모두 찾아낼 수 없다.

Sandia의 접근법에는 적대자가 찾아내기 전에 시스템의 약점을 적극적으로 탐색하는 레드팀 활동이 포함된다. 연구자들은 정의된 조건에서 신뢰성, 보안성, 성능의 한계도 벤치마크한다.

한계를 테스트하는 일은 유리한 정확도 점수 하나를 보고하는 것과 다르다. 유용한 평가는 시스템이 허용 가능한 행동을 멈추는 지점, 그러한 변화를 유발하는 입력, 모니터링이 이를 탐지할 수 있는지를 묻는다.

따라서 이 패널은 AI 위험을 나열하는 데 그치지 않았다. 위험 식별을 반복 가능한 테스트, 완화, 보안 설계와 연결했다. 이 순서는 추상적인 경고를 엔지니어링 규율로 바꾼다.

공개된 보고 내용에는 Sandia가 참여 스타트업을 인증하거나 제품을 평가했다는 근거가 없다. 이 세션은 감사가 아니라 접근법과 우려 사항을 교환하는 자리였다.

이 구분은 중요하다. 두 시간짜리 패널만으로 특정 AI 시스템이 안전한지 입증할 수는 없다. 하지만 창업자들이 시스템을 출시하기 전에 던지는 질문은 바꿀 수 있다.

빠른 AI 도입이 스타트업에 보증 격차를 남긴다

스타트업은 모든 모델 행동을 이해하는 데 필요한 시간보다 출시 주기가 짧기 때문에 압박을 받는다.

초기 기업은 모델을 직접 학습시키지 않고도 호스팅 모델을 제품에 추가할 수 있다. 짧은 개발 주기 안에 애플리케이션 프로그래밍 인터페이스를 통해 고객 문서, 내부 기록, 외부 도구를 연결할 수도 있다.

그 결과로 탄생한 애플리케이션은 여러 층의 불확실성을 물려받는다. 그 동작은 기반 모델, 시스템 지시문, 검색된 데이터, 소프트웨어 통합, 권한, 사용자 입력에 좌우된다.

어느 한 계층의 변화도 시스템을 바꿀 수 있다. 모델 제공업체는 동작을 업데이트할 수 있고, 검색 인덱스에는 새 문서가 추가될 수 있으며, 고객은 새로운 통합을 활성화할 수 있다.

이러한 변화는 팀이 흔히 보증 격차라고 부르는 문제를 만든다. 제품은 기업이 보안성, 신뢰성, 허용 가능한 행동에 대해 확보한 증거보다 더 빠르게 발전한다.

AI 시스템이 행동할 수 있을 때 이 격차는 더 심각해진다. 에이전트형 워크플로는 모델이 제한적인 인간 개입 아래 단계를 계획하고 도구를 호출하도록 하는 애플리케이션이다. 메시지를 보내고, 기록을 수정하고, 코드를 실행하거나, 비즈니스 프로세스를 촉발할 수 있다.

추가되는 권한 하나하나는 잘못되거나 조작된 응답의 영향을 키운다. 채팅 창 안의 부정확한 답변은 불편한 일이다. 같은 답변이 실행 도구로 전달되면 데이터를 변경하거나 정보를 노출할 수 있다.

프롬프트 인젝션은 그 차이를 보여준다. 공격자는 모델이 개발자가 의도한 규칙 대신 자신의 지시를 따르기를 바라며 사용자 입력이나 외부 콘텐츠에 지시문을 삽입한다.

OWASP가 관리하는 최신 LLM 위험 목록은 프롬프트 인젝션을 주요 애플리케이션 취약점으로 지목한다. 이 목록은 민감한 정보 공개, 공급망 취약점, 부적절한 출력 처리, 과도한 자율성도 다룬다.

이러한 위험은 조직의 경계를 가로지른다. 모델 제공업체는 플랫폼을 보호하는 반면, 애플리케이션 개발자는 프롬프트, 검색, 도구, 접근 규칙을 통제한다. 고객은 다시 사용자 행동, 연결된 데이터, 로컬 설정을 통제한다.

어느 한 참여자도 전체 시스템을 볼 수 없다. 이 때문에 사고가 발생하기 전까지 책임은 쉽게 분산된다.

Sandia의 패널은 배포 조직에 책임을 다시 부여했다. 정부는 연구, 프레임워크, 독립적 평가를 제공할 수 있다. 그러나 기업은 여전히 자사 제품과 운영 선택이 만들어내는 위험을 책임진다.

이 책임이 스타트업에 국립연구소를 재현하라고 요구하는 것은 아니다. 기업은 자사 사용 사례에서 안전한 행동이 무엇을 의미하는지 정의해야 한다.

임상 연구 보조 도구와 마케팅 카피 생성기는 동일한 승인 기준을 공유해서는 안 된다. 전자는 더 높은 결과적 위험을 지닌 정보를 다루므로 더 엄격한 증거, 접근 통제, 검토가 필요하다.

스타트업은 모델 품질과 시스템 보안을 구분할 필요도 있다. 모델은 일반적인 작업에서는 좋은 성능을 보이면서 적대적 입력에서는 실패할 수 있다. 정확하게 답하면서도 사용자가 받아서는 안 되는 정보를 공개할 수 있다.

그 반대도 가능하다. 애플리케이션은 일반적인 공격을 막을 수 있지만 여전히 신뢰하기 어려운 추천을 생성할 수 있다. 보안과 유용성은 겹치지만, 하나가 다른 하나를 보장하지는 않는다.

그래서 벤치마크 점수 하나만으로는 보증이 약하다. 팀에는 의도된 작업, 예측 가능한 오용, 접근 경계, 실제 배포 조건과 연결된 테스트가 필요하다.

기록도 필요하다. 검색 가능한 지식 베이스는 엔지니어링 및 제품 팀 전반에서 모델 버전, 평가 결과, 사고, 승인된 위험을 보존할 수 있다.

문서화는 개발 후에 덧붙이는 서류 작업이 아니다. 이를 통해 팀은 행동이 언제 바뀌었는지, 이전의 완화 조치가 여전히 작동하는지 파악할 수 있다.

압박은 즉각적이면서 장기적이다. 엔터프라이즈 구매자는 이미 공급업체에 데이터 처리, 모델 제공업체, 접근 통제, 사고 대응을 묻고 있다. 향후 규정은 이 증거를 더 공식적으로 요구할 수 있다.

이런 질문에 답하지 못하는 스타트업은 기술적 침해를 겪기도 전에 거래를 잃을 수 있다. 그런 의미에서 신뢰할 수 있는 AI는 제품 신뢰성의 일부가 된다.

핵심 상충 관계는 속도와 증거다

Sandia의 메시지는 더 느린 혁신을 요구하지 않지만, AI에 더 큰 권한을 부여하기 전에 더 강력한 증거를 요구한다.

창업자들은 대개 속도를 생존 요건으로 여긴다. 빠른 출시는 사용자 피드백을 만들고, 수요를 입증하며, 작은 기업이 더 큰 예산을 보유한 조직과 경쟁하도록 돕는다.

보안팀은 같은 출시를 다른 관점에서 바라본다. 시스템이 민감한 데이터에 접근하기 전에 위협 모델, 테스트, 로그, 접근 경계, 대응 계획을 갖추길 원한다.

두 입장 모두 타당한 우려를 담고 있다. 모든 실험적 기능이 고위험 기준을 충족할 때까지 출시를 미루면 많은 스타트업에 부담이 된다. 의미 있는 테스트 없이 자율 시스템을 배포하면 고객은 자신이 볼 수 없는 위험에 노출된다.

실질적인 해법은 비례적 보증이다. 영향이 낮은 글쓰기 보조 도구에는 재무, 실험실, 또는 운영 기록을 수정할 수 있는 에이전트와 다른 통제가 필요하다.

비례적 보증은 정의된 맥락에서 시작된다. 팀은 누가 시스템을 사용할지, 어떤 데이터에 접근할 수 있는지, 어떤 행동을 수행할 수 있는지, 어떤 실패가 용납될 수 없는지를 문서화한다.

그다음 기업은 신뢰할 수 있는 위협과 일상적 장애 양식을 매핑한다. 위협에는 악의적인 프롬프트, 오염된 데이터, 탈취된 자격 증명, 손상된 종속성, 비공개 맥락을 추출하려는 시도가 포함된다.

일상적인 실패도 똑같이 주목할 가치가 있다. 모델은 요청을 오해하거나, 출처를 지어내거나, 잘못된 도구를 선택하거나, 전제가 유효하지 않게 된 뒤에도 계속 작동할 수 있다.

다음 단계는 측정이다. 팀은 현실적인 작업, 알려진 엣지 케이스, 적대적 사례를 바탕으로 평가 세트를 구축한다. 테스트를 실행하기 전에 예상 결과를 기록한다.

유용한 테스트에는 관찰 가능한 통과 조건이 있다. “모델은 안전해야 한다”는 측정할 수 없다. “보조 도구는 인증된 사용자의 워크스페이스 밖에 있는 기록을 반환해서는 안 된다”는 테스트할 만큼 구체적이다.

Sandia의 레드팀 접근법은 공격자의 관점을 더한다. 테스터들은 지침, 연결된 데이터, 인터페이스, 도구를 포함한 전체 애플리케이션에서 예상치 못한 공격 경로를 찾는다.

더 광범위한 에너지부 산하 연구소 커뮤니티도 유사한 작업을 설명해 왔다. 여러 연구소가 공동으로 작성한 AI 안전 보고서는 익숙한 조건 밖에서의 행동을 예측하기에는 정적 벤치마크가 충분하지 않다고 말한다.

이 보고서는 자원 제약도 지적한다. 포괄적 평가는 컴퓨팅 용량, 전문가 인력, 시간을 소모한다. 새로운 모델은 평가자가 각각을 철저히 평가할 수 있는 속도보다 더 빠르게 등장한다.

이 제약은 특히 스타트업에 중요하다. 소규모 기업은 모든 가능한 입력을 테스트하거나 제공업체의 내부 평가를 재현할 수 없다.

그렇다고 해서 통제 가능한 애플리케이션까지 테스트하지 못하는 것은 아니다. 집중적인 평가는 회사의 데이터, 도구, 사용자 역할, 영향이 가장 큰 워크플로를 다뤄야 한다.

완화 조치는 테스트 이후에 따른다. 팀은 권한을 제한하고, 신뢰할 수 없는 콘텐츠를 격리하며, 출력을 검증하고, 사람의 승인을 요구하거나, 모델이 호출할 수 있는 도구를 제한할 수 있다.

가장 강력한 통제는 실패의 결과를 줄이는 경우가 많다. 어시스턴트가 행동 초안만 작성한다면 사람이 검토할 수 있다. 반대로 어시스턴트가 해당 행동을 직접 실행한다면 기업에는 더 강력한 권한 관리와 모니터링이 필요하다.

사람의 검토가 자동으로 효과적인 것은 아니다. 대부분의 출력이 올바르게 보이면, 특히 시간 압박이 있을 때 검토자는 안일해질 수 있다.

따라서 팀은 검토가 가장 중요한 의사결정을 식별해야 한다. 또한 사람이 의심스러운 결과를 알아볼 수 있도록 충분한 맥락을 제공해야 한다.

모니터링은 순환을 완성한다. 로그는 어떤 모델, 지침, 데이터 소스, 도구가 중요한 출력에 기여했는지 보여줘야 한다. 이러한 맥락이 없으면 사고 조사는 추측에 의존하게 된다.

이러한 단계 중 어느 것도 영구적인 보증을 만들지는 않는다. 모델의 행동, 애플리케이션 코드, 데이터, 공격자는 모두 변한다. 테스트는 시스템의 전 생애에 걸쳐 계속되어야 한다.

여기서 속도와 증거 사이의 충돌은 관리 가능해진다. 스타트업은 제한된 환경에서 빠르게 움직인 뒤, 증거가 개선됨에 따라 권한을 확장할 수 있다.

내부 사용자, 합성 데이터, 읽기 전용 도구로 시작할 수 있다. 이후 단계에서는 시스템이 명시적 기준을 충족한 뒤 고객 데이터나 제한된 작업을 추가할 수 있다.

이 경로는 보안을 제품 개발의 일부로 다룬다. 모든 실험을 막는 것과 아무 제한 없이 모든 기능을 출시하는 것 사이의 잘못된 선택을 피한다.

프레임워크는 도움이 되지만, 제품을 인증하지는 않는다

기존 프레임워크는 AI 위험 관리 작업을 체계화하지만, 특정 스타트업의 애플리케이션이 충분히 안전한지 판단할 수는 없다.

NIST AI 위험 관리 프레임워크는 조직에 거버넌스, 매핑, 측정, 관리라는 네 가지 연결된 기능을 제시한다. 거버넌스는 마지막 단계에만 등장하는 것이 아니라 다른 기능 전반에 적용된다.

이 프레임워크는 자발적 적용을 전제로 하며 폭넓은 사용을 위해 설계됐다. AI 위험 프레임워크는 조직이 AI의 설계, 개발, 배포, 사용, 평가에 신뢰성을 통합하도록 돕는다.

스타트업에서 “거버넌스”는 의사결정 권한을 배정하고 위험 허용 범위를 문서화하는 것을 뜻한다. 누군가는 어떤 사용 사례를 허용할지, 어떤 증거가 출시를 뒷받침하는지 결정해야 한다.

“매핑”은 맥락을 이해하는 것이다. 팀은 사용자, 영향을 받는 당사자, 데이터, 종속성, 기대 이익, 가능한 피해를 식별한다.

“측정”은 테스트와 분석을 포괄한다. 여기에는 성능 평가, 보안 테스트, 불확실성 평가, 정의된 기준에 따른 모니터링이 포함된다.

“관리”는 발견 사항을 우선순위와 행동으로 전환한다. 기업은 심각도와 이용 가능한 통제 수단에 따라 위험을 수용, 감소, 이전 또는 회피한다.

NIST는 2024년 7월 생성형 AI 프로필도 발표했다. 이 프로필은 생성형 시스템이 새롭게 도입하거나 심화하는 위험에 맞춰 더 광범위한 프레임워크를 조정한다.

이 자료들은 어휘와 구조를 제공한다. 하지만 제품을 검사하거나, 규정 준수를 보장하거나, 모델의 행동을 인증하지는 않는다.

Sandia의 입장은 단순히 프레임워크 용어를 채택하는 것보다 기술적으로 더 까다로워 보인다. 연구진은 레드팀, 벤치마킹, 보안 설계, 성능 한계 이해를 강조했다.

이러한 강조는 거버넌스 문서가 소프트웨어와 분리될 수 있기 때문에 중요하다. 위험 등록부에는 프롬프트 인젝션이 해결됐다고 적혀 있을 수 있지만, 배포된 검색 시스템은 여전히 신뢰할 수 없는 지침을 모델에 전달할 수 있다.

증거는 식별된 각 위험을 통제 수단과 테스트에 연결해야 한다. 기업은 완화 조치 이후에도 어떤 위험이 남는지 알아야 한다.

독립적인 평가가 이 과정을 강화할 수 있다. Sandia는 연방 지원 연구개발센터를 편향 없는 기술 분석의 원천으로 설명했다.

하지만 공개 패널 보고서는 스타트업을 위한 일반적인 Sandia 인증 서비스를 발표하지 않았다. 업계가 보증 수요를 충족할 수 있는 지점과 국립연구소가 공백을 메울 수 있는 지점을 찾는 데 관심을 표명했다.

이는 협업에 대한 초대이지, 완성된 경로의 증거는 아니다. 접근성, 범위, 지식재산 처리, 조달 방식은 개별 스타트업이 참여할 수 있는지를 좌우할 것이다.

Sandia는 이미 연구소, 대학, 소규모 기업을 연결하는 프로그램을 운영하고 있다. RAIICE program은 복원력 있는 에너지와 관련된 AI 및 머신러닝 작업을 위해 공개 데이터세트와 기술 로드맵을 제공하는 것을 목표로 한다.

RAIICE는 파트너십 모델을 보여주지만, 7월 보안 패널과 혼동해서는 안 된다. 패널은 참석자들이 그 프로그램에 참여했다고 발표하지 않았다.

이 구분은 Sandia 메시지의 회의적인 측면을 드러낸다. 기술 전문성은 존재하고 창업자들에게도 분명히 필요하다. 여전히 불확실한 점은 이 전문성이 상업 팀에 얼마나 폭넓게 도달할 수 있는가다.

국립연구소는 특정 임무, 계약 규칙, 자원 제약 아래에서 운영된다. 스타트업은 압축된 일정으로 움직이며 며칠 안에 답을 필요로 할 수 있다.

협업 모델은 이런 서로 다른 리듬을 이어야 한다. 연구 방법을 소규모 팀이 실행하고, 반복하고, 고객에게 설명할 수 있는 테스트로 전환해야 한다.

규제는 또 다른 불확실성을 만든다. 패널 참가자들은 업계가 AI 위험을 책임감 있게 관리할 수 있도록 하는 명확한 규칙을 선호한 것으로 전해졌지만, 행사는 제안된 법적 기준을 내놓지 않았다.

규칙은 기대치를 명확히 할 수 있지만, 모델과 애플리케이션이 변하면서 시대에 뒤처질 수도 있다. 처방적 요구사항은 실제 행동을 개선하지 못한 채 체크리스트 완료만 보상할 수 있다.

성과 중심 규칙은 다른 문제를 만든다. 기업에 달성해야 할 결과를 알려줄 수는 있어도, 이를 입증할 수 있는 저렴한 방법은 제공하지 않을 수 있다.

단기적으로 가장 좋은 신호는 실질적 증거가 될 것이다. 공개 테스트 방법, 재사용 가능한 평가 도구, 접근 가능한 데이터세트, 문서화된 스타트업 협업은 파트너십 비전이 운영 단계로 전환되고 있음을 보여줄 수 있다.

그때까지 기업은 프레임워크 채택이 안전성을 입증한다고 주장해서는 안 된다. 대신 사용하는 통제 수단, 수행한 테스트, 여전히 관찰되는 한계를 설명해야 한다.

창업자와 구매자가 다음으로 주시해야 할 점

다음 시험대는 Sandia의 위험 언어가 반복 가능한 관행, 신뢰할 수 있는 파트너십, 더 명확한 시장 기대치로 이어지는지 여부다.

첫 번째 신호는 소규모 기업을 위한 구체적인 협업 경로다. Sandia는 업계가 보증 수요를 충족할 수 있는 지점과 국립연구소가 공백을 메울 수 있는 지점을 파악하고 싶다고 밝혔다.

유용한 경로라면 대상 프로젝트, 제공 가능한 전문성, 데이터 처리 요건, 예상 산출물, 협업 일정을 정의할 것이다. 공개 사례 연구는 이 모델을 더 쉽게 평가하게 해줄 것이다.

이러한 세부 사항이 나온다면 패널의 핵심 주장을 강화할 것이다. 국립연구소의 방법론이 논의를 넘어 상업적 개발을 지원할 수 있음을 보여줄 것이다.

경로가 나타나지 않는다면, 이 행사는 가치 있는 대외 활동으로 남겠지만 운영 측면의 도움은 제한적일 것이다. 스타트업은 여전히 자체 테스트 프로그램을 구축하거나 외부 전문가를 고용해야 한다.

두 번째 신호는 실제 애플리케이션에 연결된 기술 검증이다. 창업자들은 프롬프트 인젝션, 데이터 유출, 모델 조작, 안전하지 않은 도구 사용, 일반적인 테스트 조건 밖의 행동을 다루는 공개 평가를 주시해야 한다.

가장 유용한 작업은 긍정적인 점수만이 아니라 실패 조건과 잔여 위험을 보고할 것이다. 테스트 후 무엇이 바뀌었는지, 완화 조치가 또 다른 공격 주기에서도 유지됐는지 설명해야 한다.

이러한 증거는 신뢰할 수 있는 AI가 경쟁 우위를 만든다는 주장을 강화할 것이다. 기업이 반복 가능한 결과를 제공할 때 구매자는 공급업체를 더 자신 있게 비교할 수 있다.

증거가 부족하면 그 주장은 약해진다. 특히 모든 공급업체가 비슷한 약속을 하는 상황에서 보안 언어만으로는 한 제품을 다른 제품과 구별할 수 없다.

세 번째 신호는 광범위한 프레임워크에서 더 명확한 고객 및 규제 기대치로의 이동이다. NIST는 AI RMF 1.0을 개정하고 있으며 사이버보안과 핵심 인프라를 위한 추가 프로필을 개발하고 있다.

창업자들은 엔터프라이즈 설문지, 조달 요건, 보험 검토, 산업별 규칙이 유사한 증거를 요구하기 시작하는지 추적해야 한다. 수렴은 어떤 통제 수단에 조기 투자가 필요한지에 대한 불확실성을 줄일 것이다.

분절화는 더 큰 부담을 만들 것이다. 스타트업은 모든 고객, 규제기관, 파트너로부터 서로 다른 평가 형식에 직면할 수 있다.

구매자도 그 결과를 형성하는 역할을 한다. 구매자는 공급업체에 어떤 모델과 데이터 소스가 워크플로를 지원하는지, 시스템이 어떤 행동을 수행할 수 있는지, 공급업체가 접근 경계를 어떻게 테스트하는지 물어봐야 한다.

모델 업데이트 이후 어떤 일이 일어나는지도 물어봐야 한다. 제공업체가 행동을 바꾸거나 애플리케이션에 새로운 도구가 추가된다면, 이전 평가는 제한적인 보호만 제공한다.

개발자는 추가되는 모든 권한을 새로운 보안 결정으로 다뤄야 한다. 어시스턴트를 이메일, 소스 코드, 고객 기록, 연구소 데이터에 연결하면 실패의 결과가 달라진다.

지식 근로자도 이러한 경계를 이해해야 한다. 어떤 정보가 AI 시스템에 들어갈 수 있는지, 어떤 출력에 독립적인 검토가 필요한지에 대한 명확한 신호가 필요하다.

Sandia의 패널은 이러한 질문을 해결하지 못했다. 대신 스타트업이 이를 미루기 더 어렵게 만들었다.

가장 오래 지속될 교훈은 AI 보안이 모델을 둘러싼 완전한 운영 체계를 포괄한다는 점이다. 데이터, 지침, 소프트웨어, 권한, 사용자, 모니터링은 모두 결과에 영향을 준다.

이 교훈은 창업자가 지금 해야 할 일도 명확히 한다. 시스템을 정의하고, 영향이 가장 큰 실패를 순위화하고, 그 실패를 테스트하고, 권한을 줄이고, 증거를 보존하라.

그런 다음 새 기능마다 부여받는 권한이 정당한지 물어야 한다. 설득력 있는 데모는 보증 사례가 아니며, 제공업체의 명성은 애플리케이션 테스트를 대체하지 못한다.

기업이 이 원칙을 일상적인 제품 작업으로 전환할 때 Sandia의 AI 보안 지침은 가장 큰 의미를 갖게 될 것이다. 창업자들은 결과가 중대한 워크플로 하나를 선택하고 그 위험, 통제 수단, 테스트, 해결되지 않은 한계를 문서화하는 것부터 시작해야 한다.