신경 시스템은 보류하거나 수정할 수 있다. 하지만 둘 다 잘하기는 여전히 어렵다

8월 6일 게시된 Horizon MachineLearning 토론은 각각의 시험 항목에 대해서는 수십 년간 연구가 이뤄졌음에도, 네 가지 시험을 모두 통과하는 하나의 시스템을 요구한다. 시스템은 미해결 명제를 보존하고, 그 출처와 판단 보류 이유를 유지하며, 관련 증거가 들어오면 이를 다시 검토하고, 무관한 변경은 피해야 한다.

이 조합은 일반적인 불확실성 추정보다 더 날카로운 과제를 제기한다. 모델은 단지 “모르겠다”고 말하는 데 그쳐서는 안 된다. 무엇이 아직 알려지지 않았는지를 정확히 기억하고, 왜 판단을 보류했는지 설명하며, 그 상태를 바꿀 수 있는 증거를 인식해야 한다.

원문 토론은 새로운 모델이나 실험 결과를 제시하지 않는다. 대신 여러 성숙한 분야를 엮어 구성한 연구 문제를 제시한다. 주목할 만한 점은 이들을 결합한 종단 간 평가가 아직 널리 받아들여지지 않았다는 사실로 보인다.

선택적 예측은 거부를 다룬다. 어트리뷰션은 출력과 증거를 연결한다. 연속 학습은 이후 정보를 처리한다. 모델 편집은 선택된 행동을 바꾼다. 진실 유지 시스템은 정당화를 추적하고 이에 의존하는 믿음을 철회한다.

각 분야는 필요한 장치의 일부를 제공한다. 하지만 어느 분야도 게시물에서 설명한 완전한 생애주기를 명확히 담당하지는 않는다.

이 공백은 배포된 신경 시스템이 변화하는 증거 위에서 점점 더 많이 작동한다는 점에서 중요하다. 의료 기록에는 새 검사 결과가 추가된다. 컴플라이언스 팀은 오래된 정책을 교체한다. 조사관은 새 문서가 나오면 주장을 재평가한다. 개인 지식 시스템은 시간이 지나며 신뢰성이 변하는 노트를 결합한다.

따라서 핵심 경쟁은 한 아키텍처와 다른 아키텍처의 대결이 아니다. 모듈별 성공과 생애주기 무결성의 대결이다. 개별 구성 요소는 같은 명제가 시간, 출처, 수정, 인접 지식 전반에 걸쳐 유지되어야 할 때까지는 충분해 보인다.

Horizon MachineLearning의 질문이 실제로 묻는 것

제안된 시험은 단순히 모델이 하나의 답변을 거부할 수 있는지가 아니라, 미해결 주장 하나의 생애주기에 관한 것이다.

시스템이 출처 S로부터 명제 P를 받는다고 하자. 시스템은 특정 이유 R 때문에 P를 참 또는 거짓으로 분류할 충분한 증거를 갖고 있지 않다.

일반적인 분류기는 낮은 신뢰도 점수를 반환할 수 있다. 선택적 예측기는 판단을 보류할 수 있다. 언어 모델은 이용 가능한 증거가 충분하지 않다고 답할 수 있다.

이러한 응답은 즉각적인 출력만 다룬다. 상호작용이 끝난 뒤에도 시스템이 P를 별개의 미해결 객체로 유지한다는 보장은 없다.

요구되는 행동은 지속성을 더한다. 시스템은 불확실성을 약하게 유지된 사실 연관으로 바꾸지 않고 P, S, R을 별도로 보존해야 한다.

또한 조건부 수정을 더한다. 새 증거 E는 기록된 보류 이유를 다루거나 관련 증거 상태를 달리 변경할 때에만 P를 다시 검토하게 해야 한다.

같은 근거 없는 주장을 반복하는 출처는 이에 해당해서는 안 된다. 인접 주제에 관한 무관한 정보가 수정을 촉발해서도 안 된다. 이후의 모순은 원래의 출처 정보를 조용히 덮어써서는 안 된다.

마지막으로 시스템은 부수적 변경을 제한해야 한다. P를 수정할 때 정당한 결과는 갱신하되 P에 의존하지 않는 주장은 보존해야 한다.

이 요구 사항은 관찰 가능한 네 가지 속성으로 나눌 수 있다.

첫째, 지속적인 인식론적 판단 보류는 시스템이 시간과 이후 질의 전반에 걸쳐 비확정 상태를 보존한다는 뜻이다. 모델이 나중에 P를 해결된 사실처럼 제시한다면 즉각적인 거부만으로는 충분하지 않다.

둘째, 출처 보존은 시스템이 P의 출처와 이를 받아들이지 않은 이유를 유지한다는 뜻이다. 생성된 텍스트에 붙은 인용은 이 요구 사항의 일부만 충족한다.

셋째, 증거 촉발 수정은 관련 증거의 변화가 통제된 상태 전환을 일으킨다는 뜻이다. 단순히 더 많은 텍스트에 노출되는 것만으로는 충분하지 않다.

넷째, 제한된 부수적 변경은 갱신이 적절한 하류 행동을 수정하면서도 무관한 역량을 저하하지 않는다는 뜻이다. 이는 모델 편집의 국소성과 닮았지만, 시간적·증거적 조건도 포함한다.

평가는 네 가지 속성을 함께 검증해야 한다. 네 개의 별도 벤치마크를 통과한다고 해서 하나의 시스템이 이들 간의 관계를 보존한다는 증거는 아니다.

이 구분은 중요하다. 파이프라인은 데이터베이스에 인용을 저장하면서도 생성 과정에서 이를 잃을 수 있다. 수집 단계에서는 불확실성을 정확히 추정하지만 이후에는 보류 상태를 버릴 수도 있다.

또한 새 증거에 따라 편집이 이뤄졌음을 입증하지 않은 채 성공적인 편집을 수행할 수도 있다. 같은 메커니즘이 검증된 정정만큼이나 쉽게 근거 없는 지시를 받아들일 수 있다.

따라서 이 질문은 기능의 집계 이상을 요구한다. 처음 접한 시점부터 이후 수정에 이르기까지 일관된 인식론적 기록을 유지하는 시스템이 가능한지를 묻는다.

선택적 예측은 첫 번째 결정을 해결할 뿐, 대기 기간은 해결하지 못한다

선택적 예측은 신경 시스템에 원칙적인 거부 옵션을 제공하지만, 표준 평가는 지속적 보류를 다루기에는 너무 이르게 끝난다.

선택적 분류는 예측기와 선택 함수를 결합한다. 모델은 처리 가능한 사례에는 답하고, 지나치게 위험하다고 판단한 사례에서는 판단을 보류한다.

연구자들은 일반적으로 위험-커버리지 상충 관계로 이 행동을 평가한다. 커버리지는 예측을 받는 사례의 비율을 측정한다. 선택적 위험은 받아들여진 사례 중 오류를 측정한다.

이 프레임워크는 일반적인 분류의 비용 큰 약점을 직접 다룬다. 모든 입력에 답하도록 강제된 모델은 어려운 사례와 신뢰성 있게 처리할 수 있는 사례를 구별할 수 없다.

SelectiveNet은 거부 옵션을 종단 간 학습의 일부로 만들었다. 저자들은 사전 학습된 네트워크에 신뢰도 임계값만 적용하는 대신 예측과 거부를 함께 최적화했다.

SelectiveNet 논문은 여러 분류 및 회귀 데이터셋에서 향상된 위험-커버리지 성능을 보고했다. 이 결과는 학습된 판단 보류를 위한 유용한 선례를 확립했다.

이후 연구는 보정된 신뢰도 추정기, 컨포멀 방법, 과업별 거부 목표를 통해 선택적 예측을 확장했다. 이러한 접근법은 답변이 지나치게 높은 추정 위험을 수반하는 시점을 판단할 수 있다.

그러나 거부 결정은 보통 하나의 입력과 하나의 평가 시점에 연결된다. 벤치마크는 시스템이 올바르게 판단을 보류했는지를 묻지, 그 뒤 미해결 항목에 어떤 일이 일어났는지는 묻지 않는다.

이 때문에 여러 질문이 남는다. 시스템은 명제를 미해결 상태로 저장했는가? 그 이유를 보존했는가? 다른 학습이나 상호작용 뒤에도 같은 상태를 다시 불러올 수 있는가?

불확실성 추정은 관련된 또 다른 경계를 제시한다. 인식론적 불확실성은 제한된 지식과 연관된 불확실성을 뜻하는 반면, 우연적 불확실성은 관측에서 제거할 수 없는 변동성을 뜻한다.

앙상블, 베이지안 근사, 보정 방법, 분포 외 탐지기는 불확실성의 서로 다른 측면을 추정한다. 그러나 불확실성 점수는 구조화된 정당화가 아니다.

확률이 0.5에 가깝다는 사실은 시스템이 증거를 갖고 있지 않은지, 상충하는 출처에 직면했는지, 출처를 신뢰하지 않는지, 혹은 주장을 해석할 수 없는지를 설명하지 않는다. 이러한 이유는 서로 다른 수정 촉발 조건을 뜻한다.

보정은 또 다른 부분적 선례를 만든다. 보정된 모델은 명시된 조건에서 보고한 신뢰도와 관측된 정확도 빈도를 일치시킨다.

이는 행동 여부를 결정하는 데 가치가 있다. 하지만 특정 명제가 왜 미결 상태로 남았는지에 대한 지속적인 기록을 만들지는 않는다.

컨포멀 예측조차 완전한 제안보다 더 좁은 보장을 제공한다. 명시된 가정 아래 커버리지 특성을 갖는 예측 집합을 만들 수 있다. 하지만 본질적으로 출처별 믿음 이력을 유지하지는 않는다.

이것이 문헌에서 첫 번째 주요 경계다. 선택적 예측은 지금 답할지 여부를 모델링한다. 제안된 생애주기는 기다리는 동안 무엇을 보존할지도 모델링한다.

이 대기 상태를 빈 출력으로 취급할 수는 없다. 여기에는 이후 행동에 필요한 정보, 즉 명제, 그 출처, 미해결 이유, 그리고 적격 증거 조건이 담겨 있다.

배포 시스템에서는 이 구분이 제품 동작을 바꾼다. 임상 보조 시스템은 “검사 결과가 존재하지 않는다”와 “검증된 두 검사 결과가 충돌한다”를 구분해야 한다.

정책 보조 시스템은 “규정이 침묵하고 있다”와 “제공된 문서의 권위가 불확실하다”를 구분해야 한다. 두 상황 모두 판단 보류를 정당화하지만, 요구되는 후속 증거는 서로 다르다.

선택적 예측은 초기 결정을 설명하는 데 가장 강력한 용어로 남는다. 지속적인 인식론적 판단 보류는 더 오래 지속되는 상태를 부르는 합리적인 이름이지만, 아직 표준화된 벤치마크 범주는 아니다.

출처 정보는 답변을 근거화할 수 있지만, 믿음 이력을 보존하지는 못한다

어트리뷰션 연구는 출력과 출처를 연결하지만, 출처 기반 근거화가 주장이 미해결로 남은 이유를 자동으로 보존하지는 않는다.

자연어 생성 연구는 출력이 식별된 증거로 뒷받침될 수 있는지를 점점 더 많이 평가한다. 이는 출처 정보와 밀접하게 관련되지만, 분석 단위는 흔히 생성된 텍스트다.

Attributable to Identified Sources 프레임워크는 외부 세계에 관한 주장을 제공된 출처에 비추어 검증 가능한 것으로 취급한다. 이 평가 과정은 인용된 출처가 출력을 뒷받침하는지, 그리고 그 출처가 식별 가능한지를 묻는다.

AIS 프레임워크는 대화형 질의응답, 요약, 표-텍스트 생성 전반에서 이 접근법을 검증했다. 이는 출처 기반 출력 평가를 위한 구체적인 언어를 제공한다.

검색 증강 생성도 관련 메커니즘을 추가한다. 검색기는 외부 문단을 선택하고, 생성기는 해당 문단을 조건으로 답변을 만든다.

일부 시스템은 문서 식별자나 인용 범위를 보존한다. 다른 시스템은 자연어 추론을 사용해 생성된 주장이 검색된 문맥에서 따라오는지 확인한다.

한 EMNLP 산업 논문은 Provenance라는 경량 사실성 검사기를 소개했다. 이 도구는 소형 추론 모델을 사용해 의심스러운 비사실적 출력을 특정 문맥 청크까지 추적한다.

Provenance 검사기는 국소적 출처 추적이 하류 정정을 지원할 수 있음을 보여준다. 이는 출력 실패와 그 증거를 연결하는 데 의미 있는 선례다.

그러나 출력 어트리뷰션과 믿음의 출처 정보는 서로 다른 질문에 답한다. 어트리뷰션은 어떤 출처가 이 생성된 문장을 뒷받침하는지를 묻는다. 믿음의 출처 정보는 시스템이 현재 왜 특정 인식론적 상태를 부여하는지를 묻는다.

시스템은 S를 인용하면서도 S가 신뢰할 수 없다고 판단되었다는 사실을 기록하지 못할 수 있다. 검색된 텍스트를 보존하면서도 수용을 막았던 정확한 충돌은 보존하지 못할 수 있다.

아예 답변을 생성하지 않을 수도 있다. 이 경우 기존 인용 평가는 채점할 대상이 없을 수 있지만, 미해결 기록은 여전히 중요하다.

따라서 출처 보존에는 인용 목록보다 풍부한 상태가 필요하다. 각 명제에는 출처 식별자, 수집 시점, 추출 문맥, 신뢰도 평가, 의존성 연결이 필요할 수 있다.

또한 부정적·절차적 정보도 필요하다. 시스템은 증거가 불충분했는지, 상충했는지, 오래되었는지, 출처의 전문성 범위를 벗어났는지, 또는 다른 조건에 의해 차단되었는지를 기록해야 한다.

이 메타데이터는 수정에 영향을 미칩니다. 더 최신의 문서는 오래된 정보를 해소할 수 있지만 권위를 확립하지는 못합니다. 권위 있는 출처는 신뢰성 문제를 해소할 수 있지만, 직접적인 모순 자체는 그대로 남을 수 있습니다.

데이터 계보에 관한 연구는 유용한 인프라 개념을 제공합니다. 데이터 계보는 시스템 전반에서 산출물이 어떻게 생성되고, 변환되며, 소비되었는지를 기록합니다.

하지만 계보는 대개 데이터셋, 특성, 학습 실행 또는 생성된 산출물에 관한 것입니다. 명제의 유보된 진실 상태를 반드시 모델링하는 것은 아닙니다.

지식 그래프는 또 다른 부분적 구조를 제공합니다. 지식 그래프는 주장, 출처, 타임스탬프, 관계를 명시적인 노드와 엣지로 표현할 수 있습니다.

명명 그래프와 재화는 개별 진술에 출처 정보를 연결할 수 있습니다. 이후 규칙 시스템은 이러한 주석을 바탕으로 결론을 전파하거나 철회할 수 있습니다.

문제는 신경 구성 요소가 이러한 구조를 압축할 때 나타납니다. 신경 표현은 유창한 검색을 지원할 수 있지만, 어떤 출처가 어떤 연관을 유발했는지는 가릴 수 있습니다.

새로운 신경 아키텍처가 필요하지 않더라도 외부 메모리가 중요할 가능성이 높은 이유가 여기에 있습니다. 시스템은 모델 가중치 외부에 인식론적 기록을 저장하고, 신경 모델은 검색, 비교, 생성에 활용할 수 있습니다.

이 설계는 지속적인 상태를 확률적 추론에서 분리합니다. 또한 출처 정보의 검토와 수정도 더욱 실용적으로 만듭니다.

대가는 통합의 복잡성입니다. 특히 모델 매개변수에 상충하는 학습 연관이 포함되어 있을 때, 개발자는 생성된 답변이 외부 기록을 준수하도록 보장해야 합니다.

잘 설계된 knowledge base는 사람이 검토할 수 있도록 출처 맥락을 보존할 수 있습니다. 그러나 그 자체로 증거에 민감한 신경 행동을 보장하지는 않습니다.

연구 공백은 그 경계에 있습니다. 출처 정보는 최종 답변 옆에 단지 표시되는 것이 아니라, 답변 보류와 이후 수정을 이끌어야 합니다.

진실 유지에는 의미론이 있고, 신경 학습에는 규모가 있다

고전적 신념 수정 시스템은 대부분의 신경 벤치마크보다 필요한 상태 전이를 더 직접적으로 설명합니다.

진실 유지 시스템은 신념, 그 정당화 근거, 그리고 가정 변경의 결과를 추적하도록 설계되었습니다. 이는 전체 요구사항에 가장 가까운 개념적 선례일 수 있습니다.

가정 기반 진실 유지 시스템은 대안적 맥락을 표현하고 결론을 뒷받침하는 가정들의 조합을 식별할 수 있습니다. 정당화 기반 시스템은 신념 간 의존성을 기록합니다.

전제가 무효화되면 그에 의존하는 결론을 철회할 수 있습니다. 이를 뒷받침하는 정당화가 여전히 유효하다면 관련 없는 결론은 그대로 유지됩니다.

이러한 동작은 부수적 변경이 제한된 증거 기반 수정과 유사합니다. 차이는 고전적 시스템이 보통 명시적인 기호 표현을 기반으로 작동한다는 점입니다.

신념 수정은 추가적인 용어를 제공합니다. 확장은 신념을 추가하고, 수축은 신념을 제거하며, 수정은 일관성을 복원하면서 신념을 통합합니다.

비단조 추론도 중요합니다. 비단조 시스템에서는 순수한 단조 논리와 달리 새로운 정보가 들어오면 결론을 철회할 수 있습니다.

Reddit 제안은 수정 이전에 별도의 요구사항을 추가합니다. 시스템은 명제나 그 부정을 받아들이지 않은 채 그 명제를 보존해야 합니다.

이는 다치 논리에서 명시적인 “미결정” 상태와 유사합니다. 또한 수용, 기각, 미결정 주장을 구분하는 논증 프레임워크와도 닮았습니다.

이러한 전통은 이미 판단 유보를 의미 있는 상태로 다룹니다. 또한 근거, 반대 논거, 의존성 구조를 보존할 수 있습니다.

신경 시스템은 두 가지 복잡성을 제시합니다. 첫째, 내부 지식은 대개 명시적 명제로 저장되지 않고 수많은 매개변수에 분산됩니다.

둘째, 출력은 프롬프트, 맥락, 디코딩, 그리고 학습된 패턴 간 상호작용에 따라 달라집니다. 하나의 연관을 업데이트하면 가시적인 의존성 그래프를 넘어 행동에 영향을 줄 수 있습니다.

신경기호 시스템은 통계적 학습과 명시적 추론을 결합하려고 합니다. 기호 메모리가 명제 수준의 상태를 보존할 수 있으므로, 자연스러운 아키텍처 방향을 제시합니다.

그러나 해결책을 신경기호적이라고 부른다고 해서 평가 문제가 해결되지는 않습니다. 시스템은 기호 기록을 노출하면서도 생성기가 그 기록과 모순되도록 둘 수 있습니다.

벤치마크는 의역, 맥락, 시간 단계, 관련 증거 전반에서 관찰 가능한 행동을 테스트해야 합니다. 또한 시스템이 공개하는 경우 저장된 출처 정보도 검사해야 합니다.

현실적인 테스트 순서는 낮은 권위의 출처에서 나온 모호한 주장으로 시작할 수 있습니다. 시스템은 답변을 보류하고 출처별 사유를 기록해야 합니다.

그다음 연구자들은 관련 없는 질의를 제시하고, 주의를 분산시키는 문서를 추가하며, 인접한 사실을 변경합니다. 유보 상태는 안정적으로 유지되어야 합니다.

이후 여러 유형의 증거를 제공합니다. 일부는 관련이 있지만 충분하지 않아야 합니다. 다른 일부는 명제를 뒷받침하지 않으면서 기록된 사유를 해소해야 합니다.

적격 증거만이 수정을 유발해야 합니다. 새 상태는 직접 질문, 의역, 유효한 하위 함의 전반에서 일관되게 나타나야 합니다.

마지막으로 연구자들은 관련 없는 행동에 변화가 있는지 테스트합니다. 또한 새 증거를 제거하거나 무효화했을 때 적절한 상태가 복원되는지도 확인합니다.

이 마지막 단계는 일반적인 지속 학습과 또 다른 차이를 드러냅니다. 새 데이터를 학습하는 것은 반증 가능한 정당화를 유지하는 것과 다릅니다.

지속 학습은 순차적 업데이트 이후 발생하는 광범위한 성능 손실인 파국적 망각을 줄이면서 새 작업이나 데이터를 습득하는 데 초점을 둡니다.

리플레이 버퍼, 매개변수 격리, 정규화는 기존 역량을 보존할 수 있습니다. 하지만 이러한 방법은 일반적으로 특정 증거가 특정 명제를 수정할 근거가 되는지 판단하지 않습니다.

이들은 시간에 걸친 학습을 보호합니다. 그러나 변경을 위한 인식론적 조건을 반드시 제공하지는 않습니다.

따라서 가장 근접한 엔드투엔드 시스템은 여러 전통을 결합할 가능성이 큽니다. 선택적 예측은 거부 결정을 제공하고, 명시적 메모리는 명제와 출처 정보를 보존합니다.

진실 유지 논리는 의존성과 수정 트리거를 관리합니다. 지속 학습이나 모델 편집은 그 이후 신경 행동이 어떻게 변화하는지 제어합니다.

통합 목표는 분명합니다. 열린 질문은 이러한 요소들이 하나의 일관되고 측정 가능한 계약을 만들어낼 수 있는지입니다.

국소 모델 편집은 부수적 변경 문제를 드러낸다

모델 편집은 표적 수정을 직접 측정하지만, 현재의 증거는 겉보기의 국소성이 더 넓은 손상을 감출 수 있음을 경고합니다.

지식 편집은 전체 모델을 재학습하지 않고 선택된 모델 행동을 변경하려 합니다. 일반적인 벤치마크는 편집의 성공 여부, 의역에 대한 일반화, 관련 없는 출력의 보존 여부를 테스트합니다.

신뢰성은 편집된 모델이 표적 질의에 대해 의도한 답을 반환하는지 묻습니다. 일반화는 동등한 표현이나 관련 맥락을 확인합니다.

국소성은 의도한 편집 범위 밖의 행동이 안정적으로 유지되는지 측정합니다. 이식성은 때때로 새 사실이 관련 상황에서 적절한 추론을 지원하는지 테스트합니다.

이러한 차원은 제안된 라이프사이클의 후반부와 밀접하게 일치합니다. 명제가 변경되고, 관련 행동이 뒤따르며, 관련 없는 지식은 온전하게 유지되어야 합니다.

하지만 모델 편집은 보통 주어진 목표 답변에서 시작합니다. 증거가 그 목표를 정당화했는지 또는 이전의 유보 사유를 해소했는지를 반드시 평가하지는 않습니다.

편집기는 하나의 사실적 연관을 다른 연관으로 대체하라는 지시를 받습니다. 인식론적 결정은 이미 방법론 밖에서 내려진 상태입니다.

따라서 편집은 수정이 언제 발생해야 하는지에 대한 완전한 설명이 아니라, 수정을 구현하는 메커니즘입니다.

ROME, MEMIT, MEND 및 관련 방법은 모델 행동을 변경하는 서로 다른 방식을 제공합니다. 일부는 선택된 가중치를 수정하고, 다른 일부는 학습된 편집기나 외부 메모리를 사용합니다.

이들의 벤치마크는 특히 효능, 일반화, 국소성, 이식성이라는 유용한 어휘를 만들어냈습니다. 이러한 용어는 미래 평가에서 제한된 변경 부분의 기준점이 될 수 있습니다.

그럼에도 최근 평가는 낙관적인 국소성 결과에 이의를 제기했습니다. NeurIPS 2024 연구는 표준 표적 및 이웃 테스트를 넘어 편집 이후의 더 광범위한 역량을 조사했습니다.

editing evaluation은 편집이 누적될수록 일반 벤치마크에서 성능 저하가 나타났다고 보고했습니다. 또한 편집된 모델에서 안전 행동이 약화되었음을 발견했습니다.

이 결과가 모든 편집 방법이 모든 배포 환경에서 실패한다는 뜻은 아닙니다. 이는 좁게 정의된 국소성 지표가 더 광범위한 행동 변화를 놓칠 수 있음을 보여줍니다.

2026년 프리프린트는 일반적인 특이성 프로토콜이 지식 보존을 충분히 민감하게 측정하는지 의문을 제기하며 이 우려를 더욱 구체화했습니다. 특이성은 편집 국소성을 가리키는 또 다른 용어입니다.

locality critique는 기존 프로토콜에 개념적·측정적 약점이 포함되어 있다고 주장합니다. 저자들은 더 민감한 평가 방식을 제안합니다.

이 증거는 Reddit 논의에서 가장 까다로운 요구사항을 뒷받침합니다. 제한된 부수적 변경은 소수의 관련 없는 질의 집합에서 성공했다고 해서 추론할 수 없습니다.

더 강력한 테스트는 표적과의 여러 거리를 포함해야 합니다. 직접 의역, 정당한 결과, 인접하지만 독립적인 사실, 먼 범위의 역량, 안전 행동을 포괄해야 합니다.

기대되는 결과도 거리에 따라 달라집니다. 직접 의역은 일관되게 변경되어야 합니다. 논리적 결과는 그 전제가 실제로 P에 의존할 때 변경되어야 합니다.

인접한 독립 사실은 안정적으로 유지되어야 합니다. 광범위한 역량과 안전 제약에는 중대한 저하가 없어야 합니다.

벤치마크는 전파와 부수적 손상을 구분해야 합니다. 관련 결과에 전혀 영향을 주지 않는 수정은 지나치게 좁고, 느슨하게 연관된 자료를 변경하는 수정은 지나치게 넓습니다.

출처 정보는 또 다른 어려운 사례를 추가합니다. 두 출처가 서로 다를 경우, 시스템은 하나의 전역 가중치 편집이 아니라 맥락 의존적 답변이 필요할 수 있습니다.

외부 메모리 계층은 경쟁하는 주장을 더 자연스럽게 보존할 수 있습니다. 그러면 검색은 시간, 권위, 관할권 또는 사용자 맥락에 따라 증거를 선택할 수 있습니다.

하지만 외부 메모리가 모델 행동 위험을 제거하지는 않습니다. 생성기는 검색된 증거를 무시하거나, 출처를 잘못 결합하거나, 기록이 뒷받침하는 것보다 더 큰 확신을 표현할 수 있습니다.

이는 단일 국소성 지표로는 이 문제를 해결할 수 없음을 시사합니다. 평가는 저장된 상태, 검색 행동, 생성된 주장, 하위 의사결정을 포함해야 합니다.

동일한 원칙은 knowledge blending에도 적용됩니다. 출처 경계와 충돌을 검토할 수 있는 상태로 유지할 때에만 정보를 결합하는 일이 유용합니다.

따라서 모델 편집이 제공하는 가장 강력한 선례는 방법론적입니다. 이는 표적 변경을 테스트하는 방법과, 좁은 평가가 얼마나 쉽게 통제력을 과장할 수 있는지를 보여줍니다.

세 가지 신호는 연구 공백이 좁혀지고 있음을 보여줄 것이다

이 분야에는 또 하나의 고립된 답변 보류 또는 편집 점수보다, 공유되는 종단적 벤치마크가 더 시급합니다.

첫 번째 신호는 독립된 예시가 아니라 명제의 이력을 중심으로 구축된 벤치마크입니다. 각 사례에는 출처, 유보 사유, 방해 요소, 후속 증거, 의존성 구조가 포함되어야 합니다.

벤치마크는 시간에 걸친 반복 상호작용을 테스트해야 합니다. 한 번의 응답만으로는 지속적인 인식론적 유보를 확립할 수 없습니다.

또한 불확실성에 대한 경쟁하는 사유도 포함해야 합니다. 증거 부족, 상충하는 증거, 낮은 출처 권위, 시간적 모호성, 개체 모호성에는 서로 다른 해소 조건이 필요합니다.

벤치마크를 통과하려면 적격 증거가 도착하기 전까지 미해결 상태가 안정적으로 유지되어야 합니다. 이후에는 정당화된 상태 변경도 요구됩니다.

두 번째 신호는 명시적인 트리거 테스트를 갖춘 출처 인지형 수정 정책이다. 연구자들은 어떤 증거 속성이 각각의 전환을 허용하는지 밝혀야 한다.

관련성만으로는 충분하지 않다. 한 문단이 P를 언급하더라도 보류의 이유를 다루지 않을 수 있다.

정책은 출처의 정체성, 증거의 독립성, 시점, 모순, 그리고 적용 분야에서 요구되는 경우 권위를 고려해야 한다. 이러한 조건은 계속 검토 가능해야 한다.

반사실적 테스트는 정책을 악용하기 어렵게 만들 수 있다. 연구자들은 텍스트는 유지한 채 출처 라벨을 바꾸거나, 출처는 유지한 채 텍스트를 바꿀 수 있다.

또한 하나의 주장 사본을 반복해서 제공할 수도 있다. 제대로 작동하는 시스템은 중복을 독립적인 확인으로 해석해서는 안 된다.

세 번째 신호는 더 폭넓은 부수적 변경 감사다. 이는 수정 이후의 불충분한 전파와 과도한 전파를 모두 측정해야 한다.

연구자들에게는 대상 질의, 패러프레이즈, 종속 주장, 인접 사실, 먼 과제, 그리고 안전성 검사가 필요하다. 이러한 테스트는 일련의 수정 이후에도 반복해야 한다.

이 감사에는 애플리케이션이 이를 지원하는 경우 가역성도 포함되어야 한다. 증거가 철회되거나 신뢰를 잃으면, 시스템은 그 증거에 의존했던 주장을 재평가해야 한다.

기존 동작을 단순히 덮어쓰는 모델은 그러한 의존성을 완전히 표현할 수 없다. 파라미터 외부에 명시적인 기록이 필요할 수 있다.

이러한 신호는 해당 분야들이 수렴하고 있다는 주장을 강화할 것이다. 반대로 이들이 없다면 문제가 여전히 파편화되어 있다는 현재의 결론을 뒷받침할 것이다.

개발자들은 시스템뿐 아니라 용어에도 주목해야 한다. 관련 연구는 선택적 예측, 귀속 생성, 시간적 지식 편집, 비단조 추론, 가역적 추론 또는 신념 수정이라는 이름으로 나타날 수 있다.

연구자들은 출처 추적, 계보, 진실 유지, 인식론적 상태 또는 의존성 지향 백트래킹이라는 용어도 사용할 수 있다. “AI abstention”만 검색하면 기반 연구의 상당 부분을 놓치게 된다.

기업 구매자에게 실무적 질문은 간단하다. 벤더가 시스템이 무엇을 믿지 않기로 했는지, 왜 그렇게 했는지, 그리고 이후 무엇이 그 입장을 바꾸었는지를 보여줄 수 있는가?

일반적인 신뢰도 점수로는 이에 답할 수 없다. 이전의 충돌을 잊어버리는 인용 인터페이스도 마찬가지다.

개발자에게 이 문제는 아키텍처에 영향을 미친다. 신경망 모델이 추출과 추론을 수행하더라도, 지속적인 인식론적 상태는 검토 가능한 메모리 계층에 두는 것이 타당할 가능성이 높다.

지식 노동자에게 출처를 보존하는 수정은 프로젝트가 발전하는 과정에서도 어시스턴트가 신뢰할 수 있는지 결정한다. 과거의 결정은 나중에 바뀌는 증거에 의존하는 경우가 많다.

현재 문헌은 모든 주요 구성 요소를 뒷받침한다. 선택적 예측은 보류를 뒷받침한다. 귀속은 출처 기반의 정당화를 뒷받침한다. 진실 유지는 정당한 철회를 뒷받침한다.

지속 학습은 시간적 적응을 뒷받침한다. 모델 편집은 표적화된 행동 변화를 뒷받침하며, 지역성에 관한 주의가 필요한 증거도 제공한다.

여전히 불분명한 점은 하나의 확립된 평가가 이미 이러한 구성 요소를 단일 프로토콜 아래 결합하는지 여부다. 8월 6일의 논의는 그러한 평가가 존재하지 않는다는 증명이 아니라 연구 질문으로 다뤄야 한다.

설득력 있는 답변에는 인접한 논문 목록 이상이 필요하다. 초기 보류부터 증거에 의해 촉발된 수정, 그리고 부수 효과 테스트까지 평가된 시스템을 식별해야 한다.

그러한 사례가 나타나기 전까지 가장 적절한 설명은 통합 격차다. 구성 요소는 존재하지만, 그 보장은 자동으로 결합되지 않는다.

연구자들은 명제 이력, 트리거 조건, 그리고 의존성을 인지하는 지역성 테스트를 공개해 이 격차를 구체화할 수 있다. 실무자들은 배포된 시스템에도 같은 증거를 요구할 수 있다.

다음에 어시스턴트가 증거가 부족하다고 말하면, 무엇을 보존했는지 물어보라. 이어서 정확히 어떤 증거가 그 상태를 바꿀지, 그리고 어떤 다른 결론이 함께 바뀔지를 물어보라.

이 질문들은 horizon machinelearning 논의를 운영 가능한 테스트로 바꾼다. 또한 “모르겠습니다”가 지속적인 인식론적 규율을 나타내는지, 아니면 단지 조심스러운 한 문장에 불과한지를 드러낸다.