Altman의 연구자 공감에도 OpenAI 수학 발견은 계속될 전망

Sam Altman은 AI가 생성한 결과가 수학자들에게 부담을 주고 있음에도 OpenAI 수학 발견은 계속 대중에게 공개돼야 한다고 말한다. 그의 입장은 공감의 범위를 분명히 한다. 연구자들이 새 연구를 소화하기 어렵다는 이유만으로 근본적인 지식을 감추지는 않겠다는 것이다.

10월 29일 공개된 Cheeky Pint 팟캐스트에서 Altman은 다음 날 The Verge의 보도에 따르면 지속적인 공개를 옹호했다. 그는 중대한 과학적 발견을 묵혀 두는 데 반대하며 “인류는 근본적인 지식을 누릴 자격이 있다”고 말했다. 그의 발언은 공개 범위나 일정은 밝히지 않은 채 추가 결과가 나올 가능성도 시사했다.

이 갈등은 AI가 어려운 문제를 풀 수 있는지 여부를 넘어선다. OpenAI는 발견과 공개를 우선시하는 반면, 우려하는 수학자들은 검증, 이해, 그리고 분야의 발전 방향에 대한 통제를 강조한다. Google의 Gemini 연구는 겉보기에 새로운 해법과 이미 알려진 수학을 재발견한 경우를 명시적으로 구분한다는 점에서 유용한 비교 대상이다. 이러한 노력 전반에서 답을 생성하는 일과 그 과학적 가치를 확립하는 일은 여전히 별개의 과제다.

Altman의 발언이 OpenAI 수학 발견에 관해 확정하는 것

Altman의 발언은 그가 선호하는 방향을 분명히 하지만, 어떤 수학적 결과도 그 자체로 검증하지는 않는다.

경영진 인터뷰는 정책, 과학적 증거, 미래 역량에 대한 기대를 뒤섞을 수 있기 때문에 이 구분은 중요하다. 발견을 공개해야 한다는 주장이 공개된 모든 원고에 정확하고 독창적이며 중요한 발견이 담겼음을 의미하지는 않는다.

The Verge의 수학 공개 논쟁 보도에 따르면, Altman은 연구자들의 불편함을 인정하면서도 과학 지식에 대한 더 폭넓은 공익을 옹호한다. 따라서 이 인터뷰는 누가 공개 조건을 결정해야 하는지를 둘러싼 이견을 더욱 선명하게 드러낸다.

그의 입장은 이해할 만한 호소력을 지닌다. 시스템이 유효한 결과를 만들어냈다면 이를 비공개로 유지하는 것은 다른 이들이 검토하거나 확장할 기회를 막을 수 있다. 회사 밖의 연구자들은 볼 수 없는 연구를 평가할 수 없다.

그러나 공개에는 의무도 따른다. 원고에는 결과에 대한 정확한 진술, 활용 가능한 논증, 적절한 인용, 그리고 수정 사항을 처리할 절차가 필요하다. 문서를 공개하는 것은 과학적 검토를 시작하는 일이지, 그 검토를 끝내는 일은 아니다.

추가 발견이 나올 것이라는 전망도 마찬가지로 신중하게 다뤄야 한다. Altman의 발언은 미공개 연구 결과의 독립 감사를 거친 목록을 제시하지 않는다. 추가 연구가 언제 공개될지, 얼마나 많은 전문가 검토를 받을지도 확정하지 않는다.

따라서 독자들은 지속적인 공개에 대한 그의 약속과 비공개 연구 파이프라인의 내용에 관한 주장들을 구분해야 한다. 전자는 공개적 입장이다. 후자는 개별 결과에 연결된 증거가 필요하다.

실질적인 질문은 이 약속이 OpenAI에 무엇을 요구하느냐이다. 지속적인 공개가 정책이라면, 그 공개물의 품질은 점점 더 중요해진다. 연구자들은 자신의 관심이 어디에서 과학적 가치를 낳을지 판단할 수 있을 만큼 충분한 정보가 필요하다.

자신의 연구에 핵심적인 문제를 해결한 듯 보이는 원고를 받은 전문 연구자를 생각해 보자. 연구 계획을 바꾸기 전에 그 연구자는 가정을 이해하고, 논리를 검토하며, 기존 문헌과의 관계를 확인해야 한다.

공개 발표만으로는 그 일을 대신할 수 없다. 경영진의 자신감 역시 해당 결과가 재사용 가능한 방법을 제시하는지, 아니면 좁게 설정된 사례만 해결하는지를 알려주지 않는다.

이 때문에 공감만으로는 논쟁이 해결되지 않는다. 연구자들에게는 접근성, 문서화, 책임성, 지원에 관한 실행 가능한 답이 필요하다. Altman의 인터뷰는 발견을 계속해야 하는지에 대한 그의 답을 제시하지만, 그러한 실행상의 질문은 남겨 둔다.

연구자들이 마주한 것은 답의 문제만이 아니라 관심의 문제다

부담은 낯선 논증을 신뢰할 수 있고 공유 가능한 수학 지식으로 바꿔야 하는 사람들에게 돌아간다.

연구 공동체는 새 연구를 내려받는 것만으로 이를 흡수할 수 없다. 전문 연구자들은 결과가 무엇을 의미하는지, 증명이 성립하는지, 그 아이디어가 다른 수학과 어떻게 연결되는지를 판단해야 한다.

9월 11일 선언문 A Severe Misalignment은 이러한 관점에서 이의를 설명한다. 서명자들은 문제 해결이 개념적 이해를 발전시키는 더 깊은 목적에 기여한다고 주장한다. 설명, 공로 인정, 통합이 뒤처지는 상황에서 산출물을 가속하면 그 목적을 훼손할 수 있다고 경고한다.

이 우려는 경쟁에 대한 직업적 불안 이상으로 진지하게 읽힐 필요가 있다. 정확한 답은 질문을 해결할 수 있지만, 왜 그것이 참인지에 대한 메커니즘을 연구자들이 확신하지 못하게 할 수 있다.

그 메커니즘을 이해하는 일은 원래 문제를 넘어 중요할 수 있다. 어떤 가정이 필수적인지 드러내고, 관련 질문을 제안하며, 다른 맥락에서도 논증을 활용할 수 있게 해 준다. 이러한 이점은 해석에 달려 있다.

학생들도 유사한 과제에 직면한다. 연구 문제는 질문을 구성하고, 접근법을 시험하고, 유망한 아이디어를 알아보는 법을 배우는 장을 제공하는 경우가 많다. 그 교육적 가치는 최종 결과를 얻는 데 그치지 않는다.

AI가 생성한 해법은 그 환경을 바꾼다. 지도교수는 프로젝트 방향을 바꿀지, 새로운 논증을 연구할지, 또는 인접한 질문을 찾을지 결정해야 한다. 이러한 결정에는 수학과 교육 훈련 모두에 대한 판단이 필요하다.

그 어느 것도 연구자들이 어려운 문제에 대한 독점적 접근권을 유지해야 한다는 뜻은 아니다. 다만 문제의 미해결 상태가 사라지는 것은 데이터베이스 항목 하나 이상을 바꾼다는 점을 보여 준다.

부담은 분야마다 다르기도 하다. 어떤 결과는 비교적 소수의 연구자만 갖춘 전문성을 요구할 수 있다. 따라서 공개된 원고라도 관련 전문 연구자들의 지속적인 노력 없이는 평가하기 까다로울 수 있다.

그 전문 연구자들에게 관심은 서로 경쟁하는 용도를 가진다. 새로 공개된 논증을 해석하는 데 쓴 시간은 다른 프로젝트, 학생 지도, 또는 기존 연구에 대한 신중한 해설에 동시에 쓸 수 없다.

이는 조정의 문제를 낳는다. 결과를 생산하는 조직은 공개 시점과 규모를 선택할 수 있다. 그 결과를 평가하기에 가장 적합한 사람들은 두 선택 모두에 거의 영향을 미치지 못할 수 있다.

건설적인 대응은 그 작업을 가시화하는 것이다. 검증, 설명, 종합은 과학적 기여로 인정받아야 하며, 이를 수행하는 사람들에게 적절한 인정이 주어져야 한다.

수학 밖의 지식 노동자들에게도 이 패턴은 익숙하다. AI는 문서 생산을 가속할 수 있지만, 검토자들은 증거를 확인하고 모호성을 해소할 책임을 계속 진다. 산출량이 늘어난다고 전체 업무량이 자동으로 줄어드는 것은 아니다.

따라서 OpenAI 수학 발견이 주는 교훈은 직업적 대체보다 더 넓다. 기관은 AI가 업무를 어디로 옮기는지, 누가 이를 떠안는지, 그리고 그 사람들이 충분한 자원을 받는지 이해해야 한다.

OpenAI 자문단은 비공개 연구에 선을 긋는다

OpenAI의 자문 관계에는 회사 정책 전반에 대한 포괄적 지지가 아니라, 접근할 수 없는 모델에 관한 명시적 이견이 담겨 있다.

OpenAI는 9월 21일 독립 수학 자문단을 소개했다. 회사는 이 단체가 연구 소통, 전문적 기준, 수학자 지원에 관해 자문할 것이라고 밝혔다. 또한 이 단체가 내부 수학 연구의 진전 속도를 결정하지는 않는다고 설명했다.

이 구분은 중요한 경계를 남긴다. 자문단은 발견이 연구자들에게 전달되는 방식에는 영향을 줄 수 있지만, 기반 연구가 얼마나 빠르게 진행되는지에 대해서는 권한이 없다. OpenAI의 수학 연구 감독 설명은 이 한계를 명시한다.

따라서 독자들은 자문을 합의로 받아들이지 않아야 한다. 회사는 전문가 조언을 구하고 그 일부를 채택하면서도, 자문단이 반대하는 관행을 계속할 수 있다.

자문단의 9월 29일 책임 있는 공개 권고안은 바로 이러한 긴장을 보여 준다. 자문단은 더 넓은 과학 공동체가 이용할 수 없는 독점 모델로 고급 수학 문제를 시험하는 연구소에 이의를 제기한다.

그럼에도 권고안은 그러한 연구가 이미 존재하는 현실적 상황을 다룬다. 이들은 책임 있는 공개와, 결과물에 대한 인간의 이해를 발전시키는 연구자 지원을 요구한다.

이 입장들은 양립할 수 있다. 자문단은 연구 체계에 반대하면서도 그 결과를 줄일 방법을 권고할 수 있다. 공개 기준을 마련하는 데 도움을 준다고 해서 그 체계 자체에 대한 반대가 사라지는 것은 아니다.

이 구분은 논쟁을 공개 대 비밀로만 규정하는 방식의 약점도 드러낸다. 비판자들은 기존 결과에 대한 접근을 지지하면서도, 왜 그 결과를 만들어내는 도구를 회사만 보유하는지 의문을 제기할 수 있다.

논증을 공개하면 연구자들은 검토할 대상을 얻는다. 기반 시스템에 접근하면 다른 기회가 생긴다. 스스로의 질문을 추구하고, 변형을 탐색하며, 예기치 못한 행동을 조사할 수 있기 때문이다.

이 기회들은 서로 대체될 수 없다. 공개된 결과물만 활용하는 연구자들은 어떤 질문을 조사하고 어떤 발견을 공개할지에 관한 원래 조직의 선택에 계속 의존하게 된다.

그 의존성은 학문의 자유에 대한 공식적 제한 없이도 분야의 의제를 형성할 수 있다. 회사의 선택 결정은 다른 연구자들의 우선순위에 영향을 주는 입력값이 된다.

그 결과 핵심 쟁점은 과학적 주체성이다. 누가 다음 질문을 던질 수 있는가, 누가 유용한 답을 얻을 수 있는가, 그리고 누가 그 답이 만들어진 방식을 검토할 수 있는가? 공개 문서는 그 질문의 일부에만 답한다.

강력한 시스템을 공개하는 데에는 정당한 복잡성이 있다. 더 넓은 접근권에는 배포와 책임 있는 사용에 관한 결정이 필요하다. 그렇더라도 이러한 복잡성이 연구 관계를 평가하는 데 있어 접근권의 중요성을 없애지는 않는다.

OpenAI 수학 연구에서 신뢰성의 시험대는 자문이 관찰 가능한 관행을 바꾸는지 여부다. 더 명확한 공개, 활용 가능한 접근 방식, 의미 있는 연구자 독립성은 자문 참여에 대한 언급만으로는 제공할 수 없는 더 강력한 증거가 될 것이다.

따라서 자문단의 역할은 그 복잡성 전체를 포함해 계속 가시적으로 다뤄져야 한다. 자문단의 참여는 전문성과 비판을 제공한다. 그것이 OpenAI의 결정에 대한 책임을 회사에서 수학 공동체로 이전하지는 않는다.

AI 수학 증명에는 정확성과 독창성을 위한 별도의 검증이 필요하다

설득력 있는 평가는 타당한 논증, 독창적 기여, 그리고 다른 연구자들이 활용할 수 있는 아이디어를 구분해야 한다.

이 기준들은 서로 겹치지만, 어느 하나도 다른 기준을 대체하지는 않는다. 증명은 정확할 수 있지만 이미 확립된 결과를 재현할 수 있다. 독창적인 논증도 이해하기 어렵거나 더 폭넓은 결론을 뒷받침하기에는 지나치게 좁게 구성될 수 있다.

Gemini 연구에서 유용한 비교 사례를 찾을 수 있다. 반자율적 수학 발견 연구는 1월에 제출되고 2월에 수정되었다. 저자들은 Erdős 문제 데이터베이스에서 미해결로 표시된 700개의 추측을 조사했다.

연구진은 겉보기에는 새로운 자율적 해법 5건과 기존 문헌에 이미 해법이 존재했던 사례 8건을 보고했다. 이들의 방법은 AI 기반 선별과 정확성 및 독창성에 대한 인간 전문가 평가를 결합했다.

저자들은 독립적인 재발견을 확인한 뒤 분류도 수정했다. 이 수정은 왜 헤드라인에 제시되는 건수를 신중히 해석해야 하는지를 보여준다. 공개 문제 데이터베이스 항목에 대한 겉보기 해답이 자동으로 새로운 수학적 발견이 되는 것은 아니다.

이 연구는 Gemini가 OpenAI보다 뛰어나다고 입증하지는 않는다. 두 프로젝트는 시스템, 질문, 방법, 평가 환경이 서로 다르다. 여기에서 더 관련성 높은 점은 홍보 과정에서 하나로 압축될 수 있는 범주들을 구분하는 사례를 제시한다는 것이다.

AI 수학 증명을 평가하는 독자에게 첫 번째 과제는 정확한 주장을 파악하는 것이다. 논증은 제시된 문제를 해결하는가, 제한된 버전을 해결하는가, 아니면 서로 다른 가정을 둔 관련 질문을 다루는가?

다음 과제는 추론을 검토하는 일이다. 그럴듯한 설명은 빠진 단계를 감출 수 있다. 익숙하게 들리는 수학 언어가 각각의 추론이 실제로 따라 나온다는 보장은 아니다.

독창성을 판단하려면 또 다른 조사가 필요하다. 연구자들은 관련 선행 연구를 찾아 주장된 기여가 이미 알려졌는지, 부분적으로 확립됐는지, 또는 다른 용어로 제공됐는지를 판단해야 한다.

마지막으로 과학적 유용성에는 해석이 필요하다. 결과가 다른 이들이 응용할 수 있는 방법을 제시할 수도 있고, 더 넓은 의미가 여전히 불분명한 까다로운 논증을 제공할 수도 있다.

이러한 구분은 보도 방식에도 반영되어야 한다. 기업이 제안한 해법을 확정된 발견으로 묘사하면 해결되지 않은 검토 과정을 감출 수 있다. 모든 재발견을 실패로 묘사하면 유용한 문헌 검색의 가치를 간과하고 이를 독창적 연구와 혼동할 수 있다.

컴퓨터 검증은 또 하나의 층위를 더한다. 형식 증명은 논증을 특정 정의와 가정 아래에서 소프트웨어가 검증할 수 있는 정확한 명제로 변환한다.

이 과정은 논리적 단계에 관해 귀중한 확신을 제공할 수 있다. 다만 인코딩된 명제가 원래의 수학적 질문과 일치하는지에 대해서는 여전히 주의가 필요하다.

공학적 비유는 이 한계를 분명히 하는 데 도움이 된다. 소프트웨어는 의도된 요구 사항을 충족하지 못하면서도 테스트 모음을 통과할 수 있다. 명세가 불완전하더라도 테스트 자체는 올바르게 실행될 수 있다.

마찬가지로 검증된 수학적 산출물은 자신이 내세우는 정리와의 명확한 연결이 필요하다. 연구자들은 그것이 의존하는 가정이나 보조 결과도 이해해야 한다.

적절한 대응은 자동적인 수용도 자동적인 기각도 아니다. 개별 주장은 개별 평가가 필요하며, 제안된 논증, 검증된 산출물, 전문가 검토, 수용된 기여 사이의 구분이 명확히 드러나야 한다.

이 기준은 과장된 주장을 억제하는 만큼 유용한 AI 연구도 보호한다. 신중한 검토를 견뎌낸 연구는 광범위한 발표만으로는 제공할 수 없는 더 분명한 과학적 정체성을 얻는다.

공개는 과학적 책임의 시작이다

OpenAI의 공개 관행은 평가할 수 있는 구체적 증거를 제공하지만, 독립적인 수용을 대신할 수는 없다.

10월 6일 공개에서 OpenAI는 내부 모델의 수학적 결과를 담은 공개 리포지터리를 설명했다. 10월 15일 업데이트에서는 연구자들이 AI가 생성한 수학을 검토하고 발전시키도록 돕는 Simons Foundation 이니셔티브 지원을 추가했다.

이 회사는 수정 및 인용 절차, 연구 과정에 관한 추가 정보, 일부 논증의 컴퓨터 검증 가능 버전도 설명했다. 향후 공개에서 출처 표기와 설명을 개선하겠다고 밝혔다. 이러한 약속은 수학적 결과 공개에 담겨 있다.

이러한 조치는 논쟁이 공개 이후 이어지는 작업과 관련돼 있기 때문에 중요하다. 더 나은 표현은 주장을 이해하는 데 필요한 노력을 줄일 수 있다. 수정 절차는 독자들에게 서로 단절된 버전을 남기는 대신 정정 사항을 눈에 보이게 만들 수 있다.

기업 외부에서 운영되는 지원 역시 실제 거버넌스 우려를 다룬다. 연구자들은 원 연구소의 해석에 이의를 제기하는 질문을 포함해 과학적으로 중요한 질문을 추구할 여지가 필요하다.

그러나 지원의 존재가 궁극적 영향을 입증하지는 않는다. 워크숍과 접근 프로그램은 참가자들이 실제로 무엇을 이해하고, 검증하고, 구축할 수 있는지를 통해 평가되어야 한다.

같은 구분은 리포지터리에도 적용된다. 공개 접근성은 검토를 가능하게 하지만, 리포지터리가 존재한다는 사실만으로 모든 원고가 독립적 검토를 받았다는 뜻은 아니다.

독자에게는 상태에 대한 명확한 설명이 필요하다. 제안된 결과, 수정된 논증, 컴퓨터 검증 증명, 동료 심사 논문은 서로 다른 평가 단계를 설명한다.

이 단계들을 서로 대체 가능한 것으로 취급하면 이후의 모든 사람에게 혼란을 초래한다. 결과를 인용할지 결정하는 연구자에게 필요한 정보는 AI 역량에 관한 일반적 논의를 따르는 사람에게 필요한 정보와 다르다.

책임성에는 누가 질문을 처리하는지 식별하는 일도 포함된다. 전문가가 모호한 가정이나 가능한 빈틈을 발견한다면, 명확한 설명을 얻을 수 있는 신뢰할 만한 경로가 있어야 한다.

자동화된 응답은 한 단계를 설명하는 데 도움이 될 수 있지만, 책임은 여전히 누군가가 져야 한다. 과학적 신뢰는 해결되지 않은 이의 제기가 어떻게 공개 기록에 반영되는지를 아는 데도 일부 의존한다.

OpenAI 수학 발견의 경우, 이는 발표 이후 결과의 생애를 추적한다는 뜻이다. 원고는 개선되는가? 독립 연구자들은 그 핵심 논증을 받아들이는가? 이 연구는 다른 이들이 가르칠 수 있는 설명을 만들어 내는가?

이 질문들은 공개가 전적으로 유익하거나 본질적으로 해로워야 한다는 비생산적인 가정을 피한다. 공개는 가치 있는 증거를 제공하는 동시에 상당한 해석 작업을 만들어 낼 수 있다.

균형은 실행 방식에 달려 있다. 명확한 진술, 접근 가능한 보조 자료, 눈에 보이는 정정, 지속적인 협업은 공개 검토를 더 생산적으로 만든다.

지식 관리는 연구자들이 그 기록을 보존하는 데 도움이 될 수 있다. 검색 가능한 지식 기반은 발전 중인 프로젝트 전반에서 원문 논문, 검토 메모, 설명을 연결할 수 있다.

정리는 수학적 진실을 확립할 수 없다. 그 가치는 이해가 변화할 때 증거와 불확실성을 추적 가능하게 유지하는 데 있다. 문서가 팀이 충분히 읽을 수 있는 속도보다 빠르게 도착할 때 이 구분은 특히 유용해진다.

Altman의 계속하겠다는 약속 이후 주목할 점

다음으로 의미 있는 증거는 독립적 이해, 실질적으로 활용 가능한 접근성, 그리고 후속 공개의 품질과 관련될 것이다.

독립적인 수학계 수용부터 살펴보자. 앞으로 몇 달 동안 OpenAI 외부 연구자들이 공개된 연구에 대한 신중한 평가, 단순화된 논증, 정정 또는 확장을 발표하는지 확인해야 한다.

이러한 결과는 서로 다른 사실을 보여준다. 정정은 과학적 기록을 개선하면서 약점을 드러낼 수 있다. 더 짧은 증명은 결과를 검토하고 가르치기 쉽게 만들 수 있다.

확장은 또 다른 신호를 제공한다. 연구자들이 해당 연구로 새로운 일을 할 만큼 충분히 이해했다는 의미다. 이는 발표를 반복적으로 언급하는 것보다 더 강력한 통합의 증거다.

즉각적인 수용이 없다고 해서 성급히 해석해서는 안 된다. 어려운 수학에는 시간이 걸린다. 침묵만으로 결과가 틀렸거나, 쓸모없거나, 이해 불가능하다고 입증할 수는 없다.

그럼에도 기업의 설명에 대한 지속적인 의존은 핵심 우려를 해결하지 못한 채 남길 것이다. 더 넓은 공동체가 아이디어를 자체적으로 다룰 역량을 갖추는지가 관건이다.

다음으로 접근 방식을 지켜봐야 한다. OpenAI는 연구자 지원 계획과 결과를 낸 시스템의 책임 있는 공개를 위한 노력을 설명했다. 실질적인 세부 사항이 이러한 방식이 어느 정도의 과학적 주체성을 제공하는지 결정할 것이다.

유용한 접근은 선별된 결과를 보는 것 이상을 의미한다. 연구자들은 자신이 선택한 질문을 탐구하고, 보고된 역량이 자신의 작업에도 적용되는지 시험할 기회가 필요하다.

제한 사항, 자격 규정, 이용 가능한 자원은 누가 참여할 수 있는지를 좌우할 것이다. 공개적으로 설명된 방식이라면 일반적인 권한 부여 약속보다 이러한 영향을 더 쉽게 평가할 수 있다.

더 폭넓고 실질적으로 활용 가능한 접근은 OpenAI의 발견이 분야를 지원할 수 있다는 주장을 강화할 것이다. 접근이 여전히 좁다면 사적 역량과 공적 평가 사이의 불균형은 대체로 그대로 남을 것이다.

마지막으로 다음 공개 자체를 살펴봐야 한다. 읽기 쉬운 정리 진술, 충분한 인용, 명시적인 검토 상태, 비형식적 논증과 컴퓨터 검증 자료 사이의 명확한 관계를 찾아야 한다.

이러한 특징을 개선한 공개라면 피드백이 관행을 바꾸고 있음을 보여줄 것이다. 기본적인 평가를 어렵게 남겨 둔 채 양만 강조하는 또 다른 발표는 비판자들의 우려를 강화할 것이다.

이 신호들 가운데 어느 것도 과학적 진보가 멈춰야 한다고 가정할 필요는 없다. 새 결과를 생산하는 기관이 그 결과를 신뢰할 수 있고 유용하게 만드는 데 필요한 작업도 지원하는지를 묻는다.

개발자와 엔터프라이즈 구매자에게 이는 연구 주장을 평가하는 실용적 기준을 제공한다. 무엇이 생산됐는지, 누가 검토했는지, 무엇이 여전히 불확실한지, 다른 이들이 과정의 의미 있는 부분을 재현할 수 있는지를 물어야 한다.

OpenAI 수학 발견을 따라갈 때도 같은 원칙을 적용하라. 발표를 넘어 결과의 상태, 가정, 독립적인 반응을 살펴보라. 공개 이후 등장하는 설명과 정정을 따라가야 한다. 그것들이 주장이 공유된 지식으로 발전하는 과정을 보여주기 때문이다. 기업의 자신감과 전문가 평가를 분리하고, 유용한 접근성을 홍보가 아니라 참여의 증거로 다뤄야 한다. Altman은 발견을 계속하겠다는 선호를 분명히 했다. 다음 판단은 연구 자체와 이를 검토하는 연구자들에게 달려 있다. 다음 결과가 도착하면 구체적인 질문을 던져야 한다. 연구소 밖의 사람들이 그것을 검토하고, 가르치고, 확장할 만큼 충분히 이해할 수 있는가?