Claude Code Beep Locator, 사람의 도움으로 숨겨진 경보음을 찾아내다
Simon Willison은 Claude Code를 사용해 숨겨진 가정용 삐 소리의 위치를 찾았으며, 기기 보정의 어려움에도 약 40센티미터 이내의 추정치를 얻었다고 전했다. 그의 Claude Code beep locator 프로젝트는 일반 기기들을 하나의 공동 청취 시스템으로 연결했다. 이 결과는 소프트웨어가 코딩 에이전트에 물리적 증거에 대한 접근권을 제공하는 구체적인 사례다.
Willison은 11월 9일자 삐 소리 위치 추적 기록에서 보관 상자들 사이에서 오래된 일산화탄소 감지기를 찾아낸 과정을 설명한다. 이 실험은 당면한 문제를 해결했다. 동시에 그의 집을 넘어 중요한 차이를 드러냈다. 그럴듯한 애플리케이션을 생성하는 일과 자체 측정값을 검증할 수 있는 무언가를 만드는 일은 다르다.
유용한 비교 대상은 2007년에 발표된 음향 거리 측정 연구 BeepBeep까지 거슬러 올라간다. 기반 물리학은 코딩 에이전트보다 앞서 존재했다. 더 새로운 발전은 그 물리학을 중심으로 소프트웨어를 구성하고, 동작을 점검하며, 사용하는 과정에서 수정할 수 있게 된 점이다. 에이전트를 평가하는 개발자에게 이는 작업 중 이용 가능한 증거의 품질로 관심을 옮긴다.
Claude Code Beep Locator는 가정의 문제를 지도 위에 올려놓았다
Willison의 구성에는 iPad 두 대, 휴대폰, MacBook Pro, Surface Ultra가 사용됐다. Python 서버는 브라우저 연결을 통해 기기들을 조정했다. 자동 위치 설정은 까다로웠기 때문에, 그는 대략적인 위치를 수동으로 배치하는 모드를 추가했다.
중요한 결과는 완성된 소비자 제품이 아니라 실제로 조치할 수 있을 만큼 좁은 탐색 영역이었다.
이 구분은 이야기를 현실에 단단히 붙잡아 둔다. 상자를 뒤지는 사람에게 반드시 정확한 좌표가 필요한 것은 아니다. 유용한 추정치는 어느 더미를 먼저 열지 바꿀 수 있다. 실용적 가치는 시스템이 다음 행동을 뒷받침할 만큼 불확실성을 줄이는지에 달려 있다.
Willison은 목표음을 확인하기 전에 재생할 수 있는 녹음과 박수 테스트도 도입했다. 이러한 기능은 그가 인식하는 사건과 애플리케이션의 출력을 비교할 방법을 제공했다. 그가 보고한 결과는 독립적인 신뢰성 테스트가 없는 가정 내 관찰로 남는다.
이는 매력적인 인터페이스만 제시하는 사례보다 더 많은 정보를 제공한다. 지도는 부정확한 측정을 나타내면서도 설득력 있어 보일 수 있다. 알려진 위치에서 난 소리를 테스트하면 화면 표시와 실제 공간 사이의 불일치를 발견할 기회가 생긴다. 유용한 디버깅은 바로 그 불일치에서 시작된다.
이 프로젝트는 작업 완료에 외부 기준이 필요한 이유도 보여준다. 애플리케이션이 삐 소리의 위치를 찾았다고 알리는 것은 내부 결과다. 실제 물체를 찾아내는 일은 별도의 검증을 제공한다. 두 번째 관찰은 첫 번째 결과에 실질적 의미를 부여하지만, 일반적인 정확도를 입증하지는 않는다.
독자에게 이 경계는 성공적인 결말만큼 중요하다. 이 실험은 이번 탐색에서 일어난 일에 관한 주장을 뒷받침한다. 다른 가정에서도 같은 결과를 얼마나 일관되게 얻을지, 또는 다른 사용자가 얼마나 많은 조정을 해야 할지는 입증하지 않는다.
따라서 합리적인 평가는 유용성과 재현성을 분리한다. 이 시스템은 제작자에게 유용했다고 전해진다. 재현성을 판단하려면 서로 다른 조건에서 추가 관찰이 필요하다. 이 두 진술은 프로젝트의 공학적 흥미를 낮추지 않고도 모두 성립할 수 있다.
이 사례는 “작동하는 소프트웨어”를 더 엄격한 범주로 만든다. 프로그램은 성공적으로 시작되고, 연결을 받아들이며, 결과를 그릴 수 있지만 물리적 사건을 여전히 잘못 이해할 수 있다. 여기서 성공은 예측과 컴퓨터 밖의 물체 사이에 관찰 가능한 관계가 있는지에 달려 있었다.
그 관계는 이 글의 핵심 긴장을 만든다. 코딩 에이전트는 문제를 조사하는 데 필요한 소프트웨어를 만들 수 있다. 그러나 조사는 여전히 측정, 검증, 그리고 그러한 측정이 신뢰할 만한지 판단할 수 있는 사람을 필요로 한다.
자신의 작업을 검증할 수 없는 에이전트에 압박이 가해진다
이 프로젝트의 더 넓은 의미는 피드백에 있다. 코딩 에이전트는 변경을 만들고, 그 결과를 관찰하며, 그 관찰을 사용해 다음 변경을 선택한다. 이 순환의 유용성은 에이전트가 무엇을 점검할 수 있는지에 크게 좌우된다.
개발자는 에이전트의 코드 생성 능력과 함께 증거 접근 능력도 평가해야 한다.
가령 이용 가능한 신호가 스크립트가 오류 없이 끝났다는 사실뿐인 가상의 디버깅 세션을 생각해 보자. 에이전트는 실행이 완료됐음을 확인할 수 있다. 그러나 스크립트가 의도한 사건을 올바르게 측정했는지는 확인할 수 없다. 이는 서로 다른 관찰을 요구하는 별개의 질문이다.
더 풍부한 환경은 중간 증거를 드러낸다. 개발자는 녹음 누락과 탐지 실패, 또는 탐지 실패와 위치 추정 오류를 구분할 수 있다. 이러한 분리는 다음 실험을 더 목적 있게 만든다. 또한 이후 사람이 설명을 평가하는 데에도 도움이 된다.
Anthropic의 에이전트 도구 설계 가이드는 의미 있는 도구 응답과 평가를 강조한다. 이는 Beep Locator의 독립적 검증이 아니라 해당 공급업체의 엔지니어링 입장이다. 그럼에도 이 실험을 해석하는 데 유용한 틀을 제공한다. 에이전트와 환경 사이의 인터페이스가 작업에 영향을 미친다는 것이다.
경쟁 구도는 Anthropic을 넘어선다. Google의 터미널 에이전트 아키텍처 발표는 공유 에이전트 백엔드와 함께 자사의 터미널 경험을 Antigravity로 가져오는 방안을 설명했다. 이들이 밝힌 방향은 에이전트가 더 큰 개발 환경 안에서 어떻게 작동하는지를 강조한다.
어느 발표도 이 가정용 작업에서 어떤 제품이 더 나은 성과를 낼지를 입증하지 않는다. 여기에는 통제된 비교가 없다. 중립적인 비교는 제품의 강조점에 관한 것이다. 에이전트 공급업체들은 주변 실행 환경을 자사 제품의 일부로 점점 더 설명하고 있다.
구매자에게 이는 실용적인 평가 질문을 제시한다. 에이전트가 작업이 완료됐다고 말할 때, 운영자는 어떤 증거를 점검할 수 있는가? 설득력 있는 설명은 유용하지만, 보존된 녹음, 재현 가능한 테스트, 또는 관찰 가능한 동작은 다른 수준의 검토를 뒷받침한다.
개발자에게도 같은 질문은 통합 우선순위를 바꾼다. 에이전트를 다른 서비스에 연결하는 일은 시작일 뿐이다. 그 연결은 그럴듯한 설명들을 구분하는 데 도움이 되는 정보를 반환해야 한다. 그렇지 않으면 추가 접근 권한은 불확실성을 해결하지 못한 채 추가 활동만 만들어낼 수 있다.
이 분석은 남은 작업을 누가 맡는지도 드러낸다. 엔지니어와 기술 사용자는 여전히 수용 가능한 결과를 정의해야 한다. 어떤 관찰을 인정할지, 어떤 실패에 개입이 필요한지, 결과가 어느 지점까지 잠정적인지를 결정해야 한다. 구현을 위임한다고 해서 그러한 결정이 자동으로 해결되지는 않는다.
따라서 Claude Code 오디오 분석은 워크플로 사례로서 흥미롭다. 그 중요성은 생성된 소프트웨어를 관찰 가능한 문제와 연결한다는 데서 나온다. 경쟁 제품에 가해지는 압박은 비슷한 검증을 단지 시연에서 쉽게 설명할 수 있게 하는 것이 아니라, 점검 가능하고 재현 가능하게 만드는 데 있다.
공유 녹음은 위치 추정을 가능하게 한다
공개된 Beep Locator 코드는 마이크 배열, 즉 소리에 관한 정보를 추론하기 위해 함께 사용하는 여러 마이크를 설명한다. 브라우저 오디오 기능이 청취 장치를 처리하고, 지속적인 양방향 네트워크 연결인 WebSocket이 이들을 Python 서버에 연결한다.
저장소는 소리가 서로 다른 마이크에 도달하는 시점을 비교하는 도착 시간 차이 분석을 설명한다. 청취 장치 코드는 페이지를 다시 불러오지 않고도 원격으로 교체할 수 있다. 이는 측정과 실험 모두에 직접적인 영향을 주는 구현 세부 사항이다.
이 메커니즘은 비교 가능한 녹음, 알려진 기기 위치, 그리고 점검 과정에서도 유지되는 시간 정보에 의존한다.
프로젝트의 삐 소리 탐지 코드는 초기 탐지와 이후 서버 분석을 분리한다. 주석은 청취 장치의 역할을 근사 탐지로 명시한다. 서버는 업로드된 오디오를 더 정밀하게 분석하기 전에 충분한 기기가 해당 사건을 들었는지 판단한다.
가능한 사건을 식별하는 일과 그 위치를 찾는 일은 다르기 때문에 이 구분은 중요하다. 탐지기는 올바르게 작동해도 위치 추정 단계는 실패할 수 있다. 반대로 정확한 위치 추정 소프트웨어도 무관한 소리의 녹음을 받으면 소용없다. 이를 별도 단계로 다루면 실패 원인을 더 쉽게 조사할 수 있다.
탐지기에는 신호를 주파수 성분으로 분리하는 계산인 고속 푸리에 변환이 포함돼 있다. 또한 저주파 성분을 줄이는 하이패스 필터도 포함한다. 이러한 전통적 신호 처리 기법은 인간과 같은 청각을 암시하지 않으면서 Claude Code 오디오 분석을 논의할 구체적인 기반을 제공한다.
이 설계는 유용한 해석을 이끈다. 에이전트의 소리 접근은 소프트웨어를 통해 매개된다. 에이전트가 내릴 수 있는 결론은 그 소프트웨어가 드러내는 정보에 달려 있다. 누락된 사건, 왜곡된 녹음, 또는 오해를 부르는 요약은 이후의 추론을 제한할 수 있다.
역사적 참고 사례는 그 점을 강화한다. BeepBeep 음향 연구는 일반 스피커와 마이크를 이용한 거리 측정을 연구했다. 저자들은 타이밍 문제를 해결하기 위해 양방향 감지, 자체 녹음, 샘플 계수를 결합했다. 이들의 연구는 특정하게 평가된 시스템에 관한 것이지, 이 브라우저 기반 구현에 관한 것은 아니다.
둘 다 소리를 사용한다는 이유만으로 논문의 성능 결과를 더 새로운 프로젝트에 옮겨 적용하는 것은 오해를 불러일으킨다. 공유된 원리가 동일한 정확도를 보장하지는 않는다. 하드웨어, 소프트웨어, 실험 조건, 그리고 정확한 작업 모두가 결과가 입증하는 범위에 영향을 미친다.
이 이야기에서 이 논문은 기술적 선례를 제공한다. 범용 기기 기반 음향 측정에 연구 역사가 있음을 보여준다. 코딩 에이전트의 기여는 다른 곳에 있다. 즉, 확립된 접근법을 중심으로 애플리케이션을 구성하고, 그 결과물인 시스템의 반복 개선을 지원하는 데 있다.
원격 코드 교체는 이러한 반복 과정과 특히 관련이 있다. 공학적 추론으로서 실행 중인 실험을 유지하면 소프트웨어 변경마다 발생하는 중단을 줄일 수 있다. 이는 물리적 배치를 관찰 가능한 상태로 유지하면서 반복 조정의 여지를 만든다.
그렇다고 업데이트 후 검증의 필요성이 사라지는 것은 아니다. 측정 소프트웨어를 바꾸면 이후 결과의 의미도 바뀔 수 있다. 운영자가 각 관찰을 이를 만들어낸 소프트웨어 버전과 연결할 수 있을 때 실험은 평가하기 더 쉬워진다.
AI 지원 시스템을 통해 소리의 위치를 추정하는 AI sound localization은 시스템 수준에서 논의돼야 한다. 모델, 탐지기, 녹음, 위치 추정 로직은 각기 다른 기능을 수행한다. 이를 “AI가 들었다”로 뭉뚱그리면 검증이 필요한 부분이 가려진다.
인간의 판단은 실험 안에 남아 있었다
이 사례에서 인간의 역할은 결과의 필수적인 일부다. 누군가는 문제를 파악하고, 장비를 배치하며, 출력을 해석하고, 제안된 영역을 조사해야 했다. 이러한 행동은 소프트웨어만으로는 확립할 수 없는 정보를 제공했다.
인간의 확인은 결과가 그것에 달려 있을 때마다 운영 요건으로 간주해야 합니다.
그렇다고 소프트웨어의 기여가 사소해지는 것은 아닙니다. 도구는 충분한 정보를 가진 운영자에게 의존하면서도 수고를 덜어줄 수 있습니다. 많은 유용한 조사가 그런 방식으로 작동합니다. 보도에서 중요한 질문은 그 설명이 지원과 무인 운영의 경계를 얼마나 분명하게 밝히는가입니다.
이러한 시스템을 평가하는 유용한 방법은 인수인계를 살펴보는 것입니다. 소프트웨어는 무엇을 추론할까요? 운영자는 무엇을 확인할까요? 둘의 판단이 엇갈리면 어떻게 될까요? 명시적인 답변은 같은 워크플로가 다른 사용자의 상황에도 적합한지 판단하기 쉽게 만듭니다.
가령 가상의 시스템이 반복되는 음조를 정확히 감지했지만 이를 잘못된 이벤트에 연결했다고 가정해 봅시다. 더 정교한 위치 추정이 반드시 이 오류를 해결하지는 못합니다. 조사에는 먼저 의도한 소리를 식별할 신뢰할 수 있는 방법이 필요합니다.
또 다른 가상의 실패 사례는 기하학적 조건과 관련됩니다. 애플리케이션이 가정한 마이크 위치가 실제 위치와 다르다면, 시각적으로 정밀한 결과도 오해를 불러일으킬 수 있습니다. 화면에 표시된 점에 대한 신뢰는 그래픽의 선명도가 아니라 측정 과정에서 나와야 합니다.
이 사례들은 코딩 에이전트 보도에서 운영자 제어 기능이 주목받을 만한 이유를 설명합니다. 확인, 수정, 재생 기능은 주된 출력보다 덜 눈에 띄는 경우가 많습니다. 하지만 사람이 오류를 그냥 받아들이는 대신 조사할 수 있는지를 결정할 수 있습니다.
이 기능들은 효과적인 위임의 모습도 바꿉니다. 사용자가 의미 있는 통제권을 유지하기 위해 코드의 모든 줄을 지정할 필요는 없습니다. 대신 진행 전에 필요한 관찰을 정의할 수 있습니다. 그러면 중단 조건이 더 구체적으로 정해집니다.
기술 팀에게는 이러한 결정의 기록이 최종 구현만큼 중요할 수 있습니다. 가정, 실패한 접근법, 관찰된 결과를 보존하면 다른 엔지니어가 검토하고 이의를 제기할 자료가 생깁니다. 다듬어진 성공 요약만으로는 검토 기회가 줄어듭니다.
이러한 기록을 검색 가능한 지식 기반으로 정리하는 팀은 이전 증거를 더 쉽게 다시 살펴볼 수 있습니다. 관련성은 실용적입니다. 실험 작업은 당면한 과제가 끝난 뒤에도 그 추론에 접근할 수 있을 때 이점을 얻습니다.
Claude Code 비프음 위치 탐지 사례는 자율성의 더 유용한 의미도 시사합니다. 질문은 단순히 에이전트가 중단 없이 작동했는지가 아닙니다. 그 행동이 사용자의 목표를 뒷받침하는 관찰과 계속 연결되어 있었는지입니다.
에이전트는 많은 단계를 수행하면서도 거의 진전을 내지 못할 수 있습니다. 반대로, 충분한 정보를 갖춘 인간의 수정은 멈춰 있던 시스템을 유용하게 만들 수 있습니다. 통합된 워크플로를 평가하면 프롬프트 수를 세거나 생성된 코드의 양을 강조하는 것보다 두 가능성을 더 정확히 포착할 수 있습니다.
이는 유사한 프로젝트를 소개하는 모든 사람에게 분명한 책임을 남깁니다. 결과를 가능하게 한 지원을 설명해야 합니다. 그러면 독자는 소프트웨어가 모든 불확실성을 혼자 처리했다고 가정하지 않고 성과를 평가할 수 있습니다.
성공적인 검색이 일반적 신뢰성을 입증하지는 않는다
증거는 특정하게 보고된 결과를 뒷받침합니다. 서로 다른 방, 기기 조합, 사용자 전반에 걸친 공개된 오류 분포를 제공하지는 않습니다. 이 글은 시스템을 독립적으로 실행하지 않았으므로, 가정 내 성능은 여전히 Willison의 설명에 근거합니다.
성공적인 검색은 그 환경에서의 유용성을 보여주는 증거이지만, 일반적 신뢰성은 여전히 측정이 필요한 공개된 질문입니다.
이 구분은 이야기에서 가장 강한 부분을 보호합니다. 이 결과가 흥미로운 이유는 검토 가능한 소프트웨어로 실제 문제를 다루기 때문입니다. 이 접근법이 어디서나 일관되게 작동한다는 뒷받침되지 않은 주장은 필요하지 않습니다.
더 폭넓은 평가는 결과를 수집하기 전에 성공을 정의해야 합니다. 올바른 대략적 영역을 찾는 것, 좌표를 추정하는 것, 개별 물체를 식별하는 것은 서로 다른 결과입니다. 시스템은 첫 번째 목표를 충족하면서 다른 목표에는 미치지 못할 수 있습니다.
평가에는 실패도 포함해야 합니다. 그럴듯한 위치가 나타난 경우만 보고하면 성능을 해석하기 어렵습니다. 놓친 이벤트, 잘못된 일치, 상당한 개입이 필요했던 세션은 모두 도구 사용 경험에 영향을 줍니다.
보정은 별도로 평가할 가치가 있습니다. 세심한 조정 후에 작동하는 방법도 여전히 가치가 있을 수 있습니다. 하지만 조정에 드는 노력도 결과에 포함되어야 합니다. 그렇지 않으면 독자는 접근 가능한 유틸리티와 지속적인 기술적 주의가 필요한 실험을 구분할 수 없습니다.
같은 원칙은 반복 측정에도 적용됩니다. 변하지 않은 설정에서 나온 여러 출력이 독립적인 조건 전반의 성능을 반드시 입증하지는 않습니다. 유용한 평가는 한 세션 내 반복 관찰과 새로운 배치로 수행한 새 세션을 구분할 것입니다.
신뢰도와 정확성 사이에도 차이가 있습니다. 애플리케이션은 환경에 맞지 않는 가정에 의존하면서도 좁은 범위의 추정값을 제시할 수 있습니다. 검토자는 추정값의 표현 방식을 검증으로 간주하기보다, 그 추정값을 어떻게 확인했는지 물어야 합니다.
보고된 결과 중 어느 것도 안전 모니터링 기능을 확립하지 않습니다. 관련 결과는 소리의 출처를 찾는 것에 관한 것입니다. 그 결과를 경보의 상태나 환경에 관한 판단으로 확장하려면 별도의 증거와 다른 평가가 필요합니다.
업계 차원에서의 함의 역시 제한적입니다. 이 사례는 Claude가 물리적 문제 해결에서 다른 코딩 에이전트보다 뛰어나다는 점을 입증하지 않습니다. 다만 의미 있는 비교를 설계할 수 있는 사례는 제공합니다. 동일한 과제, 비교 가능한 접근 권한, 문서화된 개입, 관찰 가능한 결과입니다.
AI 소리 위치 추정은 출력이 물리적 위치를 가리키기 때문에 이러한 평가 문제를 분명하게 드러냅니다. 생성된 소프트웨어가 증거를 해석하는 경우라면 더 넓게 같은 추론이 적용됩니다. 결과는 이를 뒷받침하는 검증에 비례해 신뢰를 얻을 만합니다.
따라서 가장 강한 회의적 입장도 이 성과의 여지를 남깁니다. 이 애플리케이션은 제작자의 문제를 해결하는 데 도움이 된 것으로 보고됩니다. 답이 없는 질문은 이러한 성공 중 얼마나 많은 부분이 새로운 조건과 경험이 적은 운영자에게도 유지되는가입니다.
재현, 보정 개선, 재사용 가능한 피드백을 주시하라
다음으로 유용한 발전은 사례를 단지 더 인상적으로 보이게 하기보다 평가하기 쉽게 만드는 것입니다. 앞으로 몇 달간 독립적 재현, 문서화된 보정 개선, 재사용 가능한 피드백 인터페이스라는 세 가지 구체적 신호에 주목할 필요가 있습니다.
다음 단계는 다른 사람이 검토하고, 재현하고, 이의를 제기할 수 있는 증거입니다.
독립적 재현이 우선입니다. 별도의 사용자가 새로운 설정과 알려진 소리 위치를 문서화한다면, 원래 설명을 넘어서는 증거가 추가됩니다. 가장 유익한 기록에는 실패한 시도와 그 과정에서 필요했던 조정이 포함될 것입니다.
시스템이 반복적으로 검색 범위를 충분히 좁혀 도움을 준다면, 그 결과는 실용적 재사용 가능성의 근거를 강화할 것입니다. 광범위한 문제 해결 과정을 보여주는 보고서도 여전히 가치가 있습니다. 이는 현재 접근법이 어디에서 전문성이나 유리한 조건에 의존하는지 밝힐 것입니다.
다음은 보정 개선입니다. 위치 설정에 드는 노력을 줄이는 문서화된 변경과 알려진 위치를 기준으로 한 후속 검증은 눈에 보이는 약점을 해결할 수 있습니다. 관련 신호는 새로 설계된 지도가 아니라 설정이나 정확성에서 측정된 개선입니다.
기초 측정을 개선하지 않은 채 불확실성을 숨기는 업데이트는 신뢰를 약화시킬 것입니다. 반면 품질이 낮은 측정을 더 쉽게 알아볼 수 있게 하는 업데이트는 표시된 추정값의 정밀도가 때때로 낮아지더라도 엔지니어링 측면의 근거를 강화할 것입니다.
세 번째 신호는 재사용 가능한 피드백 인터페이스입니다. 개발자는 녹음을 보존하고, 중간 결과를 검토하며, 관찰을 소프트웨어 변경과 연결하는 방법에 주목해야 합니다. 이러한 인터페이스는 조사를 감사하고 조정하기 쉽게 만들 것입니다.
이러한 발전은 에이전트 도구에 관한 더 폭넓은 결론도 뒷받침할 것입니다. 증거에 대한 접근은 팀이 의도적으로 제공하고 평가할 수 있는 요소가 됩니다. 그것이 없다면 유사한 프로젝트는 겉보기 성공과 운영자 노력을 분리하기 어려운 시연으로 남을 위험이 있습니다.
이 신호들은 경쟁 에이전트를 비교하는 합리적인 틀도 제공합니다. 비교는 각 시스템이 관련 증거를 확보하는지, 그리고 그것이 초기 설명과 충돌할 때 적절히 대응하는지를 살펴봐야 합니다. 코드 생성 속도만으로는 과제의 상당 부분이 측정되지 않은 채 남습니다.
자신의 실험을 고려하는 독자에게 당장의 교훈은 구현을 위임하기 전에 외부 검증 기준을 정의하라는 것입니다. 어떤 관찰이 결과가 유용하다는 점을 보여줄지 결정하세요. 매력적인 답변이 그 기준을 충족하지 못할 때 알아차릴 수 있도록 충분한 증거를 보관하세요.
Claude Code 비프음 위치 탐지 프로젝트는 목표가 구체적으로 유지되었기 때문에 그러한 대화를 시작하기에 좋은 출발점입니다. 방 안 어딘가에서 소리가 났고, 누군가는 결국 제안된 영역을 확인했습니다.
그 관계를 염두에 두고 구현을 읽어보세요. 보고된 결과와 각 측정을 뒷받침하는 가정을 분리하세요. 어떤 결정에 사람이 필요했는지, 어떤 검증을 다른 운영자가 반복할 수 있는지 물어보세요. 자신의 작업에서 코딩 에이전트를 평가한다면, 관찰 가능한 종료 조건이 있는 과제를 선택하고 그 답변의 근거가 된 증거를 보존하세요. 유용한 결과와 설득력 있는 표시를 구분하게 해줄 것은 무엇일까요?



