Databricks LLM 악성코드 트리아지는 바이너리 사각지대를 해소하지만, 최종 판단은 여전히 맥락이 좌우한다

Databricks는 70회의 저비용 모델 테스트에서 탐지 실패율을 50%에서 4%로 낮춘 LLM 악성코드 트리아지 연구를 공개했다. 이러한 개선은 모델을 재학습하거나 더 비싼 대안으로 교체해서 나온 것이 아니다. 각 모델이 판단하기 전에 구조화된 바이너리 보안 지식을 주입한 결과다.

이 결과는 AI 지원 패키지 스캐닝에 깔린 일반적인 가정에 이의를 제기한다. 보안 판단이 약할 때 더 뛰어난 모델 지능이 언제나 가장 직접적인 해법은 아니다. 정적 분석이 올바른 증거와 해석 프레임워크를 제공하면, 더 작은 모델도 상당한 격차를 줄일 수 있다.

이 발견이 중요한 이유는 악성 npm 패키지가 항상 읽을 수 있는 JavaScript를 통해 동작을 드러내지는 않기 때문이다. 일부 패키지는 깔끔한 소스 파일, 신뢰할 만한 메타데이터, 익숙한 설치 스크립트 뒤에 컴파일된 실행 파일을 숨긴다. 이러한 주변 맥락은 지원을 받지 못한 모델을 자신감은 높지만 안전하지 않은 판단으로 이끌 수 있다.

10월 16일 2026년에 공개된 전체 실험은 이 실패를 직접 시험했다. Databricks는 설계된 네이티브 Node.js 페이로드를 사용해 7개 제공업체의 9개 모델을 평가했다. 이어 정적 증거를 바탕으로 만든 구조화된 플레이북인 역량 프로필의 유무에 따라 모델 판단을 비교했다.

따라서 핵심 경쟁은 한 모델과 다른 모델 간의 대결이 아니다. 지원 없는 LLM 추론과 도메인 특화 증거에 근거한 LLM 추론의 대결이다. Databricks는 이러한 차이가 숨겨진 자격 증명 탈취기를 차단할지, 아니면 허용 목록에 추가하라고 권고할지를 결정할 수 있다고 밝혔다.

Databricks LLM 악성코드 트리아지가 판단 맥락을 바꾸는 방식

Databricks는 모델에 바이너리 리버스 엔지니어링을 가르친 것이 아니라, 판단 전에 모델이 알고 있는 정보를 바꿨다.

회사의 파이프라인은 결정론적 보안 도구로 시작한다. YARA는 알려진 패턴을 찾기 위해 패키지 아카이브를 스캔한다. Semgrep은 JavaScript 소스를 검사하며, npm 메타데이터는 패키지와 선언된 목적에 관한 정보를 제공한다.

별도의 바이너리 분석 모듈은 컴파일된 아티팩트에서 증거를 추출한다. 시스템은 이 결과를 구조화된 프롬프트로 결합한다. 이후 LLM은 최종 판단과 이를 뒷받침하는 추론을 반환하며, 최대 세 번까지 추가 파일을 요청할 수 있다.

Databricks는 증거 추출과 모델 판단 사이에 역량 프로필을 추가했다. 각 프로필은 자격 증명 수집, 지속성 확보, 바이너리 위장, 네트워크 유출과 같은 악성 기법을 나타낸다. 관찰 가능한 조건을 의심, 악성, 심각 단계의 임계값과 비교해 점수를 매긴다.

프로필이 임계값에 도달하면, 시스템은 약 1,800토큰 분량의 구조화된 요약을 모델의 맥락에 추가한다. 모델은 여전히 최종 판단을 통제하며 프로필의 해석을 거부할 수도 있다. 주입된 자료는 고정된 분류가 아니라 전문가 브리핑 역할을 한다.

이 아키텍처는 LLM 보안 제품이 종종 혼동하는 두 작업을 분리한다. 정적 도구는 임포트, 파일 속성, 메타데이터, 코드 패턴을 식별한다. 언어 모델은 더 넓은 패키지 맥락 속에서 이러한 신호를 평가한다.

실험은 네이티브 Node.js 애드온으로 패키징된 다섯 가지 악성 페이로드 유형을 사용했다. 자격 증명 탈취기, 드로퍼, 리버스 셸, 암호화폐 채굴기 스텁, 지속성 메커니즘이 이에 해당했다. 자격 증명 탈취기는 6가지 난독화 수준으로도 제공됐다.

각 패키지에는 전문가 수준으로 보이는 메타데이터, 그럴듯한 README, JavaScript 바인딩, 표준 빌드 구성이 포함됐다. 이러한 요소는 일반적인 네이티브 모듈이라는 인상을 만들었다. 악성 동작은 컴파일된 .node 파일 안에 남아 있었다.

연구진은 각 모델에 대해 10개의 페이로드를 두 차례 실행했다. 한 번은 역량 프로필을 포함했고, 다른 한 번은 포함하지 않았다. 그 외 프롬프트, 바이너리 증거, 추론 설정, 페이로드 바이트는 변경되지 않았다.

저비용 계층은 Claude Haiku 4.5, Gemini 3.5 Flash, Gemma 3 12B, GPT-5.4-nano, Qwen3-Next 80B, GLM 5.3 Flash, Llama 3.1 8B 등 7개 모델로 구성됐다. Claude Sonnet 4.6과 Kimi K3는 더 높은 역량의 행동 기준선 역할을 했다.

역량 프로필이 없을 때 저비용 그룹은 70회 테스트 중 35회에서 연구의 탐지 임계값에 도달하지 못했다. 이 가운데 20건은 알려진 악성 페이로드를 정상으로 분류했다. 더 엄격한 악성 임계값에서는 70회 테스트 중 51회가 기준에 미달했다.

프로필 주입 후, 이 35건의 실패 중 32건이 탐지로 바뀌었다. 테스트한 어떤 모델도 설계된 페이로드에 대해 정상이라는 판단을 내리지 않았다. GPT-5.4-nano의 결과 세 건만 에스컬레이션 임계값 아래에 남았으며, 세 건 모두 의심으로 분류됐다.

이것이 Databricks LLM 악성코드 트리아지의 핵심 변화다. 모델은 새로운 가중치, 더 광범위한 학습, 일반적인 보안 강의를 받은 것이 아니다. 이미 패키지에서 추출한 증거와 연결된 간결한 해석을 제공받았다.

깔끔한 npm 패키지가 위험한 바이너리를 숨길 수 있는 이유

바이너리 사각지대는 무해해 보이는 패키지 맥락이 모델이 자신 있게 해석하지 못하는 증거보다 더 큰 비중을 차지할 때 나타난다.

Databricks는 2025년 11월부터 npm 악성코드 샘플을 수집하기 시작했다. 연구 코퍼스에는 OSV npm 악성코드 권고문으로 뒷받침된 11,413개 패키지 버전이 포함됐다. 대부분은 악성 소스 코드를 담고 있거나 외부 서버에서 페이로드를 가져왔다.

바이너리를 포함한 것으로 확인된 패키지 버전은 432개, 즉 3.8%에 불과했다. 이 작은 비중은 불균형적으로 큰 트리아지 문제를 만들었다. 바이너리를 포함한 패키지는 소스 코드만 포함한 패키지보다 단호한 악성 판단을 받지 못하는 비율이 두 배 이상 높았다.

보고된 비율은 바이너리 포함 패키지에서 14.4%, 소스 전용 패키지에서 6.2%였다. 이 차이가 중요한 이유는 컴파일된 파일이 읽을 수 있는 소스에서 이용 가능한 많은 신호를 제거하기 때문이다. 심볼이 제거된 바이너리는 분석가가 함수와 데이터를 해석하는 데 도움이 되는 심볼 이름도 생략한다.

npm 패키지에 네이티브 코드가 합법적으로 포함될 수 있다. 성능 라이브러리, 데이터베이스 바인딩, 이미지 도구, 터미널, 시스템 유틸리티는 정기적으로 컴파일된 구성 요소를 사용한다. 따라서 node-gyp-build를 호출하는 설치 스크립트가 자동으로 의심스러운 것은 아니다.

공격자는 이러한 정상성을 악용할 수 있다. 깔끔한 JavaScript 바인딩과 신뢰할 만한 패키지 설명 뒤에 악성 네이티브 동작을 배치할 수 있다. 패키지 수준의 일관성에 집중하는 모델은 이러한 정상 신호를 모호한 바이너리 임포트보다 더 강한 증거로 취급할 수 있다.

Databricks는 초기 탐지 실패 35건 모두에서 이러한 동작을 관찰했다. 각 실패 사례는 최소 두 가지 정상적인 맥락 신호에 의존했다. 그중 24건은 이러한 신호 네 가지를 함께 인용했다.

35건 모두 설치 스크립트를 표준적인 것으로 취급했다. 35건 모두 네이티브 애드온 패키징도 일반적인 것으로 판단했다. 32건은 메타데이터가 명시된 목적과 일치한다고 봤으며, 21건은 깔끔한 JavaScript에 의존했다.

14건에서 모델은 바이너리의 임포트를 일반적인 시스템 호출로 재해석했다. fopen, connect, gethostname 같은 함수는 합법적인 소프트웨어를 지원할 수 있다. 이들이 자격 증명 탈취를 나타내는지, 일상적인 네트워킹을 나타내는지는 조합과 주변 동작에 따라 결정된다.

난독화는 이러한 판단을 더 어렵게 만들었다. Databricks는 자격 증명 탈취 페이로드를 검사하기 더 까다로워질수록 일부 모델이 더 낮은 심각도를 부여했다는 점을 발견했다. 깔끔한 래퍼는 읽을 수 있는 상태로 남았지만, 유죄를 뒷받침하는 바이너리 증거는 접근하기 어려워졌다.

이 패턴은 ChatGPT-4o, Gemini Flash 2.5, Claude Sonnet을 포함한 더 광범위한 난독화 연구와 일치한다. 컴파일러 변환은 기저 프로그램 동작이 변하지 않았음에도 반복적인 분류 실패를 일으켰다.

심볼이 제거된 바이너리 맥락에 관한 연구는 관련된 과제를 설명한다. 심볼을 제거하면 안전하지 않은 동작을 찾고 검증하는 데 사용되는 맥락 신호도 사라진다. 분석 파이프라인이 한 번도 노출하지 않은 증거를 더 유창한 추론으로 재구성할 수는 없다.

패키지 레지스트리는 소프트웨어 종속성이 개발 및 프로덕션 환경으로 직접 이동하기 때문에 영향을 증폭시킨다. MITRE는 공급망 침해를 수신자가 받기 전에 소프트웨어, 제품 또는 전달 메커니즘을 조작하는 행위로 정의한다.

따라서 악성 패키지는 레지스트리, 종속성 그래프 또는 침해된 유지 관리자 계정으로부터 신뢰를 물려받을 수 있다. 설치되면 그 바이너리는 애플리케이션 권한으로 실행될 수 있다. 깔끔한 외형은 공격 표면의 일부가 된다.

역량 프로필이 정적 단서를 보안 맥락으로 바꾸는 방식

역량 프로필은 흩어진 기술적 단서를 모델이 평가할 수 있는 명시적 주장으로 변환하기 때문에 효과가 있다.

원시 임포트 목록은 의도를 설명하지 않는다. connect는 네트워킹을, fopen은 파일 접근을 나타낸다. 하지만 어느 함수도 단독으로 네이티브 애드온이 자격 증명을 읽어 다른 곳으로 전송한다는 사실을 모델에 알려주지 않는다.

역량 프로필은 이러한 관찰을 기법별 패턴으로 결합한다. 패키지 유형, 바이너리 형식, 임포트, 엔트로피, 문자열, 메타데이터, 소스 동작을 고려할 수 있다. 이후 가중 임계값은 결합된 증거가 보안 가설을 얼마나 강하게 뒷받침하는지 나타낸다.

이 과정은 검색 증강 추론과 유사하지만, 검색된 자료는 검토 중인 패키지에서 생성된다. 위협 보고서의 일반적인 발췌문이 아니다. 각 요약은 기법 정의를 해당 스캔에서 발견된 증거와 연결한다.

자격 증명 탈취 페이로드의 경우, 프로필은 바이너리 위장, 자격 증명 수집, 네트워크 유출, 환경 정찰을 포괄했다. 리버스 셸은 바이너리 위장과 리버스 셸 동작 프로필을 유발했다. 드로퍼는 네 개의 심각 프로필을 활성화했다.

이러한 구체성은 모델의 작업을 바꾼다. 프로필이 없으면 모델은 각 바이너리 아티팩트의 의미와 패키지 수준의 최종 판단을 모두 추론해야 한다. 프로필이 있으면 정적 로직이 첫 번째 해석 단계를 처리한다.

그런 다음 모델은 조합된 증거가 프로필의 결론을 뒷받침하는지 묻는다. 반대 증거를 고려하고, 패키지 래퍼를 평가하며, 조치를 선택할 수 있다. 이러한 분업은 모델 가중치에 기대되는 전문 지식의 양을 제한한다.

Qwen3-Next의 자격 증명 탈취기 결과가 이 효과를 보여준다. 프로필이 없을 때 모델은 난독화된 샘플을 0.98의 신뢰도로 정상으로 분류했다. 또한 패키지를 허용 목록에 추가하라고 권고했다.

네 개의 프로필을 주입하자, 같은 모델은 바이트 단위로 동일한 샘플을 0.98의 신뢰도로 악성으로 분류했다. 패키지 차단을 권고했다. 구조화된 도메인 맥락 외에는 아무것도 바뀌지 않았다.

이러한 반전은 평균 벤치마크 개선보다 더 중요하다. 높은 신뢰도의 허용 목록 권고는 이후 검토를 억제할 수 있다. 불확실한 탐지기를 잘못된 신뢰의 운영상 원천으로 바꾸는 셈이다.

실험은 합리화, 기각, 회피적 판단, 허구 생성이라는 네 가지 반복적인 실패 모드도 확인했다. 이 범주는 단순히 더 많은 모델 의견을 수집하는 방식이 문제를 안정적으로 해결하지 못하는 이유를 설명한다.

합리화는 9개 주요 모델 전체에서 수행한 90회 스캔의 약 37%에서 발생했다. 모델은 일반적인 패키징 세부 정보를 사용해 의심스러운 증거를 무마했다. 기각은 22%에서 나타났으며, 종종 바이너리 임포트를 완전히 무시했다.

헤징은 스캔의 16%에 영향을 미쳤다. 이들 모델은 위험을 감지했지만 의심스러운 판정에서 멈췄으며, 자동 차단 임계값에는 미치지 못했을 가능성이 있다. 더 높은 성능의 모델 응답을 포함해 약 23%에서는 허위 세부 정보 생성이 나타났다.

허위 세부 정보 생성은 또 다른 운영상 위험을 낳았다. 모델은 올바른 판정에 도달할 수 있지만 주소, 함수 또는 암호화 루틴을 지어낼 수도 있다. 이러한 잘못된 세부 정보는 감사 기록을 오염시키고 인간 조사자의 판단을 잘못된 방향으로 이끌 수 있다.

Gemini 3.5 Flash는 기능 프로필 없이도 10개의 페이로드를 모두 탐지했다. 그러나 Databricks는 여러 설명에서 조작된 기술 세부 정보가 발견됐다고 보고했다. 올바른 분류가 신뢰할 수 있는 포렌식 추론을 보장하지는 않았다.

이 결과는 증거 우선 설계를 뒷받침한다. 보안 파이프라인은 모든 주장에 대한 출처를 보존하고 추출된 관찰 결과와 모델의 해석을 구분해야 한다. 분석가는 판정을 실제 import, 섹션, 문자열 또는 소스 동작까지 추적할 수 있어야 한다.

유지 관리되는 기술 지식 베이스 역시 이 프로세스의 인적 측면을 지원할 수 있다. 팀에는 프로필 로직, 예외, 검토 결정 및 변화하는 공격자 기법에 관한 접근 가능한 기록이 필요하다.

더 저렴한 모델이 격차를 좁히지만, 지표에는 한계가 있다

비용 측면의 이야기는 실험 범위에서는 설득력이 있지만, 프로덕션 결과가 완벽한 이진 탐지를 입증하는 것은 아니다.

Claude Sonnet 4.6과 Kimi K3는 프로필 없이도 모든 제작 페이로드를 탐지했다. Databricks는 이들 기본 모델이 스캔당 예산형 모델 그룹보다 약 3배 더 많은 비용이 든다고 추정했다. 프로필 주입을 통해 대부분의 저렴한 모델은 이들과 같은 탐지율을 달성했다.

추가 증거에는 비용이 들었다. 예산형 모델은 프로필 주입 후 입력 토큰을 9%에서 34% 더 받았다. 대부분의 사례에서 출력 토큰 사용량도 증가했다.

더 성능이 높은 모델은 프로필이 탐색 범위를 줄여 주었기 때문에 때로 더 적은 리소스를 사용했다. Claude Opus 4.6은 프로필 없이 평균 약 10,551개의 입력 토큰을 사용했으며, 프로필 적용 시에는 7,214개를 사용했다. Kimi K3는 프로필 증거를 받은 뒤 출력 토큰을 13% 적게 생성했다.

이 수치는 더 나은 컨텍스트가 반복적인 파일 요청이나 장시간의 추론을 대체할 수 있음을 시사한다. 다만 이러한 이점은 정적 단계의 품질에 달려 있다. 약한 증거를 매끄러운 문장으로 바꾸는 것은 잘못된 결론을 더 쉽게 받아들이게 할 뿐이다.

통제된 벤치마크 역시 규모가 작다. 여기에는 5가지 동작 유형에서 가져온 제작 페이로드 10개가 사용됐다. 각 모델은 온도 0과 일관된 프롬프트 조건에서 각 조건별로 한 차례의 통제된 실행을 거쳤다.

호스팅 모델의 동작은 제공업체가 엔드포인트를 업데이트하면서 달라질 수 있다. Databricks는 절대적인 판정 결과가 특정 서빙 기간을 나타낸다고 인정했다. 가장 강력한 증거는 동일한 입력에 대한 같은 기간 내 차이다.

프로덕션 검증은 더 광범위하고 복잡한 관점을 제공한다. Databricks는 604개의 네이티브 바이너리를 포함한 OSV 확인 악성 npm 패키지 버전 470개를 식별했다. 이 집합에는 PE 파일 273개, ELF 파일 215개, Mach-O 파일 113개 및 식별되지 않은 형식 3개가 포함됐다.

모든 ELF 바이너리는 스트립 처리돼 있었다. 바이너리의 40%는 Go 또는 Rust로 컴파일됐고, ELF 파일 50개는 UPX로 패킹돼 있었다. 이러한 세부 사항은 하나의 보편적 네이티브 코드 규칙이 왜 약한 결과를 낳는지 보여 준다.

프로덕션 평가는 스캐너 판정이 있는 악성 패키지 버전 425개를 다뤘다. 또한 명백히 정상으로 보이는 패키지 287개에서 나온 패키지 버전 2,449개를 사용했다. 정상 후보는 월간 다운로드가 100만 건을 넘었으며 OSV에 한 번도 등장하지 않았다.

에스컬레이션 임계값에서 스캐너는 정밀도 0.77, 재현율 0.81, F1 점수 0.79를 보고했다. 악성 패키지 버전 425개 중 345개를 찾아냈다. 80개는 임계값 아래에 머물렀다.

정상 집합에서는 104건의 에스컬레이션이 발생했으며, 이는 해당 패키지 버전의 4.25%에 해당한다. 이 경보는 6개 패키지에 집중됐으며, 이는 서로 다른 정상 패키지 집합의 약 2%다.

4.25%의 검토율은 필터링된 트리아지 대기열에서는 관리 가능할 수 있다. 대규모 의존성 생태계의 모든 패키지 버전에 무차별적으로 적용된다면 비용이 커질 것이다. 운영 규모는 벤치마크 정확도만큼 중요하다.

라벨 역시 불확실성을 유발한다. OSV 권고문은 어떤 아티팩트가 페이로드를 담고 있는지 항상 식별하지 않은 채 패키지 버전을 악성으로 표시한다. 일부 패키지에는 무해한 타사 바이너리가 들어 있을 수 있으며, 실제 공격은 악성 JavaScript가 수행할 수 있다.

Databricks는 정상으로 판정된 프로덕션 패키지 20개 중 약 절반에 식별 가능한 타사 도구가 포함돼 있음을 발견했다. 예로 ripgrep, node-pty 및 NSIS installer plugins가 있다. 권고문은 패키지 수준에서는 여전히 정확할 수 있다.

따라서 보고된 재현율은 바이너리 분류의 순수한 척도가 아니다. 이는 패키지 수준 OSV 라벨에 대한 결정을 측정한다. Databricks는 실제 바이너리 성능이 더 높거나 낮을 수 있다고 명시적으로 밝혔다.

OpenSSF의 악성 패키지 데이터베이스는 OSV 형식의 공개 보고서를 제공하기 때문에 여전히 가치가 있다. 그러나 레지스트리 규모의 라벨은 바이너리 탐지기를 평가할 때 아티팩트 수준 검증을 대체할 수 없다.

보조 없는 모델 추론은 이제 압박받는 전략이다

이 연구는 LLM을 최종 추론 계층이 아니라 주된 분석가로 취급하는 보안 제품에 압박을 가한다.

모델 우선 설계는 통합 작업을 줄여 주기 때문에 매력적이다. 팀은 패키지 내용을 프롬프트에 넣고 판정을 요청한 뒤 자연어 설명을 표시할 수 있다. 하지만 이 단순함은 모델이 눈에 보이는 증거에 의존한다는 사실을 가린다.

컴파일된 페이로드는 이 약점을 드러낸다. 언어 모델은 디스어셈블리나 추출된 기능이 제공될 경우 이를 해석할 수 있다. 그러나 깨끗한 JavaScript와 전문적으로 작성된 메타데이터만으로 숨겨진 동작을 신뢰성 있게 추론할 수는 없다.

더 큰 모델을 구매하면 기본 탐지 성능은 개선될 수 있다. Databricks는 Sonnet과 Kimi가 프로필 없이도 모든 제작 페이로드를 탐지했다고 관찰했다. 하지만 두 고성능 기본 모델도 일부 스캔에서 허위 세부 정보를 포함한 추론을 생성했다.

이로 인해 두 가지 별도의 요구 사항이 생긴다. 탐지기는 올바른 에스컬레이션 결정을 내려야 한다. 또한 분석가가 검증할 수 있는 증거를 제공해야 한다.

기능 프로필은 의미 있는 조합에 주의를 집중시켜 첫 번째 요구 사항을 해결한다. 구조화된 정적 결과는 설명을 관찰 가능한 아티팩트에 고정해 두 번째 요구 사항을 뒷받침한다. LLM은 종합, 충돌 해결 및 우선순위 지정에 여전히 유용하다.

다수결 투표는 같은 수준의 보호를 제공하지 않는다. 난독화된 자격 증명 탈취기 샘플 하나에서 9개 모델의 판단은 정상, 의심스러움, 매우 의심스러움 및 악성으로 나뉘었다. 다수는 탐지 임계값 아래에 머물렀다.

여러 모델이 같은 정상 컨텍스트를 신뢰했기 때문에 이러한 오류는 상관관계를 보였다. 비슷하게 혼란스러운 판단자를 더 추가해도 독립적인 증거는 생기지 않았다. 투표는 그저 사각지점을 반복했을 뿐이다.

전략적 의미는 npm을 넘어선다. 보안 팀은 점점 더 LLM에게 경보, 소스 코드, 로그, 클라우드 구성 및 ID 이벤트를 해석하도록 요청한다. 모든 작업에는 범용 모델이 일관되게 적용하지 못할 수 있는 도메인 가정이 포함된다.

가장 방어 가능한 아키텍처는 추출, 해석 및 결정을 분리한다. 결정론적 도구가 사실을 추출한다. 버전 관리되는 프로필이 관련 조합을 해석한다. 모델은 컨텍스트를 해결하고 분석가가 볼 수 있는 판단을 생성한다.

그렇다고 프로필이 중립적이라는 뜻은 아니다. 작성자는 임계값, 가중치, 정의 및 예외를 선택한다. 공격자 역시 일반적인 규칙을 연구해 바이너리가 이를 트리거하지 않도록 적응할 수 있다.

빌드 시스템과 악성코드 기법이 바뀌면서 프로필은 낡을 수 있다. 오늘날 의심스러운 import 조합이 내일은 인기 있는 합법 프레임워크에 등장할 수 있다. 반대로 새로운 데이터 유출 방식은 오래된 시스템 호출을 중심으로 작성된 프로필을 피할 수 있다.

따라서 이 접근 방식은 위험의 일부를 모델 선택에서 지식 유지 관리로 옮긴다. 보안 팀에는 프로필 품질, 회귀 테스트 및 오탐 검토를 책임질 담당자가 필요하다. 각 규칙이 존재하는 이유를 설명하는 버전 관리 증거도 필요하다.

레지스트리 방어는 별도 계층으로 남는다. npm의 provenance guidance는 사용자가 지원되는 패키지가 어디서 어떻게 게시됐는지 검증하는 방법을 설명한다. 출처 정보는 아티팩트를 해당 소스 커밋 및 빌드 워크플로에 연결할 수 있다.

이 검증은 무단 또는 변조된 릴리스를 식별하는 데 도움이 된다. 그러나 승인된 소스나 컴파일된 동작이 안전하다는 점을 증명하지는 않는다. 악성코드 트리아지, 출처 정보, 유지관리자 보안 및 런타임 제어는 같은 공급망 문제의 서로 다른 부분을 다룬다.

구매자에게 핵심 질문은 더 이상 어떤 모델이 일반 보안 벤치마크에서 가장 높은 점수를 받는가가 아니다. 어떤 증거가 모델에 전달되는지, 주장이 어떻게 추적 가능한 상태로 유지되는지, 시스템이 불확실한 바이너리를 어떻게 처리하는지를 물어야 한다.

에스컬레이션 정책도 살펴봐야 한다. 자동화된 워크플로가 악성 분류만 차단한다면 의심스러운 판정은 보호 가치가 거의 없다. Databricks는 여러 모델이 위험을 인식했지만 운영 임계값을 넘지 못했음을 보여 줬다.

세 가지 신호가 접근 방식의 일반화 가능성을 시험할 것이다

다음 시험은 도메인 지식 주입이 낯선 악성코드, 레지스트리 규모 및 적대적 적응에도 견디는지 여부다.

첫 번째 신호는 실제 아티팩트 라벨링 악성코드에 대한 독립적 재현이다. 연구자에게는 악성 구성 요소가 JavaScript인지, 메타데이터인지, 설치 스크립트인지 또는 번들 바이너리인지를 식별하는 데이터셋이 필요하다.

이러한 라벨은 정밀도와 재현율 추정치를 더 정확하게 만들 것이다. 또한 프로필이 실제 페이로드를 탐지하는지, 아니면 단지 악성 패키지 라벨과 상관관계가 있는지를 드러낼 것이다. 더 강력한 아티팩트 수준 결과는 Databricks의 핵심 주장을 강화할 것이다.

두 번째 신호는 미확인 동작 및 툴체인에 대한 성능이다. Databricks는 제작된 공격 패턴 5개를 시험하고, 더 광범위한 OSV 기반 집합에서 전체 스캐너를 검증했다. 향후 시험에서는 프로필 개발 과정에서 전체 동작 계열을 제외해야 한다.

제외된 계열에서의 성공은 이 방법이 전이 가능한 보안 개념을 포착한다는 점을 보여 줄 것이다. 성능이 크게 떨어진다면 프로필이 주로 알려진 패턴을 위한 선별 규칙으로 작동한다는 뜻일 수 있다.

컴파일러와 플랫폼의 다양성도 중요하다. PE, ELF 및 Mach-O 파일은 서로 다른 메타데이터와 규약을 드러낸다. Go 및 Rust 바이너리도 정적 분석에 영향을 주는 방식으로 C 또는 C++ 아티팩트와 다르다.

기능 프로필 시스템이 일반화되면 공격자도 대응할 것이다. 이들은 눈에 띄는 import를 바꾸고, 실행을 지연시키며, 기능을 동적으로 로드하거나, 악성 동작을 다른 패키지 계층으로 옮길 수 있다. 각 적응은 정적 증거 요약을 약화할 수 있다.

세 번째 신호는 운영상 검토 비용이다. Databricks는 정상 패키지 버전 2,449개 중 104건의 에스컬레이션이 있었고, 그중 상당수가 6개 패키지에 집중됐다고 보고했다. 배포 데이터는 이러한 클러스터가 분석가 시간을 얼마나 소모하는지 보여줘야 한다.

지속 가능한 시스템은 관련 경보를 그룹화하고, 증거를 보존하며, 검토된 예외에서 학습해야 한다. 그렇지 않으면 완만한 패키지 수준의 오탐률도 버전과 환경 전반에서 반복 작업을 만들 수 있다.

팀은 집계 재현율뿐 아니라 심각한 누락도 모니터링해야 한다. Databricks의 프로덕션 스캐너는 OSV 라벨이 붙은 악성 패키지 버전 20개를 정상으로 판정했다. 일부는 번들 바이너리 외부에 페이로드가 있었을 가능성이 크지만, 불확실성은 여전히 중요하다.

증거 품질은 보고되는 지표가 되어야 한다. 포렌식 세부 정보를 지어내면서 올바르게 분류하는 탐지기는 완전히 신뢰할 수 없다. 향후 평가는 판정 정확도와 별도로 사실적 근거성을 평가해야 한다.

Databricks의 LLM 악성코드 트리아지는 추론 시점의 구조화된 전문 지식이 필요하다는 강력한 근거를 제시한다. 보안 파이프라인이 판단을 요청하기 전에 불투명한 증거를 해석할 경우, 더 저렴한 모델도 훨씬 나은 결정을 내릴 수 있음을 보여 준다.

프롬프트 시점의 지식이 바이너리 문제를 없앤다는 점을 입증하는 것은 아니다. 이러한 프로필은 정적인 가시성, 유지되는 규칙, 그리고 공격자가 탐색할 수 있는 임곗값에 의존한다. 프로덕션 레이블 역시 어떤 아티팩트가 악성이었는지에 관한 미해결 문제를 남긴다.

보안 팀은 이제 한 가지 실용적인 가설을 검증해야 한다. 더 큰 모델에 비용을 지불하기 전에, 더 나은 증거를 제공하면 기존 모델의 성능을 개선할 수 있는가? 검토를 거친 패키지로 평가 세트를 구축하고, 아티팩트 수준의 레이블을 보존한 뒤, 도메인 컨텍스트 유무에 따른 동일한 스캔 결과를 비교하라. 유용한 결과는 설득력 있는 설명이 아니다. 패키지는 깨끗해 보이지만 바이너리는 그렇지 않을 때도 견뎌내는, 추적 가능한 판정이다.