Meta 비전 인코딩 연구, 사전 학습에 의문 제기
Meta FAIR와 NYU 연구진은 200개가 넘는 멀티모달 모델을 대상으로 한 통제 실험에서 별도의 비전 사전 학습이 거의 이점을 제공하지 않았다고 보고했다. 이들의 Meta 비전 인코딩 연구는 모델이 이미 학습된 시각 구성 요소를 갖춰야 이미지를 효과적으로 이해할 수 있다는 익숙한 가정에 이의를 제기한다. 저자들에 따르면, 시각 처리가 어떻게 학습됐는지보다 전용 시각 처리 자체가 더 중요하다.
이 구분은 상충하는 아키텍처 선택지를 분리한다. 이미지를 언어 모델이 처리할 수 있는 표현으로 변환하는 구성 요소인 비전 인코더에는 여러 결정이 결합돼 있다. 별도 학습 단계를 없애는 일은 이미지용으로 할당된 파라미터를 없애는 일과 다르다.
Google의 Gemma 4 12B는 일반적인 인코더 없이 이미지 패치를 처리한다는 점에서 참고 사례가 된다. 새 연구는 이 공개 모델을 경쟁 모델과 비교해 순위를 매기지 않는다. 대신 연구진이 데이터와 학습 예산을 통제했을 때 어떤 요소가 도움이 되는지 조사한다. 직접적인 대상은 무엇을 유지하고, 재학습하고, 제거할지 결정하는 모델 개발자들이다.
Meta 비전 인코딩, 결합된 세 가지 선택을 분리하다
연구진은 2026년 11월 12일 Unbundling Multimodal Vision Encoding을 arXiv에 제출했다. Ellis Brown, Chris Hoang 및 공동 연구진은 이미지와 텍스트를 모두 처리하는 모델을 살펴본다. 이들의 핵심 질문은 현재 어떤 상용 모델이 벤치마크를 선도하는지가 아니라 시각 능력이 어디에서 비롯되는지에 관한 것이다.
이 연구는 인코더의 학습 이력, 전용 처리 역량, 모델 내 위치를 분리한다.
학습 이력은 시각 구성 요소가 언어 모델과 결합하기 전에 별도로 학습되는지를 말한다. 전용 처리 역량은 학습 중 조정되는 값인 파라미터 가운데 이미지 입력만 사용하는 것을 뜻한다. 위치는 이미지와 텍스트가 상호작용하기 전 처리되는지, 아니면 공유 처리 시스템 내부에서 처리되는지를 설명한다.
이러한 결정은 일반적인 인코더에서 함께 도입되는 경우가 많다. 따라서 이 구성 요소를 하나의 객체로 평가하기는 어렵다. 이를 제거했을 때 성능이 떨어져도, 그 결과만으로는 어느 요소가 중요했는지 알 수 없다. 모델이 유용한 사전 학습, 특화된 처리, 혹은 둘 다를 잃었을 수 있다.
저자들은 언어 모델과 시각 구성 요소를 동일한 데이터로 직접 학습해 이 모호성을 해소한다. 이들은 모델을 만드는 학습 단계 전반에서 소비된 연산량을 뜻하는 전체 수명 연산량을 기준으로 구성을 비교한다. 따라서 인코더 사전 학습도 같은 전체 예산에 포함된다.
이 계산 방식은 질문을 바꾼다. 구성 요소는 이후 학습 단계를 개선할 수 있지만, 전체 예산 측면에서는 비효율적인 사용일 수 있다. 반대로 별도로 학습된 구성 요소는 그 이점이 공동 학습의 결과를 능가한다면 비용을 정당화할 수 있다. 이 실험은 통제된 조건에서 어느 배분이 더 효과적인지를 묻는다.
주요 비교는 17억 개와 40억 개 파라미터를 가진 언어 백본을 사용한다. 백본은 모델의 중심 처리 네트워크다. 추가 확장 실험은 6억 개부터 64억 개 파라미터까지의 밀집형 백본을 다룬다. 밀집형은 네트워크가 서로 다른 입력에 따라 별도의 전문가를 선택적으로 활성화하지 않는다는 뜻이다.
평가에는 모델이 이미지에 대한 질문에 답하는 시각 질의응답과 언어 테스트가 함께 포함된다. 연구진은 Cambrian 시각 벤치마크 16개와 텍스트 벤치마크 12개를 보고했다. 언어 성능을 희생해 이미지 처리를 개선하는 것은 다른 종류의 절충을 의미하므로 이 점은 중요하다.
이 결과는 제품 출시가 아니라 아키텍처에 대한 조사다. 독자는 이제 새로운 다운로드 가능한 어시스턴트가 기존 모델을 대체한다고 추론할 수 없다. 달라진 점은 미래 시스템이 시각 처리를 어떻게 배분해야 하는지 결정할 때 활용할 수 있는 근거다.
이 구분은 실험이 제목 이상으로 중요한 이유도 설명한다. 완성된 모델을 비교하면 어떤 완성 패키지가 특정 작업에서 더 나은 성능을 보이는지 알 수 있다. 설계 선택을 분리하면 왜 한 패키지가 작동하는지, 다른 팀이 어떤 부분을 채택해야 하는지를 다룰 수 있다.
모델 개발자가 마주한 더 구체적인 설계 질문
압박은 “사전 학습된 인코더”와 “인코더 없음”만을 가능한 선택지로 여기는 팀에 가해진다.
이 연구는 공유 처리와 이미지용으로 예약된 처리 사이의 더 유용한 구분을 제시한다. 모델은 특화된 시각 파라미터를 유지하면서 별도의 시각 사전 학습을 포기할 수 있다. 또한 그 파라미터를 언어 백본 내부로 옮기면서도 모든 파라미터를 텍스트에 동일하게 사용할 수 있도록 만들지 않을 수 있다.
그 결과 아키텍처 팀은 더 까다로운 비교를 수행해야 한다. 시스템 다이어그램에서 상자를 제거한다고 해서 그 상자가 수행하던 기능까지 반드시 사라지는 것은 아니다. 더 단순한 다이어그램은 특화된 처리를 다른 구성 요소 안에 숨길 수 있다. 결과 시스템을 평가하려면 어떤 연산이 남아 있는지 추적해야 한다.
Google의 Gemma 4 architecture는 광범위한 라벨을 신중하게 다뤄야 하는 이유를 보여준다. 기술 보고서는 원시 이미지 및 오디오 패치를 받아들이는 인코더 없는 12B 모델을 설명한다. 같은 모델 계열에는 인코더가 포함된 변형도 있다. 하나의 출시물 안에서도 아키텍처 결정은 보편적이지 않다.
Kimi K3는 연구가 논의하는 또 다른 경로를 보여준다. 즉, 시각 인코더를 유지하되 처음부터 공동 학습하는 방식이다. 해당 multimodal model report는 네이티브 비전 기능을 갖춘 더 폭넓은 시스템을 설명한다. 어느 출시물도 인코더 사전 학습의 기여를 분리하는 데 필요한 통제 비교를 제공하지는 않는다.
이 사례들은 실험을 결론짓지 않으면서 업계 맥락을 확립한다. 서로 다른 데이터, 규모, 학습 일정, 구현 선택 때문에 명확한 인과 비교는 어렵다. 성공한 공개 모델은 하나의 레시피가 작동할 수 있음을 보여준다. 그러나 그 레시피의 모든 재료가 필요했다는 사실을 입증하지는 않는다.
연구팀에 실질적인 시사점은 관련 요소를 직접 검증하라는 것이다. 목표가 학습 단계를 줄이는 것이라면 사전 학습 제거는 별도의 비교가 필요하다. 목표가 특화 연산을 줄이는 것이라면 전용 처리 역량 제거에는 별도 테스트가 필요하다.
인프라 팀에게는 아키텍처가 어떻게 실행되는지도 질문에 포함된다. 평가에서 유사하게 작동하는 설계라도 메모리 요구나 스케줄링 제약은 달라질 수 있다. 이러한 배포 고려 사항은 모델의 파라미터 수를 넘어선 측정이 필요하다.
기업 구매자도 비슷한 해석 문제에 직면한다. 아키텍처 라벨만으로는 모델이 자사의 다이어그램을 정확히 읽는지, 문서 모음을 안정적으로 처리하는지 알 수 없다. 최종 능력에 얼마나 많은 학습 연산이 기여했는지도 드러내지 않는다.
기술 지원 스크린샷용 모델을 선택하는 팀을 생각해 보자. 이 작업은 인터페이스 세부 사항을 인식하고 이를 작성된 지침과 연결해야 한다. 자사 모델이 더 새로운 아키텍처를 사용한다는 공급업체의 주장은 그 스크린샷을 직접 테스트하는 일을 대체할 수 없다.
같은 논리는 문서 어시스턴트를 만드는 개발자에게도 적용된다. 관련 질문은 아키텍처 단순화가 애플리케이션에 필요한 시각 정보를 보존하는지다. 이미지에서 오류가 있어도 일반 언어 답변은 여전히 유창하게 보일 수 있으므로, 이 질문은 특히 중요해진다.
따라서 Meta 비전 인코딩 연구는 설명의 부담을 바꾼다. 어느 경로를 지지하든 팀은 무엇을 제거했고, 무엇을 유지했으며, 어떤 결과가 개선됐는지 명시해야 한다. 인코더의 존재 여부만으로는 지나치게 거친 설명이다.
사전 학습을 건너뛴다고 특화 처리를 건너뛰는 것은 아니다
저자들에 따르면, 처음부터 공동 학습한 시각 인코더는 동일한 데이터로 사전 학습한 인코더와 비슷한 성능을 보인다. 인코더 없는 대안은 시각 이해에서 뒤처졌으며, 여기에는 제거된 인코더 파라미터를 보완하기 위해 공유 백본을 확장한 비교도 포함된다.
보고된 반전은 사전 학습에 관한 것이며, 보고된 이점은 특화된 처리 역량에 관한 것이다.
이러한 결과는 서로 다른 가정을 다룬다. 첫 번째는 별도의 시각 학습 단계가 레시피에서 자리를 차지할 만큼 가치가 있는지 묻는다. 두 번째는 더 큰 범용 네트워크가 이미지 특화 연산을 대체할 수 있는지 묻는다. 이를 “인코더는 불필요하다”로 합쳐 버리면 핵심 구분이 사라진다.
유용한 해석은 학습 구성과 파라미터 구성을 독립적으로 평가해야 한다는 것이다. 학습 구성은 서로 다른 구성 요소가 언제 학습하는지를 결정한다. 파라미터 구성은 어떤 입력이 어떤 학습된 값을 사용할 수 있는지를 결정한다. 하나를 바꾼다고 다른 하나까지 바꿀 필요는 없다.
이 구분은 모델 크기에 관한 쉽지만 오해의 소지가 있는 결론을 막는다. 파라미터를 추가하면 네트워크가 사용할 수 있는 자원은 늘어나지만, 그 배치와 사용 방식은 여전히 중요하다. 공유 파라미터는 이미지 처리뿐 아니라 언어 처리에도 기여할 수 있다. 시각 전용 파라미터는 더 좁은 역할을 맡는다.
통제된 결과는 테스트된 시각 작업에서 이처럼 더 좁은 역할을 지지한다. 다만 이는 특화 처리가 왜 도움이 되는지에 대한 보편적 설명을 확립하지는 않는다. 예를 들어 이 연구의 결과만으로는 격차를 초래한 모든 최적화 상호작용을 식별할 수 없다. 아키텍처 결과와 완전한 인과 이론은 서로 다른 기여다.
사전 학습에도 같은 주의가 적용된다. 이 실험은 별도로 학습된 시각 표현이 가치 없음을 보여주지 않는다. 제시된 통제 조건에서 테스트한 사전 학습 방식이 공동 학습 대비 이점을 제공하지 못했다고 보고할 뿐이다. 이는 범위가 명확한 중요한 발견이다.
학습 실행을 계획하는 팀에게 시사점은 기회비용에 관한 것이다. 인코더를 준비하는 데 쓴 연산은 고정된 예산 안에서 다른 곳에 동시에 사용할 수 없다. 레시피는 중간 구성 요소의 명성보다 최종 성능을 통해 그러한 배분을 정당화해야 한다.
구성 요소를 구축하는 것과 획득하는 것 사이에도 차이가 있다. 기존 인코더를 다운로드하는 팀은 원래의 학습 비용을 직접 부담하지 않는다. 따라서 전체 시스템을 공동 학습하는 편이 처음부터 더 나은 배분을 제공하더라도 재사용은 매력적일 수 있다.
이러한 관점은 서로 다른 질문에 답한다. 전체 수명 기준 계산은 완전한 레시피의 효율성을 평가한다. 다운스트림 개발자는 활용 가능한 구성 요소로 구축하는 데 필요한 자원을 평가한다. 어느 관점도 다른 관점을 무효화하지는 않지만, 혼합하면 오해의 소지가 있는 비교가 나올 수 있다.
애플리케이션 개발자에게 이는 기존 인코더를 즉시 포기하라는 뜻이 아니라 기본 가정을 재검토할 이유가 된다는 의미다. 기존 소프트웨어 지원, 사용 가능한 체크포인트, 작업별 평가는 여전히 구현 결정을 좌우한다. 이 실험은 확립된 스택을 바꾸는 데 드는 모든 비용을 측정하지 않는다.
가장 강한 해석은 구체적이다. 이 실험에서는 별도의 시각 사전 학습이 선택 사항이었지만, 전용 시각 처리는 가치를 유지했다. 이 표현은 발견을 보존하면서 이를 현재 또는 미래의 모든 멀티모달 모델에 대한 주장으로 바꾸지 않는다.
비전 처리는 백본 내부로 이동할 수 있다
저자들은 또한 이미지와 텍스트가 공유 네트워크에 들어가기 전에 전문 시각 처리가 반드시 이뤄져야 하는지를 검증한다. 대안으로는 초기 백본 레이어 내부에 시각 전용 모듈을 배치한다. 이들은 이 구성을 인퓨전(in-fusion)이라고 부르며, 이미지와 텍스트 정보가 상호작용하는 네트워크 내부에서 전문 처리가 이뤄진다는 뜻이다.
보고된 결과에 따르면 초기 인퓨전 처리는 처음부터 학습한 기존 인코더와 비슷한 수준에 도달한다. 따라서 중요한 아키텍처 변화는 제거가 아니라 재배치다. 시스템에 동일한 별도 프런트엔드 구성이 없더라도 이미지 입력은 전문 파라미터에 계속 접근할 수 있다.
별도 인코더를 제거해도 공유 모델 내부에서 유용한 전문성을 유지할 수 있다.
시각 처리 용량 실험은 초기 배치의 중요성을 강조한다. 테스트된 구성에서 처음 8개 레이어의 시각 전용 브랜치는 별도 인코더와 비슷한 성능을 낸다. 이 결과는 설계 권고를 좁힌다. 전문 처리는 적절한 위치에 배치될 때 도움이 된다.
개념적으로도 배치는 중요하다. 초기 처리가 이후 연산에 제공되는 정보를 형성하기 때문이다. 모델이 활용하기 전에 시각적 구분이 사라지면, 이후의 언어 추론은 누락된 근거를 신뢰성 있게 복원할 수 없다. 이 관찰은 왜 이 문제가 중요한지를 설명하지만, 보고된 모든 결과의 작동 메커니즘을 입증하지는 않는다.
차트 판독 시나리오는 이 문제를 구체적으로 보여 준다. 어시스턴트는 레이블을 구분하고, 이를 올바른 그래프 계열과 연결한 뒤 사용자의 질문에 답해야 한다. 추세에 대한 유창한 추론도 잘못 읽은 레이블을 보완할 수는 없다.
마찬가지로 스크린샷 어시스턴트는 그 의미를 해석하기 전에 작은 시각적 차이를 보존해야 한다. 선택된 체크박스와 선택되지 않은 체크박스는 정반대의 답을 요구할 수 있다. 이는 연구로 검증된 배포 사례가 아니라 설명을 위한 응용 시나리오다.
연구진은 추론 측면의 이점도 보고한다. 추론은 학습된 모델을 실행해 답변을 생성하는 과정이다. 측정 결과, 한 인퓨전 구성은 대응되는 인코더 구성과 비교해 첫 토큰까지 걸리는 시간이 약 13% 짧았다.
첫 토큰까지의 시간은 답변이 시작되기 전의 지연을 측정한다. 전체 답변의 소요 시간이나 시스템의 총 운영 효율성을 측정하는 지표는 아니다. 보고된 테스트는 H200 GPU에서 17억 파라미터 백본을 사용했으며, 이미지와 텍스트를 각각 포함한 요청 16개를 동시에 처리했다.
이러한 조건은 해당 백분율과 함께 고려해야 한다. 요청 구성, 하드웨어, 구현 방식이 달라지면 결과도 달라질 수 있다. 지연 시간 결과는 배포 가설을 뒷받침하지만, 관련 없는 서비스에서도 같은 개선을 보장하지는 않는다.
제품 팀에 흥미로운 가능성은 실행 경로를 바꾸면서 시각 성능을 유지하는 것이다. 이는 아키텍처 레이블만으로 속도와 정확도 중 하나를 선택하는 것보다 더 유용하다. 실제 애플리케이션을 기준으로 벤치마크할 가치가 있는 후보 설계를 제시한다.
통제된 모델 연구는 이미 사전 학습된 언어 모델에 시각 기능을 추가하는 경우도 테스트한다. 저자들은 그 환경에서도 광범위한 비교 결과가 유지된다고 보고한다. 이는 기존 텍스트 모델을 확장하는 팀에 연구의 관련성을 높인다.
그럼에도 이 결과를 프로덕션 권고로 확장하려면 추가 증거가 필요하다. 서비스는 실제 이미지 워크로드와 구현 제약을 고려해야 한다. 논문은 유망한 아키텍처 구성을 제시하지만, 배포 결정은 여전히 작업별 조건에 따라 달라진다.
공유 데이터셋은 중요한 질문을 남긴다
이 연구는 공개된 사전 학습 인코더가 추가 시각 데이터로부터 아무런 이점을 얻지 못한다는 점을 입증하지 않는다.
연구의 통제 조건은 각 방식에 제공되는 데이터를 의도적으로 제한한다. 이는 아키텍처 비교를 더 쉽게 해석할 수 있게 한다. 동시에 더 넓은 이미지 컬렉션으로 학습된 인코더를 가져오는 일반적인 배포 선택을 실험이 완전히 재현하지 못하게 한다.
사전 학습된 구성 요소는 학습 이력과, 그렇지 않았다면 이용할 수 없었던 사례에서 학습한 정보를 모두 가져올 수 있다. 사례를 동일하게 유지하면 전자의 효과를 더 명확하게 분리할 수 있다. 그러나 후자의 가치를 결론내리지는 못한다.
SigLIP 2는 관련 맥락을 제공한다. 이 비전-언어 인코더 연구는 이미지-텍스트 학습을 추가 학습 목표 및 데이터 큐레이션과 결합한 방식을 설명한다. 저자들은 여러 시각 능력에서 개선을 보고한다. 이 연구는 재사용 가능한 시각 표현의 품질과 범용성을 다룬다.
따라서 두 연구는 서로 관련되지만 다른 질문에 답한다. 재사용 가능한 인코더를 개선하는 일은 고정된 공유 데이터셋에서 별도 사전 학습의 이점이 제한적이라는 발견과 양립할 수 있다. 사용 가능한 구성 요소 중 선택해야 하는 프로덕션 팀은 두 결과를 모두 고려해야 한다.
규모는 또 다른 경계를 만든다. 새 실험은 64억 파라미터의 밀집형 백본까지 다룬다. 입력을 서로 다른 파라미터 그룹으로 선택적으로 라우팅하는 희소 Mixture-of-Experts 아키텍처나 훨씬 더 큰 시스템에서도 같은 결과가 나온다는 점은 입증하지 않는다.
이 구분은 전문 시각 모듈 자체가 선택적 연산의 한 형태이기 때문에 중요하다. 이미 라우팅 중심으로 구성된 아키텍처는 그러한 전문화와 다르게 상호작용할 수 있다. 실제로 그런지는 독자가 안전하게 가정할 수 있는 함의가 아니라 실증적 질문이다.
해상도 역시 아직 미완의 영역이다. 통제된 멀티모달 학습은 224x224픽셀 이미지를 사용하고, 이후 더 높은 해상도의 입력으로 지시문 튜닝을 거친 뒤 시각 평가를 수행한다. 지시문 튜닝은 모델이 요청에 응답하도록 가르치는 추가 학습이다. 더 높은 해상도 학습은 여전히 저자들이 향후 과제로 제시한 방향 가운데 하나다.
텍스트가 많은 이미지에는 특히 주의가 필요하다. 촬영한 문서, 밀도 높은 스프레드시트, 일반 이미지는 시각 처리에 서로 다른 요구를 제시할 수 있다. 강력한 종합 결과가 이들 사례 전반에서 동일한 동작을 보장하지는 않는다.
동영상과 이미지-텍스트 인터리브 데이터도 여전히 열린 질문이다. 인터리브 데이터는 시퀀스 안에서 이미지와 텍스트가 번갈아 나타나는 형태다. 정지 이미지 벤치마크나 짧은 지연 시간 테스트만으로는 아키텍처가 확장된 시각적 문맥을 어떻게 처리하는지 알 수 없다.
저자들은 공유 데이터 혼합이 각 방식에 맞춰 독립적으로 최적화되지 않았다는 점도 인정한다. 공통 설정은 비교 가능성을 높이지만, 방식별 탐색은 상대적 결과를 바꿀 수 있다. 이는 통제된 실험을 기각할 이유가 아니라 의미 있는 한계다.
마지막으로, 이 연구는 프리프린트다. 결과는 저자들이 보고한 내용이며, 이 분석은 이들의 학습 실행을 독립적으로 재현하지 않았다. 논문은 제한된 아키텍처 주장에 대한 증거를 제공할 뿐, 최종적인 합의를 제시하지는 않는다.
지식 근로자에게 실질적인 의미는 연구 진전과 애플리케이션 준비 상태를 구분하는 것이다. 문서 어시스턴트는 여전히 원본 세부 정보를 보존하고 검색 가능한 근거로 답변을 뒷받침해야 한다. 아키텍처 효율성만으로는 AI 지식 베이스가 모든 내장 차트를 정확히 해석한다는 점을 보장하지 않는다.
이 발견의 적용 범위를 결정할 세 가지 테스트
다음으로 의미 있는 진전은 더 광범위한 학습 비교, 더 큰 규모의 아키텍처 테스트, 그리고 애플리케이션 수준의 서빙 측정이다.
첫 번째로 주목할 신호는 사전 학습 인코더에 추가 시각 데이터 접근을 제공하면서 그 차이를 명시하는 비교다. 이는 통제된 실험과 구성 요소 재사용 사이의 가장 큰 격차를 다룰 수 있다. 새 사례가 주는 이점과 별도 학습 단계가 주는 이점을 구분해야 한다.
확장된 비교에서도 공동 학습이 경쟁력을 유지한다면, 인코더 사전 학습이 필수라는 주장에는 더 강한 반론이 생긴다. 반대로 가져온 인코더가 지속적인 우위를 확보한다면 권고는 더 조건부가 된다. 팀은 해당 데이터의 가치와 아키텍처 단순성 사이를 저울질해야 한다.
유용한 후속 연구는 각 방식이 어떤 사례를 보는지도 공개해야 한다. 이 정보가 없으면 겉보기의 아키텍처 승리가 불균등한 정보에서 비롯됐을 수 있다. 어떤 단일 접근법도 일관되게 이기지 못하더라도, 더 나은 투명성은 결과의 활용 가능성을 높인다.
두 번째 신호는 더 큰 백본과 다른 라우팅 아키텍처에서의 재현이다. 여기에는 고해상도 문서, 다이어그램, 더 긴 시각 시퀀스를 포함하는 워크로드가 포함돼야 한다. 이러한 테스트는 초기 시각 전용 처리 용량이 원래의 실험 범위를 넘어선 상황에서도 유용한지를 보여 줄 것이다.
패턴이 유지된다면 백본 내부의 전문화는 더 신뢰할 수 있는 일반적 설계 선택지가 된다. 다른 조건에서 인코더 없는 모델이 격차를 좁힌다면, 원래의 결과는 더 좁은 영역 안에서 여전히 유용하다. 어느 쪽 결과든 아키텍처 논의를 개선할 것이다.
중요한 관찰은 단순히 더 큰 벤치마크 수치가 아니다. 후속 연구는 비교가 왜 달라지는지 설명할 수 있도록 충분한 통제 조건을 유지해야 한다. 그렇지 않으면 또 하나의 성공적인 공개 모델은 근본적인 이견을 해소하지 못한 채 사례 하나만 추가하게 된다.
세 번째 신호는 시각 정확도와 응답 동작을 함께 측정하는 배포 증거다. 프로덕션 테스트는 지연 시간 개선을 품질 평가에 사용한 동일한 작업과 연결해야 한다. 한 워크로드에서 속도를 측정하고 다른 워크로드에서 품질을 측정하면 피할 수 있는 공백이 남는다.
인퓨전 설계가 현실적인 요청 전반에서 응답 지연을 줄이면서 작업 성능을 보존한다면, 실용적 매력은 더 커진다. 서비스의 워크로드에서 이점이 사라지더라도 학습 결과는 여전히 중요할 수 있다. 다만 그 서비스의 아키텍처를 바꿔야 할 이유는 약해질 것이다.
이러한 신호 중 어느 것도 예정된 제품 출시를 필연적인 일로 취급할 필요는 없다. 앞으로 몇 달 동안 독자들은 상용 도입을 가정하기보다 공개된 실험과 재현 가능한 측정치를 살펴봐야 한다. 이 구분은 전망을 관찰 가능한 증거에 묶어 둔다.
현재로서는 Meta의 비전 인코딩 연구가 개발자에게 다음 멀티모달 모델 주장을 평가할 더 명확한 틀을 제공한다. 변화가 사전 학습을 없애는지, 이미지 전용 파라미터를 없애는지, 아니면 그 파라미터를 다른 곳으로 옮기는지 물어야 한다. 이어서 어떤 데이터, 연산, 애플리케이션 테스트가 그 결과를 뒷받침하는지 물어야 한다.
문서 또는 스크린샷 워크플로를 바꾸기 전에, 사용자가 실제로 필요로 하는 시각적 근거를 기준으로 후보 모델을 비교하라. 어려운 사례를 유지하고, 오답을 살펴보며, 정확도와 함께 응답 지연을 측정하라. 아키텍처 결과를 구매 기준으로 바꾸기 전에 실험의 한계를 읽어야 한다. 현재 모델의 시각 능력 가운데 어느 부분은 전문 처리에서 비롯되며, 어느 부분은 이를 대체할 경우 잃게 될 데이터에서 비롯되는가?



