Google MIT의 유산과 LLM의 다음 혁신을 좇는 스타트업들

9년 전 Google 연구원 8명이 트랜스포머를 소개한 이후, Google과 MIT의 연구는 지금 가장 날카로운 아키텍처적 도전에 직면해 있다. 스타트업들은 거의 모든 선도적 LLM의 기반인 이 메커니즘이 계속 업계의 기본값으로 남아야 하는지 묻고 있다.

이 경쟁은 또 하나의 챗봇을 만드는 문제가 아니다. ChatGPT, Claude, Gemini와 대부분의 오픈 모델 아래에 깔린 계산 구조에 관한 문제다. Subquadratic, Liquid AI, Cartesia, AI21 Labs는 모든 레이어에서 조밀한 어텐션을 수행하지 않고도 긴 시퀀스를 처리하는 시스템을 탐구하고 있다.

이들의 제안은 희소 어텐션부터 상태 공간 모델, 컨볼루션 비중이 큰 하이브리드까지 다양하다. 각 접근법은 더 낮은 메모리 사용량, 더 빠른 처리, 또는 더 긴 실용적 컨텍스트를 약속한다. 하지만 중요한 모든 과업 범위에서 트랜스포머를 대체한 사례는 아직 없다.

이 단서가 경쟁의 성격을 규정한다. 차세대 중요한 LLM 아키텍처는 인상적인 실험실 차트를 내놓는 것만으로 승리할 수 없다. 기업들이 이미 사용하는 소프트웨어, 칩, 배포 시스템 안에서 작동하면서도 추론과 회상을 보존해야 한다.

트랜스포머의 성공은 그 자체의 병목을 만들었다

현대 생성형 AI를 열어젖힌 아키텍처는 입력량이 늘어날수록 비용이 커진다.

Google 연구진은 2017년 논문 Attention Is All You Need에서 트랜스포머를 소개했다. 이 논문은 순환 처리를 어텐션으로 대체했다. 어텐션은 모델이 입력의 어느 부분을 중점적으로 다뤄야 하는지 계산하도록 하는 메커니즘이다.

어텐션은 학습을 고도로 병렬화했다. 또한 모델이 문서 내 멀리 떨어진 위치의 정보를 연결하는 데 도움을 줬다. 이러한 장점은 오늘날의 대규모 언어 모델로 이어진 스케일링 경로를 뒷받침했다.

셀프 어텐션의 표준 형태는 시퀀스의 각 토큰을 다른 모든 토큰과 비교한다. 토큰은 단어 조각과 같은 작은 텍스트 단위다. 따라서 시퀀스 길이가 두 배가 되면 어텐션 연산 내 쌍별 비교는 대략 네 배로 늘어날 수 있다.

엔지니어들은 이런 동작을 이차 스케일링이라고 부른다. 이는 모든 배포 조건에서 전체 모델 비용이 정확히 네 배가 된다는 뜻은 아니다. 하드웨어, 캐싱, 배치 처리, 구현 선택도 결과에 영향을 미친다.

그럼에도 근본적인 관계는 압박을 만든다. 짧은 질문에 답하는 챗봇은 여러 저장소, 수개월치 메시지, 긴 작업 이력을 읽는 에이전트보다 조밀한 어텐션을 훨씬 쉽게 감당할 수 있다.

컨텍스트 윈도우는 확대됐지만, 모델이 광고하는 한도가 그 한도 근처에서도 저렴하고 정확하게 사용할 수 있음을 보장하지는 않는다. 팀은 프롬프트 처리 시간, 메모리 소비, 추론 비용, 그리고 모델이 올바른 근거를 찾는지까지 고려해야 한다.

검색 증강 생성, 즉 RAG는 모델에 답변을 요청하기 전에 관련 구절을 선택함으로써 부담을 줄인다. 특히 조직이 대규모 AI knowledge base를 유지할 때 여전히 유용하다.

검색은 별도의 실패 지점도 만든다. 검색 레이어가 핵심 구절을 누락하면 모델은 그 내용을 아예 보지 못한다. 더 많은 원본 자료를 직접 살펴볼 수 있는 시스템은 코드 분석, 법률 검토, 연구, 지속형 에이전트에서 이 위험을 줄일 수 있다.

이 가능성은 아키텍처 연구가 다시 상업적 긴급성을 얻은 이유를 설명한다. 더 많은 연산 자원으로 트랜스포머를 확장할 수는 있지만, 점점 길어지는 프롬프트는 더 나은 칩만으로는 지워지지 않는 구조적 비용을 드러낸다.

여기서 Google과 MIT의 연결이 중요한 이유는 Google이 기초 논문을 제공한 반면, 이후 MIT와 연계된 연구자들이 대안을 추구하는 기업을 만드는 데 기여했기 때문이다. 이 경쟁은 두 기관 간의 분쟁이라기보다 학술적 통찰이 경쟁하는 프로덕션 시스템으로 전환되는 과정에 가깝다.

스타트업들은 현재 모델이 내세우는 것과 고객이 현실적으로 배포할 수 있는 것 사이에서 기회를 본다. 품질을 잃지 않으면서 긴 컨텍스트의 비용을 낮출 수 있다면, 모델 연구소와 인프라 제공업체를 동시에 압박할 수 있다.

Google MIT 연구는 하나 이상의 대안을 낳고 있다

단일한 포스트 트랜스포머 설계가 등장하지 않았기에, 스타트업들은 이 문제를 서로 다른 기술적 베팅으로 나누고 있다.

Subquadratic은 가장 직접적인 접근법을 택하고 있다. 이 마이애미 기반 스타트업은 자사의 SubQ 모델이 Subquadratic Sparse Attention, 즉 SSA를 사용해 가능한 모든 토큰 관계를 살피는 일을 피한다고 말한다.

희소 어텐션은 모델이 평가하는 토큰 쌍의 집합을 제한한다. 어려운 점은 조밀한 어텐션이 요구하는 비용 큰 작업을 수행하기 전에 어떤 연결이 중요한지 선택하는 것이다.

Subquadratic은 자사 메커니즘이 컨텍스트 길이에 대해 선형적으로 확장되며, 1,200만 토큰의 연구 컨텍스트를 지원한다고 말한다. 공개한 사례에는 전체 소프트웨어 저장소와 장기간 실행된 에이전트 이력이 포함된다.

이는 확립된 업계 결과가 아니라 회사의 주장이다. 이 회사의 기술 설명에 따르면 SSA는 가능한 비교 대부분을 건너뛰면서 중요한 관계를 식별한다.

Liquid AI는 다른 베팅을 하고 있다. MIT에 뿌리를 둔 연구자들이 설립한 이 회사는 기기와 기타 자원 제약 환경을 위한 Liquid Foundation Models를 개발한다.

이 회사의 LFM2 아키텍처는 어텐션을 완전히 없애지 않는다. 게이트형 짧은 컨볼루션과 더 적은 수의 grouped-query attention 블록을 결합한다.

컨볼루션은 재사용 가능한 필터를 통해 지역적 패턴을 처리한다. Grouped-query attention은 여러 쿼리 헤드가 키와 값 표현을 공유하도록 해 메모리 요구량을 줄인다.

Liquid는 LFM2가 하드웨어 인지형 아키텍처 탐색을 통해 선택됐다고 말한다. 이는 팀이 추상적인 연산 횟수만 최적화한 것이 아니라 실제 메모리와 속도 특성을 기준으로 설계를 평가했다는 의미다.

회사의 LFM2 설계는 어텐션 블록보다 더 많은 컨볼루션 블록을 포함한다. 이 구성은 CPU와 임베디드 프로세서에서의 빠른 실행을 목표로 한다.

Cartesia는 변화하는 내부 상태를 통해 시퀀스를 요약하는 상태 공간 모델, 즉 SSM을 추구한다. 모든 토큰 쌍 사이의 명시적 관계를 유지하는 대신, SSM은 새 입력이 들어올 때마다 압축된 표현을 갱신한다.

Cartesia의 창업자들은 선택적 상태 공간 아키텍처인 Mamba 개발에 참여했다. 선택성은 모델이 현재 입력에 따라 어떤 정보를 보존하거나 잊을지 결정하게 한다.

원래의 Mamba 연구는 실험에서 시퀀스 길이에 대한 선형 확장성과 비교 가능한 트랜스포머보다 높은 처리량을 보고했다. 또한 언어, 오디오, 유전체학 전반의 응용도 제시했다.

Cartesia는 상업적 작업의 상당 부분을 음성에 집중해 왔다. 인터랙티브 오디오 시스템은 변화하는 대화를 추적하면서도 빠르게 응답해야 하므로, 음성은 효율적 시퀀스 처리의 자연스러운 시험 무대다.

AI21 Labs는 네 번째 경로를 제시한다. 이 회사의 Jamba 아키텍처는 Mamba 레이어를 트랜스포머 어텐션 및 mixture-of-experts 구성 요소와 교차 배치한다.

Mixture-of-experts 모델은 각 토큰에 대해 전체 네트워크의 일부만 활성화한다. 이는 모든 계산에서 모든 파라미터를 사용하지 않으면서도 전체 용량을 늘린다.

Jamba의 설계는 효율적 시퀀스 처리와 조밀한 어텐션이 각각 서로 다른 문제를 해결한다는 실용적 결론을 반영한다. AI21은 전역 회상을 위해 일부 트랜스포머 레이어를 유지하면서 Mamba 레이어를 사용해 메모리 압박을 낮춘다.

이 접근법들은 Google MIT 이야기를 분기하는 아키텍처 경쟁으로 바꾼다. Subquadratic은 어텐션을 유지하되 희소하게 만들려 한다. Liquid AI는 어텐션과 컨볼루션을 결합한다. Cartesia는 상태 공간 처리를 강조하고, AI21은 상태 공간과 트랜스포머 레이어를 혼합한다.

공통 목표는 효율성이다. 이들의 이견은 유용한 답변을 만들어 내는 관계를 훼손하지 않으면서 LLM이 무엇을 안전하게 버리거나, 압축하거나, 지역적으로 처리할 수 있는지에 관한 것이다.

희소 어텐션은 가장 대담한 주장을 내놓는다

Subquadratic은 조밀한 어텐션에 직접 도전하고 있지만, 그 증거는 약속의 규모를 따라잡아야 한다.

Subquadratic은 2026년 5월 이례적으로 큰 주장을 내세우며 공개적으로 등장했다. 이 회사는 SubQ가 트랜스포머 모델보다 훨씬 적은 어텐션 연산으로 최대 1,200만 토큰의 컨텍스트를 처리할 수 있다고 밝혔다.

이 용량은 하나의 프롬프트에 여러 개의 전체 저장소나 대규모 계약서 모음을 담을 수 있다. 또한 에이전트가 과거를 반복적으로 요약하지 않고도 훨씬 긴 운영 기록을 유지하게 할 수 있다.

회사는 가능한 토큰 관계 대부분이 결과에 거의 기여하지 않기 때문에 조밀한 어텐션이 연산을 낭비한다고 주장한다. SSA는 중요한 작은 부분집합을 찾으려 한다.

이는 무작위 연결을 단순히 제거하는 것보다 어렵다. 관련 단서는 수백만 토큰 떨어진 곳에 나타날 수 있으며, 그 중요성은 모델이 다른 구절을 읽은 뒤에야 분명해질 수 있다.

따라서 희소 아키텍처에는 효과적인 라우팅 메커니즘이 필요하다. 잘못된 연결을 선택하면 연산 절감은 회상이나 추론을 희생하는 대가로 얻어진다.

Subquadratic은 자사 아키텍처가 콘텐츠 의존적 선택을 수행한다고 말한다. 모델은 고정된 지역 윈도우에만 의존하는 대신 입력에서 어텐션 패턴을 선택한다.

초기 출시는 공개 접근성과 기술적 세부 사항이 제한적이어서 회의론을 불러왔다. 이후 회사는 추가 벤치마크 정보를 공개하고 Appen이 수행한 평가를 인용했다.

원래의 MIT 분석에 따르면, 독립 연구자 Will Depue는 연구자들이 조밀한 어텐션의 비용을 극복하기 위한 여러 방법을 시도해 왔다고 지적했다.

이 이력이 중요하다. 희소 어텐션, 선형 어텐션, 순환 신경망, 긴 컨볼루션, 압축 메모리는 모두 장점을 보였다. 하지만 많은 방법이 먼 위치에서 정확한 검색이 필요한 과업에서 어려움을 겪기도 했다.

또 다른 우려는 SubQ의 계보다. MIT Technology Review는 이 회사가 SubQ 초기화에 도움을 주기 위해 Alibaba의 Qwen 모델 한 버전의 가중치를 재사용했다고 보도했다.

가중치는 신경망의 동작을 결정하는 학습된 값이다. 이를 재사용하면 개발을 가속할 수 있지만, 새 아키텍처가 무엇을 독립적으로 학습했는지에 대한 주장에는 복잡성이 더해진다.

변환되거나 부트스트랩된 모델은 트랜스포머 학습에서 역량을 물려받을 수 있다. 이는 새 메커니즘의 가치를 무효화하지는 않지만, 해당 아키텍처가 처음부터 효율적으로 학습될 수 있는지는 여전히 열려 있는 문제다.

이 구분은 상업적으로 중요하다. 기존 모델을 변환하는 방법도 가치 있는 인프라가 될 수 있다. 처음부터 경쟁력 있는 파운데이션 모델을 학습하는 방법은 전체 시장의 경제성에 도전할 수 있다.

개발자에게는 컨텍스트 한도 시연 이상이 필요하다. 안정적인 API, 예측 가능한 지연 시간, 도구 사용 정확도, 구조화된 출력, 보안 제어, 일반적인 추론 프레임워크와의 통합이 필요하다.

긴 컨텍스트는 자체적인 평가 문제도 제기한다. 모델은 기술적으로 수백만 토큰을 받아들일 수 있지만, 여전히 관련 사실을 놓치거나 잘못 결합할 수 있다.

단순한 니들 테스트는 긴 입력 안에 구별되는 사실을 넣고 모델에 이를 검색하도록 요청한다. 이는 기본적인 회상을 측정하지만, 여러 파일에 걸쳐 근거가 분산된 과업을 포착하지는 못한다.

리포지터리 유지보수는 더 나은 스트레스 테스트를 제공한다. 모델은 인터페이스를 식별하고, 의존성을 추적하며, 테스트를 이해하고, 멀리 떨어진 구성 요소를 망가뜨리지 않은 채 변경을 수행해야 한다.

법률 및 재무 분석도 비슷한 요구를 만든다. 올바른 결론은 여러 문서에 흩어진 정의, 예외, 개정 사항, 날짜에 따라 달라질 수 있다.

Subquadratic은 희소 라우팅이 적대적 워크로드와 일반 워크로드 모두에서 이러한 관계를 보존한다는 점을 보여야 한다. 여러 도메인에 걸친 독립 테스트는 단일 벤치마크 제공업체의 결과보다 더 큰 설득력을 가질 것이다.

과제는 분명하다. 이 회사는 이차 복잡도 어텐션을 직접 겨냥한 메커니즘을 제시했지만, 광범위한 채택을 위해서는 재현 가능한 증거와 접근성 있는 모델이 필요하다.

하이브리드 모델은 완전한 단절에 베팅하지 않는다

Liquid AI와 AI21은 어텐션을 제거해야 할 결함 있는 구성 요소가 아니라, 배분을 아껴야 하는 고가의 재료로 본다.

하이브리드 아키텍처는 트랜스포머가 유연하고 콘텐츠 기반의 회상에 여전히 유난히 뛰어나다는 엔지니어링 판단을 반영한다. 약점은 그 기능을 모든 곳에 적용하는 비용이다.

Liquid AI의 LFM2는 시퀀스 처리 상당 부분을 짧은 컨볼루션에 맡긴다. 이 블록은 지역적 패턴을 효율적으로 살피며, 밀집 어텐션과 함께 커지는 캐시를 피한다.

이 모델은 더 넓은 비교가 유리한 작업을 위해 여전히 어텐션 블록을 포함한다. 이런 분업은 대부분의 시간에는 저렴한 로컬 처리를 사용하다가, 필요할 때만 전역 분석을 호출하는 시스템과 닮았다.

Liquid의 하드웨어 인식 방식은 이론적 비교의 약점도 부각한다. 점근적 확장성이 더 나은 연산이라고 해서 자동으로 휴대폰, 노트북, GPU 또는 가속기에서 더 빠르게 실행되는 것은 아니다.

현대 AI 하드웨어는 트랜스포머 워크로드에 맞춰 크게 최적화돼 있다. 밀집 행렬 곱셈은 성숙한 커널, 컴파일러, 서빙 시스템의 혜택을 받는다.

새 아키텍처는 이론적으로 더 적은 연산을 수행하면서도 소프트웨어가 이를 효율적으로 스케줄링하지 못하면 느리게 실행될 수 있다. 메모리 이동, 캐시 동작, 배치 크기는 레이어를 설명하는 방정식만큼 중요할 수 있다.

Liquid는 아키텍처 탐색을 통해 이러한 제약을 직접 평가한다. 회사에 따르면 2026년 LFM2-24B-A2B 모델은 총 240억 개의 파라미터를 포함하며, 각 토큰에 대해 약 20억 개가 활성화된다.

이 모델은 희소 mixture-of-experts 시스템과 LFM2의 컨볼루션 중심 백본을 결합한다. Liquid는 32GB 메모리 안에 수용할 수 있어 일부 고사양 소비자 시스템에서 로컬 배포가 가능하다고 말한다.

이는 공급업체가 보고한 특성이다. 품질이 더 큰 클라우드 모델과 어떻게 비교되는지는 독립적인 애플리케이션 테스트가 판단해야 한다.

이 경로는 상업적으로도 일관성이 있다. 많은 조직은 모든 작업에 이용 가능한 가장 큰 모델을 필요로 하지 않는다. 통제 가능한 지연 시간, 프라이버시, 인프라 사용량 안에서 수용 가능한 품질을 필요로 한다.

온디바이스 모델은 모든 입력을 원격 서비스로 보내지 않고도 비공개 문서 분류, 명령 파싱, 요약 또는 음성 인터페이스를 지원할 수 있다. 네트워크 접근이 제한될 때도 계속 작동할 수 있다.

AI21의 Jamba는 상태 공간 방향에서 유사한 절충안에 도달한다. 이 아키텍처는 어느 한쪽에만 전적으로 의존하는 대신 Mamba와 트랜스포머 구성 요소를 번갈아 사용한다.

AI21은 순수 상태 공간 모델이 회상에 어려움을 겪을 수 있다고 말한다. Jamba는 시퀀스 전반의 세부 정보에 다시 접근할 수 있도록 간헐적인 어텐션 레이어를 유지한다.

회사의 Jamba architecture 역시 mixture-of-experts 레이어를 사용해 전체 모델 용량과 활성 연산을 분리한다.

이 접근법은 어텐션이 불필요하다는 깔끔한 서사를 포기한다. 그 대신 개발자가 가장 중요한 곳에서 검증된 트랜스포머 동작을 유지할 수 있으므로, 더 보수적인 프로덕션 도입 경로를 얻는다.

따라서 하이브리드 시스템은 단기적으로 기존 모델에 가장 강한 압박을 가한다. 트랜스포머가 실수였다는 점을 증명할 필요는 없다.

모든 레이어가 같은 고비용 연산을 요구하지 않는다는 점만 보여주면 된다. 이 주장이 성립한다면 모델 개발자는 확립된 학습 및 배포 관행을 유지하면서 어텐션을 점진적으로 줄일 수 있다.

이 경로는 이전의 컴퓨팅 전환을 닮았다. 새로운 설계는 종종 범용 기본값을 대체하기 전에 특화된 구성 요소로 먼저 도입된다.

그래픽 프로세서는 처음에는 제한된 워크로드를 가속하다가 AI의 핵심 요소가 됐다. 솔리드 스테이트 스토리지는 많은 성능 민감형 역할을 차지하기 전에 하드 드라이브와 공존했다.

어텐션 대안도 같은 패턴을 따를 수 있다. 컨볼루션이나 상태 공간 레이어는 먼저 로컬 처리, 스트리밍 입력, 긴 이력을 맡을 수 있다. 어텐션은 어려운 전역 관계를 계속 담당할 수 있다.

그 결과물인 아키텍처에는 하나의 기억하기 쉬운 이름이 붙지 않을 수 있다. 목표 하드웨어와 워크로드에 맞춰 구성 가능한 혼합형이 될 수 있다.

이 가능성은 LLM의 다음 큰 변화가 또 하나의 “Attention Is All You Need” 순간보다 덜 극적일 수 있음을 뜻한다. 이는 어텐션이 사용되는 영역이 꾸준히 줄어드는 방식으로 도래할 수 있다.

진짜 경쟁은 연산 단위당 품질이다

대안 아키텍처는 정확도, 지연 시간, 배포 복잡성에 대한 현실적인 테스트에서도 절감 효과가 유지될 때에만 승리한다.

모델 비교는 종종 한 가지 차원을 분리한다. 논문은 더 낮은 계산 복잡도, 더 긴 컨텍스트 윈도우 또는 더 높은 토큰 처리량을 보고할 수 있다.

기업 구매자는 결합된 방정식에 직면한다. 이들은 시스템이 지연 시간, 메모리, 신뢰성 예산 안에서 얼마나 많은 유용한 작업을 완료하는지에 관심을 둔다.

계약상 예외를 놓치는 빠른 모델은 효율적이지 않다. 회상 능력은 뛰어나지만 응답 시간이 예측 불가능한 모델 역시 대화형 소프트웨어에는 적합하지 않을 수 있다.

따라서 이 경쟁의 주된 상대는 특정 스타트업이나 기존 기업 하나가 아니다. 트랜스포머가 확립해 온 품질 대비 인프라 균형이다.

Google, OpenAI, Anthropic, Meta 및 다른 연구소들은 트랜스포머 시스템을 계속 개선할 수 있다. 최적화된 어텐션 커널, 더 나은 캐싱, 양자화, 증류, 더 빠른 가속기를 활용할 수 있다.

성공적인 대안 구성 요소를 채택할 수도 있다. 새로운 메커니즘을 검증한 스타트업은 기존 기업의 모델 제품군을 대체하지 않고도 이들에게 영향을 줄 수 있다.

호환성은 또 다른 방어적 이점을 더한다. 트랜스포머 추론은 성숙한 GPU 커널, 분산 학습 시스템, 최적화 라이브러리, 배포 플랫폼 전반에서 작동한다.

새로운 순환형 또는 희소 연산은 맞춤형 커널과 캐싱 로직을 요구할 수 있다. 성능 장애가 익숙한 트랜스포머 동작과 다르기 때문에 개발자에게는 새로운 모니터링 도구가 필요할 수 있다.

학습 안정성도 또 다른 시험대다. 연구자들은 다양한 모델 크기와 데이터셋에서 트랜스포머가 어떻게 동작하는지 잘 이해하고 있다. 대안 아키텍처는 최대 규모에서의 증거가 더 적다.

수십억 개 파라미터 규모에서는 효율적으로 보이는 모델도 훨씬 더 크게 확장하면 최적화 문제에 부딪힐 수 있다. 약한 회상을 보완하기 위해 더 많은 레이어나 학습 데이터가 필요하면 이점도 사라질 수 있다.

벤치마크 선택은 이러한 차이를 감출 수 있다. 일반 지식 테스트는 여러 파일에 걸친 추론에 대해 거의 말해주지 못할 수 있다. 긴 컨텍스트 검색 테스트도 대화 품질이나 도구 사용을 예측하지 못할 수 있다.

가장 강력한 평가는 아키텍처를 실제 업무와 연결할 것이다. 관련 작업에는 대규모 리포지터리 수정, 상충하는 보고서 조정, 긴 대화 전반에서의 사실 추적, 시간 의존적 기록 분석이 포함된다.

테스트는 답변 품질과 함께 첫 토큰 지연 시간, 전체 완료 시간, 최대 메모리, 에너지 사용량, 하드웨어 활용률을 측정해야 한다.

또한 비교가 동등한 파라미터 수, 학습 데이터, 컨텍스트 길이, 정밀도 설정, 서빙 조건을 사용하는지 공개해야 한다.

이러한 통제가 없으면 주장된 아키텍처 이점은 서로 다른 엔지니어링 선택을 반영할 수 있다. 테스트 조건이 다르면 정확한 수치조차 오해를 부르는 인상을 만들 수 있다.

Google MIT 키워드는 실제 계보를 포착하지만, 명확한 기관 간 경쟁을 뜻하지는 않는다. Google 연구자들은 트랜스포머를 도입했고, MIT 연구자들은 여러 대안 연구 계열에 기여했다.

이제 중요한 경쟁은 아키텍처 성숙도와 아키텍처 효율성 사이에서 진행된다. 트랜스포머는 높은 성능으로 가는 검증된 경로를 제공한다. 도전자들은 더 적은 계산 낭비로 비슷한 성능에 도달하겠다고 약속한다.

어느 쪽도 영구적인 우위를 갖지 않는다. 기존 기업은 검증된 아이디어를 복제할 수 있고, 스타트업은 수년간의 레거시 인프라를 지원하지 않고도 시스템을 최적화할 수 있다.

고객은 광고된 컨텍스트 길이를 결정적 지표로 취급하지 말아야 한다. 더 나은 질문은 고정된 예산 안에서 모델이 얼마나 많은 관련 정보를 정확히 활용하는가다.

개발자에게 이는 공개 리더보드에만 의존하지 않고 대표적인 데이터로 모델을 테스트해야 한다는 뜻이다. 법률팀, 소프트웨어 회사, 음성 플랫폼은 서로 다른 아키텍처 약점을 드러낼 것이다.

지식 근로자에게 더 효율적인 긴 컨텍스트는 반복적인 업로드와 요약을 줄일 수 있다. 또한 어시스턴트가 더 큰 업무 범위 전반에서 연속성을 유지하도록 도울 수 있다.

이러한 이점은 프라이버시와 접근 제어에 달려 있다. 수백만 토큰을 읽을 수 있는 모델은 잘못된 문서를 제공하거나 정보를 지나치게 광범위하게 보관할 때의 결과를 증폭시킨다.

아키텍처는 이러한 거버넌스 문제를 해결할 수 없다. 시스템이 처리할 수 있는 정보의 양과 이에 필요한 자원만 바꿀 수 있다.

포스트 트랜스포머 경쟁이 전개되며 주목할 점

세 가지 신호가 스타트업들이 후계자를 찾았는지, 아니면 트랜스포머 스택에 유용한 추가 요소를 제시했는지를 보여줄 것이다.

첫 번째 신호는 SubQ에 대한 독립적인 접근성이다. 외부 연구자들은 긴 컨텍스트 결과를 재현하고, 어려운 검색 패턴을 테스트하며, 변화하는 워크로드에서 성능을 검토할 만큼 충분한 접근성을 확보해야 한다.

사용자가 품질과 선형 확장성 주장을 검증할 수 있다면 광범위한 출시는 Subquadratic의 주장을 강화할 것이다. 계속된 제한적 접근은 아키텍처를 둘러싼 불확실성을 유지할 것이다.

가장 유용한 테스트는 긴 프롬프트에 하나의 사실을 삽입하는 수준을 넘어설 것이다. 모델이 파일 간 증거를 연결하고, 오해를 부르는 컨텍스트를 거부하며, 입력이 확장돼도 정확성을 유지해야 한다.

연구자들은 공개된 하드웨어에서 처리 시간과 메모리 사용량도 비교해야 한다. 그렇지 않으면 계산 절감에 관한 주장은 배포 의사결정으로 옮기기 어렵다.

두 번째 신호는 하이브리드 레이어의 더 폭넓은 채택이다. Liquid AI와 AI21은 업계가 어텐션을 포기할 것을 요구하지 않으므로, 이들의 설계는 점진적으로 확산될 수 있다.

모델 개발자들이 어텐션 레이어 비율이 더 낮아졌다고 공개하기 시작하는지, 또는 새로운 프로덕션 모델에서 컨볼루션 및 상태 공간 구성 요소를 채택하는지 주목하라.

그러한 변화는 이 글의 핵심 판단을 뒷받침할 것이다. 첫 번째 포스트 트랜스포머 시대는 어텐션을 없애기 전에 먼저 배분을 제한할 가능성이 높다.

하드웨어와 소프트웨어 지원도 같은 추세를 드러낼 것이다. 하이브리드 모델을 위한 네이티브 커널, 추론 엔진, 모니터링 도구는 아키텍처 선택의 위험을 낮출 것이다.

세 번째 신호는 지속형 에이전트에서의 성능이다. 에이전트는 시간이 지남에 따라 지침, 도구 결과, 코드 변경, 실패한 시도를 축적하므로 까다로운 시퀀스 문제를 만든다.

현재 시스템은 종종 그 이력을 압축하거나 버린다. 요약은 컨텍스트를 절약하지만, 에이전트가 나중에 필요로 하는 세부 정보를 제거할 수 있다.

희소 모델이나 상태 공간 모델은 메모리 주장이 성립한다면 여기에서 분명한 이점을 보여야 한다. 에이전트는 제약을 잃거나, 작업을 반복하거나, 컨텍스트 비용이 통제 불가능하게 증가하지 않은 채 더 긴 프로젝트를 완료해야 한다.

명목상의 컨텍스트와 실제로 활용 가능한 컨텍스트의 차이도 바로 이 지점에서 드러난다. 모델이 이전의 모든 토큰을 똑같이 기억할 필요는 없다. 올바른 약속과 근거를 보존해야 한다.

transformer가 여전히 표준으로 남아 있는 이유는 유연한 attention, 확장 가능한 학습, 성숙한 인프라를 함께 갖추고 있기 때문이다. 9년에 걸친 개선으로 이 조합은 이기기 어려운 강점이 됐다.

그럼에도 업계의 워크로드는 변화하고 있다. 더 긴 리포지토리, 멀티모달 기록, 연속적인 음성, 지속형 에이전트는 모두 dense attention의 약점을 더욱 부각한다.

LLM의 다음 거물을 노리는 스타트업들은 아직 공통된 해답을 갖고 있지 않다. 이들의 견해 차이는 실제 설계 공간을 드러낸다는 점에서 유용하다.

Subquadratic은 희소 라우팅이 전역적 추론을 보존할 수 있는지 묻는다. Cartesia는 상태가 명시적인 토큰 간 관계를 대체할 수 있는지 시험한다. Liquid AI와 AI21은 유능한 모델에 실제로 필요한 attention이 얼마나 적은지 묻는다.

이들 시스템 가운데 하나가 성공하더라도 Google MIT의 유산이 사라지지는 않을 것이다. transformer는 attention을 현대 AI의 핵심 메커니즘으로 확립했으며, 그 후속 모델들도 많은 아이디어를 계승할 것이다.

더 가능성 높은 변화는 아키텍처의 다원화다. 모델은 기기, 워크로드, 필요한 메모리에 따라 서로 다른 시퀀스 메커니즘을 결합하게 될 것이다.

개발자는 transformer의 종말에 관한 선언이 아니라, 컴퓨팅 단위당 검증된 품질을 주시해야 한다. 엔터프라이즈 구매자는 검색, 도구 사용, 지연 시간, 접근 제어를 포함한 전체 워크플로를 테스트해야 한다.

독립적으로 검증된 sparse attention, 더 폭넓은 hybrid model 지원, 또는 세부 사항을 잃지 않고 수개월의 이력을 활용할 수 있는 agent 가운데 어떤 신호가 가장 먼저 모델 전략을 바꾸게 할까?