top of page

Exa 在 AWS AI 晶片上的嵌入吞吐量提升

1 日前
讀畢需時 12 分鐘
Image from the source report. Source: aws.amazon.com.

Exa 表示,其自訂軟件令嵌入吞吐量提升約 50%,同時準備在 AWS AI 晶片上重新處理 300 億份文件。嵌入是支援按語意搜尋的數值表示,位於公司的網絡爬蟲與可搜尋索引之間。更快的處理速度相當重要,因為每份合資格文件都必須經過這一階段,使用者才能檢索到它。

Exa 的嵌入吞吐量報告所描述的結果,比其概括性的標題更為具體。最終實作據報相較初始實作,在每百萬份文件的效能與成本方面改善了 47%。這項比較針對 Exa 在 AWS Neuron 硬件上的工作負載,並非雲端價格普遍下跌,亦不是相對競爭晶片、經獨立驗證的優勢。

核心矛盾在於方便的通用軟件,與令大規模搜尋成本可負擔所需的專門工程之間。Exa 建立了自己的向量資料庫,即儲存及搜尋數值表示的系統。Pinecone 則代表另一種做法,提供託管式搜尋基礎設施。Exa 的說法揭示了兩種做法背後的工作:在模型改進及文件集合持續變化之際,如何維持可負擔的資料導入成本。

Exa 在大型重建期間提升嵌入吞吐量

模型遷移帶來了迫切壓力,必須從相同硬件榨取更多處理能力。

根據 Exa 的嵌入推論最佳化說明,其團隊選定了 300 億份高優先度文件重新處理。該報告於 2026 年 11 月 18 日發表。這個發表日期說明的是技術紀錄,而非證明每項部署或最佳化何時完成。

觸發因素是轉用 Exa 所稱表現更佳的文件模型。既有文件需要新的表示方式,才能填入替代索引。同時,線上系統仍須處理新進資料並服務現有索引。

Exa 描述了共用相同爬取及解析階段的平行嵌入管道。其中一條管道維持線上模型及索引;另一條則以替代模型處理優先文件。公司表示,這次遷移暫時令其嵌入負載增加一倍。

這項區分解釋了為何看似例行的基礎設施項目會變得具有商業重要性。更佳模型會在既有集合上產生遷移責任,同時還要持續維持搜尋內容更新。公司不能只按處理新發現頁面的成本來評估這項責任。

初始實作採用了 FP16,即以 16 位元表示數值的格式,以及直接的平行處理方式。其後 Exa 改變了模型在 Inferentia2 上的執行方式。其流程包括權重佈局變更、編譯器精度設定、既有最佳化運算,以及自訂程式碼。

所報告的 Inferentia2 測量結果針對 inf2.xlarge 執行個體,該執行個體包含一枚晶片及兩個 NeuronCores,即晶片的處理核心。Exa 表示每個工作負載都在一個核心上執行。它將這些工作負載配置到較大型的執行個體上,而非讓可用核心閒置。

這項部署細節有助界定比較的範圍。Exa 將改進與同一硬件系列上的自家起始實作作比較。該說明並未證明 Inferentia2 在嵌入推論方面勝過所有替代方案。

它亦未證明整個文件重建在報告期內已完成。選定 300 億份文件描述的是遷移工作負載,不應延伸成未獲支持的說法,例如已完成處理、索引覆蓋範圍或現時服務容量。

讀者應記住的改變較為狹窄,但也更實用:Exa 表示透過多項軟件介入措施,令既有嵌入工作負載顯著提升效率。硬件提供執行平台,而最佳化工作則決定應用程式如何有效運用該平台。

更好的搜尋模型帶來另一筆資料導入成本

壓力落在必須資助模型升級、又不能讓線上索引落後的搜尋營運團隊身上。

Exa 的架構令處理成本與產品質素之間的關係格外明顯。其管道會爬取文件、解析文件、進行審核及篩選,然後產生嵌入。只有在這之後,合資格文件才會進入支援搜尋的向量資料庫。

公司描述的是非同步管道,即處理階段毋須即時回應個別搜尋請求。這種彈性有助安排工作,但不會消除及時處理最新資訊的需要。

正在等待嵌入的文件,無法透過該服務路徑發揮作用。對搜尋使用者而言,重要結果是有用資訊能否足夠快變得可檢索。從營運角度來看,積壓工作把基礎設施效率與可用結果的新鮮度連繫起來。

模型遷移為同一系統增加另一項需求。新文件持續湧入,而先前處理過的文件則需要替換表示方式。Exa 的嵌入負載暫時增加一倍,說明改善檢索能力如何可在使用者獲益前,帶來可觀的基礎設施責任。

這亦向選擇模型的團隊帶來壓力,而不只是採購運算資源的團隊。模型是否有用,部分取決於營運者能否將其部署至目標文件集合。評估集上有更佳檢索表現,本身不足以證明存在可負擔的遷移路徑。

相同問題亦會在企業搜尋的較小規模上出現。更換文件模型的機構,必須考慮既有檔案、新進資料,以及不同表示方式之間的過渡。這個類比涉及遷移機制,而不是聲稱企業部署擁有與 Exa 相同的已測量經濟效益。

對正在建立可搜尋知識庫的讀者而言,這個關聯很實際。搜尋質素取決於模型,也取決於讓文件持續可用的流程。功能強大的模型無法檢索尚未進入可搜尋集合的資料。

Pinecone 提供了有用的業界比較,因為其託管式搜尋方法為營運者的責任劃下不同邊界。Exa 擁有自己的向量資料庫,並描述其較廣泛搜尋系統內的低層推論調校。這些方法以不同方式分配工程工作,並不表示兩家公司之間存在效能排名。

因此,Exa 的報告對「選定加速器即完成成本決策」這個假設提出挑戰。對運行於數十億份文件之上的長期模型而言,特定應用程式的工程工作會成為採購計算的一部分。相關比較應包括每種可用實作實際能提供甚麼。

新鮮度論點亦有其限制。更快的嵌入可減輕其中一個階段的壓力;它不會自動加快爬取、審核、儲存或檢索。Exa 的結果支持推論效率的說法,而端到端搜尋改進則需要自身的測量數據。

自訂核心移除了模型不需要的工作

Exa 將收益歸因於更佳的佈局、更少的記憶體流量及更少的不必要計算,而非單一硬件轉換。

首批改動針對權重佈局,即模型已學習數值參數的排列方式。Exa 表示,讓該佈局配合模型執行方式,移除了不必要的轉置,即重新排列矩陣維度的運算。避開這些重新排列,可在不改變預期模型的情況下減少工作量。

團隊亦啟用了 autocast,這是一項為特定計算選擇較低精度的編譯器功能。Exa 表示,這使矩陣乘法可使用較低精度,同時保留動態範圍。輸出仍須符合公司的數值驗收測試。

接下來是最佳化核心,即在加速器上執行個別模型運算的小型程式。AWS 的Neuron Kernel Interface,或稱 NKI,讓開發人員可編寫這些程式。Exa 起初採用了現有的注意力核心,負責處理會為輸入不同部分之間關係加權的計算。

公司表示,這項替換改善了效能,但進一步剖析揭示了另一項限制。中間資料反覆溢寫到高頻寬記憶體,即加速器的主要高速記憶體。重新載入這些數值中斷了有效計算,並阻礙矩陣計算引擎得到充分運用。

Exa 因此推出自訂的融合 SwiGLU MLP 核心。SwiGLU 是一種門控激活函數,使用於多層感知器之中;多層感知器是一種轉換中間表示的神經網絡區塊。融合會把相關運算結合起來,令中間結果毋須在不同執行步驟之間大量移動。

公司表示,其實作消除了所觀察到的記憶體停頓。它讓大部分程式碼維持於較高層的 NKI 建構中,只對選定張量運算使用較低層指令。這個選擇旨在保留可讀性及除錯能力,同時在需要處維持控制。

AWS 將硬件執行剖析記錄為檢查計算及資料移動的方法。這類追蹤有助區分花在有效計算上的時間,與等待傳輸的時間。它們支援診斷,但文件並未獨立驗證 Exa 的結果。

其後,Exa 比較一個運作中核心與兩個核心同時運行時,出現了另一項障礙。公司觀察到,整體效能低於獨立測量結果所暗示的水平。這項發現指向資源競爭,並挑戰了增加平行工作可按比例擴展的假設。

最終的注意力重寫針對模型的確切維度。Exa 表示,它移除了與填充相關的計算;填充是為讓輸入符合預期形狀而加入的額外數值。它亦將注意力運算合併為較少的矩陣乘法,減少重複指令步驟及記憶體往返。

這正是 Exa 嵌入吞吐量最佳化的技術意義:通用核心支援初始部署,但特定模型的假設釋放了更多收益。軟件不再為工作負載不需要的彈性付出成本。這種專門化既解釋了所報告的好處,也解釋了為何其他模型不應預期得到相同結果。

編碼代理在可測量的回饋迴路中工作

Exa 的說明令驗證基礎設施成為代理輔助最佳化的核心。

Exa 表示,代理在一個會檢查正確性、測量持續效能及產生剖析資料的工作流程中開發最佳化措施。因此,代理可從可執行測試及實際硬件獲得回饋。它們提出的改動必須經得起的不只是程式碼審查或看似合理的解釋。

工作流程採用了 Flyte,這是一個用於協調機器學習工作的平台。每個代理均為 Neuron 硬件編譯可執行檔,並以基準資料集核對模型執行結果。只有通過數值驗收門檻的輸出,才會獲進一步考慮。

該門檻為 0.999 餘弦相似度,用以衡量數值向量之間的對齊程度。Exa 將經優化的輸出與其標準模型比較,後者是用作驗證的參考實作。這項門檻為偵測不可接受的輸出變化提供了明確關卡。

這套測試工具亦剖析了一次模型執行,並在真實硬件上進行了 30 分鐘飽和度基準測試。飽和度測試會持續讓裝置維持繁忙,以量度持續處理能力。這有別於為一次短暫、獨立的操作計時;後者可能掩蓋資源爭用或部署限制。

Exa 為不同工作分配不同的代理能力。較輕量的模型搜尋編譯器參數,推理型代理研究瓶頸,較強的程式碼生成器則編寫自訂核心。報告將工作配對描述為控制開發開支、同時保留處理較高要求推理能力的一種方法。

該公司亦承認一個實際問題:代理未必了解現行的平台語法與功能。它利用開發指引來協助彌補這個落差。這項承認很重要,因為專用加速器軟件不斷演變,而看似信心十足地生成的程式碼,仍可能針對已過時的介面。

AWS 的 NKI release notes 記錄了程式設計介面及工具持續出現的變更。這些變更強化了鎖定環境及驗證行為的需要,但無法證明 Exa 透過代理節省了多少工程時間。

這項區分令自動化的說法維持在有根據的範圍內。Exa 表示代理完成了優化工作,但相關敘述未有提供與純人手團隊的受控比較,亦未能確立總開發成本或持續維護負擔。

不過,根據公司的描述,這個案例確實展示了一個具明確驗收條件的開發流程。生成的程式碼有參考輸出、硬件量度及診斷追蹤。這些機制使團隊能夠剔除表面上前景可觀、但在實際執行時失敗的改動。

對基礎設施團隊而言,討論焦點因此從代理能否編寫低階程式碼,轉向組織能否可靠地評估這些程式碼。真正有用的資產是完整的回饋循環。若移除這個循環,同樣的生成方案便只會剩下遠為薄弱的正確性及營運價值證據。

所報告的 47% 增益有明確界線

這項結果是特定工作負載的改善,成本核算、檢索品質及可遷移性仍有待釐清。

Exa 將最終結果描述為:相對於初始基準,每百萬份嵌入文件的效能及成本改善 47%。其圖表及標題將吞吐量變化概括為約為起始水平的 1.5 倍。這些說法應保留公司的歸屬及比較界線。

吞吐量提升與每份文件成本下降互有關係,但兩者的百分比變化不可互換。由固定資源產出更多結果可改善單位經濟效益,但這不足以把 Exa 的說法改寫成支出普遍減少 47%。

該報告沒有提供足夠細節,以重建不同部署方案之間完整的財務比較。讀者需要在使用率、實例選擇、營運條件及計入開支方面具備相符的假設。在評估自訂核心的完整回報時,工程及維護成本同樣重要。

基準同樣關鍵。Exa 由直接的實作起步,並逐步改良。這建立的是項目內部的前後比較,而非證明它優於另一款加速器上可取得的最佳實作。

這份敘述中沒有配對的競爭晶片結果,足以為其他機構的採購作出定論。採購者如要比較硬件,需在可比較條件下使用具代表性的模型及輸入分布。Exa 的經驗指出值得研究的機制,而非提供普遍適用的排名。

數值正確性亦有其界線。通過 0.999 相似度關卡,支持在驗證程序下與所選參考的一致性;但這並不能證明每個查詢都會產生相同排名,或每個文件類別都保留相同的檢索行為。

搜尋評估必須檢視使用者實際收到的結果。微小數值變化的重要性,可因涉及的文件與查詢而有所不同。報告的驗證門檻是有用證據,但獨立的檢索品質量度回答的是另一個問題。

同樣地,30 分鐘飽和度基準測試支持一項持續硬件量度,但不代表所有生產環境條件。輸入長度、並行工作、中斷及管線其他階段,都可能影響實際服務效能。該出版物未能證明該基準涵蓋所有這些條件。

專門化亦帶來另一個維護問題。按模型維度量身訂造的核心,利用了日後模型修訂可能改變的假設。Exa 沒有量化在下一次遷移時,多少優化工作需要重新檢視。

報告亦指出,這項工作可延伸至 Trainium2,另一個 AWS 加速器系列。這是按照 Exa 所述的重用證據,而非證明每種配置都可取得相同增益。如要精確描述每項硬件部署,仍需個別量度。

這些限制並不抹殺 Exa AWS 推理效率的重要性;它們界定了證據能支持甚麼。最有力且獲支持的結論是,Exa 報告指出,透過調校其自身的嵌入工作負載取得具意義的增益,並採用了其他營運者可檢視及調整的驗證方法。

監察生產經濟效益、硬件重用及遷移品質

下一批證據應將核心效能與持續生產成果,以及未來模型變更的成本連結起來。

首個訊號是清楚區分吞吐量、單位成本及文件新鮮度的生產比較。Exa 的報告將嵌入能力與發現內容至提供服務之間的延遲連結。跨越這些階段的量度,將顯示經優化實作是否帶來預期的營運效益。

有用的披露會保留相同的工作負載界線,同時說明哪些項目納入成本計算。這會加強結果的經濟解讀。若增益在正常使用率下收窄,便會削弱把飽和效能視為生產預測的理據。

第二個訊號是在 Trainium2 及額外部署條件下量度的重用情況。Exa 表示其 Inferentia2 工作可直接延續,而其更廣泛策略依賴於擁有更多可用的硬件選擇。可比較的結果將顯示,多少價值能超越初始調校環境而得以保留。

Exa 描述了從單一 Kubernetes 控制平面跨地區進行排程,亦即協調容器化工作負載的管理層。其排程器比較不同實例類型的每美元效能,並據此配置工作。該公司稱,這種靈活性有助吸收閒置容量,或釋放其他地方所需的資源。

該排程策略改變了優化的目的。當一個硬件系列提供另一個有效執行工作負載的位置時,它便變得有用。即使底層模型保持不變,最佳選擇仍可隨容量及需求而改變。

若證據顯示自訂程式碼在不同部署之間需要大幅重寫,便會削弱重用論點;若證據顯示在受支援硬件上具備穩定的正確性及持續效率,則會加強該論點。兩種結果都不應僅因流程可在兩個系列上運行的說法而被假定。

第三個訊號是下一次模型遷移,特別是其維護負擔及檢索品質結果。Exa 目前的敘述源於較佳的文件模型需要重新處理既有資料。日後的升級將檢驗:當模型要求改變時,這項工程投資是否仍然有用。

若下一個模型保留大部分經優化的執行路徑,效益便會超越最初的回填工作;若它使關鍵假設失效,該公司便必須權衡新的調校工作與預期處理節省之間的取捨。這種關係將有助判斷此方法可持續多久。

對開發者及採購者而言,應將 Exa 嵌入吞吐量的結果,連同自身工作負載的界線一併理解。識別你的限制究竟是文件處理、檢索品質、可用容量,還是另一個管線階段。要求提供把擬議優化與該限制連結起來的生產量度。

然後檢視當模型改變、偏好的硬件供應緊張時,該實作是否仍具經濟效益。只用一個標題百分比來解釋 Exa 的嵌入優化,會忽略這些營運條件。請利用此案例要求更清晰的基準、明確的驗證,以及有證據顯示有用文件能更快進入搜尋。哪一項量度可以證明你所營運系統的這項效益?

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page