top of page

Crowd-v1 - 協作式 LLM 瞄準社群訓練 AI

7 分鐘前
讀畢需時 11 分鐘

CrowdGPT 正招募志願者訓練 Crowd-v1,這是一個約十億參數的語言模型;而其建議的 Qwen3-0.6B 基準目標仍未獲驗證。該項目最新的主張 Crowd-v1 - 協作式 LLM,提出一個問題:捐贈的運算資源能否在沒有專屬訓練叢集的情況下,產出具競爭力的小型模型。

這使之成為一項關於誰能組織模型開發的實驗。其核心張力在於社群參與,與把各方貢獻轉化為實用版本所需的協調、驗證及持續運算能力之間的取捨。Qwen3-0.6B 提供了一個參考點,但追上它目前仍是目標,而非已公布的成果。

DiLoCo 等研究已挑戰「分散式訓練必然需要持續通訊」的假設。CrowdGPT 將這個更廣泛的問題帶到志願者參與的場景。當前壓力落在項目組織者身上:他們需要公布證據,證明參與能轉化為可靠的學習成果。

Crowd-v1 - 協作式 LLM 向志願者開放訓練

在其協作訓練更新中,項目表示一週內有 85 名已登記貢獻者,以及 130 億個訓練 token。Token 是語言模型處理的文字單位。這些是由組織者報告的活動數字,並非經獨立審計的模型能力衡量。

這項發展是一項設有既定性能目標的公開訓練工作,而非已完成並具競爭力的模型發布。

這項區別決定讀者應如何理解這則公告。貢獻者數量反映招募情況;處理量則反映某一套統計方法下的活動量。兩者均不能證明所得模型能否準確回答問題、遵從指令,或相對參考模型穩定地運作。

這個抱負值得關注,因為參與不再只限於下載已完成的權重——即編碼模型已學行為的數值。志願者被邀請協助建立這些數值,令他們與項目的關係由使用者轉為貢獻者。

不過,協作描述的是過程,不是結果。一個項目可以吸引投入的社群,同時其模型仍未成熟。反過來,尚未完成的模型也可能支持有價值的工程研究。讀者應分開評估這些成果,而非過早對整體成敗下結論。

公開的部分訓練模型提供了一項重要限制條件。其模型卡指出訓練仍在進行,並提醒不要期待文本極為連貫。模型卡亦顯示訓練量為 240 億個 token,但未能證明其報告時間與 Reddit 更新一致。

這些數字應視為不同時間點的快照。若要把它們合併為增長估算,便需要對應日期及定義。同樣地,不能把模型下載量視作活躍訓練貢獻的證據。

模型卡證明存在可供檢視的公開產物,卻不能證明建議中的 Qwen 對比目標已達成。下一個具意義的報告步驟,是針對特定版本發布版本化評估。

對潛在貢獻者而言,這個框架亦釐清了預期。加入意味着支持一項結果仍未明朗的實驗。即使尚未達到任何具競爭力的基準目標,其價值仍可能包括更佳的訓練軟件、有用的失敗報告,或可重現的小型模型。

因此,這項公告提出了一個具體的問責問題:組織者能否把志願者完成的工作,連繫至外界觀察者可以檢視的改變?這種連繫會比更大的參與人數標題更重要。

當前壓力落在 CrowdGPT 的證據之上

CrowdGPT 的主張挑戰了對擁有集中式運算基建的組織之依賴。然而,其目前公告並未證明可對這些組織構成競爭壓力。眼前的責任屬於 CrowdGPT 本身:說明其社群已建立了甚麼,以及應如何衡量進展。

志願者訓練項目要贏得可信度,必須把參與、獲接納的工作,以及可獨立衡量的改善連繫起來。

設想一名貢獻者讓適合平行運算的圖形處理器通宵運作。該貢獻者希望知道自己的工作是否確實進入共享模型。單靠排行榜項目無法解釋這種關係。

有用的貢獻紀錄應區分已完成的運算與獲接納的更新,亦應說明重複工作是用於驗證,還是增加新的訓練覆蓋。這些區別很重要,因為表面相近的活動總量,可能代表截然不同的進展程度。

這是分析上的要求,並非對 CrowdGPT 統計方式的指控。現有公告未能解答每一項衡量問題。及早公布定義,會讓社群可以用共同的術語討論改善。

項目亦需要區分個人貢獻與系統表現。參與者可以正確完成分配的工作,但整體訓練過程仍可能效率不佳。同樣地,一名快速參與者若其更新屢次太遲送達,也可能貢獻甚少有用工作。

這些可能性令登記人數成為不完整的能力指標。比起已建立帳戶的數量,持續參與、獲接納的工作及有用產出更值得關注。招募只有在能帶來可靠運算供應時才有意義。

Qwen 目標令這項責任更明確。具名的參考模型讓觀察者有具體對象可作測試,亦避免討論停留在模型正在改善這種未定義的說法。

對開發者而言,實際問題是社群訓練能否提供一個可供檢視及重現的替代方案。對研究人員而言,問題是這個過程能否揭示分散式運算的有用經驗。對一般使用者而言,實用性仍取決於最終模型的表現。

這些受眾不需要相同的證據。研究參與者可能重視一場富資訊價值的失敗實驗;應用程式開發者則需要可預測的輸出和穩定的版本。項目應說明某一里程碑服務的是哪一類受眾。

這項公告並不會帶來即時採購決定。企業團隊應把 CrowdGPT 視為值得監察的實驗,而非部署承諾。這種立場既容許有意義的進展,也不會把尚未完成的模型視為可投入生產。

更廣泛的意義仍有條件:若社群公布可重現的結果,便會強化讓更多人參與訓練的理據。在此之前,目前最有力的已證明發展,是圍繞可測試目標組織一項公開工作。

較少通訊帶來不同的協調問題

志願者訓練框架描述一個中央伺服器,把兼容的參與者分配至每組三人的池。成員會接收相符的工作、本地訓練,然後上傳權重差量,即訓練產生的改變。伺服器會在合併獲接納的貢獻前,比對這些改變。

這是由中央協調的分散式運算。若形容它完全不依賴中央基建,便會掩蓋一項重要的設計選擇。協調器仍負責分配工作,並決定甚麼會進入共享模型。

把運算分散至志願者,改變的是協調發生的位置;它並不消除協調的需要。

更廣泛的技術前提獲研究支持。在原始的低通訊訓練研究中,DiLoCo 研究人員報告指,使用八名工作者並減少 500 倍通訊次數,仍取得與同步訓練相若的表現。同步訓練要求工作者共同協調其進度。

這項結果支持研究較低頻率的通訊,但不能證明 CrowdGPT 的表現,亦不能證明其實作重現了研究結果。一種方法在論文中的表現,與另一個項目的表現,需要分開評估。

無須假定特定演算法,也能理解核心取捨。工作者需要時間計算有用的更新,但其工作最終需要成為共享模型的一部分。較長的本地工作時間,會改變通訊頻率與協調之間的關係。

因此,實際評估應衡量有用的學習,而不只看網絡流量。只有當訓練流程仍能帶來可接受的進展時,傳輸較少位元組才有價值。否則,網絡改善可能掩蓋學習問題。

志願者的可用性再增加一個維度。參與者可能斷線、需要把電腦用於其他工作,或在共享模型已推進後才重新加入。協調器需要有明確規則處理這些工作。

這些是設計問題,而非證明志願者訓練不可行。關鍵在於系統在一般參與模式出現時如何運作。相比有關最終規模的承諾,受控失敗測試會令這種行為更容易評估。

Google DeepMind 在 2026 年 4 月發表的非同步訓練研究提供了更多背景。其 Decoupled DiLoCo 工作研究如何在分隔的運算地點進行訓練,同時隔離干擾。不過,受管理的基建不同於透過公開連線參與的無關家用電腦。

這個對比解釋了為何即使已有類似研究,CrowdGPT 的實驗仍然有趣。挑戰還包括運作環境、貢獻者行為及信任假設。來自受管理叢集的已公布結果,不能自動解答這些問題。

驗證同樣消耗資源。要求參與者重複工作有助比對輸出,但會減少可供不同任務使用的運算能力。項目需要展示這項成本如何支持值得信賴的進展。

因此,最有力的機制說法,是令共享工作變得可靠。當協調成本保持可見,而獲接納的更新能帶來可衡量的改善時,社群訓練便更具說服力。原始參與數字本身無法回答任何一個問題。

追上 Qwen 需要評估協議

建議中的 Crowd-v1 與 Qwen3-0.6B 對比,為項目提供了具體目的地。然而,目的地並不是評估協議——即用以產生可比較結果的文件化程序。沒有這個程序,不同測試可能會帶來不同的成功詮釋。

小型模型參考列明曾經歷預訓練及後訓練。預訓練建立一般語言模式;後訓練則進一步塑造模型行為。這令版本選擇在與尚未完成的訓練產物比較時尤其重要。

可信的比較必須先識別模型、任務、設定和限制,才可宣稱已達成目標。

單憑參數數量無法解決比較問題。參數是模型在學習期間調整的數值組成部分。其數量描述了模型結構的一部分,但不能證明其回答質素。

公平的評估應先識別所測試的確切 Crowd-v1 版本。然後應列明 Qwen 版本,並解釋為何這些版本構成有意義的比較。否則,讀者無法得知其後的結果是否涉及相同的底層產物。

測試條件同樣需要清楚說明。提示詞、輸出限制和生成設定都會影響評估者所量度的內容。公開這些資料,其他人便可重複進行比較,而非只能依賴摘要。

任務選擇也需要理據。語言續寫的結果所回答的問題,與遵從用戶指示的結果並不相同。若未加說明便將這些結果合併,雖然較容易寫出標題,卻會令證據更難解讀。

例如,一名假設中的開發者若在評估短文件摘要,會關注事實準確性、遺漏內容及指令遵從情況。通用基準測試的改進未必能回答這些問題。應用相關性要求超越整體分數作檢視。

這並不表示 CrowdGPT 必須在每項任務中勝出。一項界定清晰的結果仍可具價值。在既定評估中追平參考模型,比起由精選例子支持的寬泛宣稱,更能說明問題。

失敗例子應與成功例子一同公開。讀者需要了解錯誤是偶發、系統性,還是集中於特定任務。這些模式有助說明模型已準備好支援甚麼。

獨立重現將可進一步強化這項發現。外部評估者應能取得相同版本、跟隨已記錄的流程,並得出相容的結果。這比宣傳摘要之間的一致性更具資訊價值。

項目亦應區分訓練進展與最終助理行為。改善模型的學習目標,並不會自動說明其處理請求的表現。每項主張都需要與所聲稱行為相稱的證據。

在這些證據出現前,Crowd-v1 - The collaborative LLM 最適宜被理解為一條建議中的替代訓練路徑,並帶有明確的基準目標。將這項目標視為已完成的成就,會抹去最重要的不確定性。

捐贈運算資源仍涉及成本與信任要求

項目以零預算作框架,描述的是組織者希望如何取得運算資源。不應把這理解為對所消耗資源的完整核算。志願者仍在付出硬件存取權、電力、連線能力和時間。

透過捐贈資源進行社群資助,改變的是由誰承擔開支;並不會令資源需求消失。

這一點對可持續性十分重要。參與者或會樂意偶爾作出貢獻,卻不願承諾會干擾日常工作的長期投入。組織者需要理解這種意願,而非假設所有可用機器都能提供持續容量。

相同道理亦適用於環境主張。重用現有設備回答的是硬件採購問題,但這本身並不能證明運行該等設備進行訓練的能源影響。

有意義的評估應界定比較的是甚麼替代方案,並核算實際完成的工作。沒有這個界線,環境結論便會超前於現有證據。

信任帶來另一個核算問題。貢獻者需要相信自己運行的軟件;組織者需要相信收到的更新代表可接受的工作。兩者是相關責任,但滿足其中一項並不會自動滿足另一項。

公開原始碼有助檢視,但不能證明有人已完成審計,亦不能證明每個分發組件都如所宣稱般運作。關於安全性的主張,應說明已完成的審查及其範圍。

同樣地,提交更新之間的一致性也需要解讀。驗證方法應解釋其假設、可偵測的問題類型,以及哪些內容仍不在其涵蓋範圍內。讀者不應把一次檢查視為普遍保證。

中央協調除了技術問題外,也會帶來管治問題。誰可以修改接納規則?誰控制已發布版本?若現任營運者無法繼續,會如何處理?這些問題影響協作能否持久。

非牟利描述並不能解決這些問題。貢獻者可受惠於有關項目控制、版本決策和延續性的明確規則。清晰管治亦可減少一般分歧演變成所有權或權限爭議的機會。

資料貢獻流程同樣值得審視。接納社群材料需要就適切性、權限、重複內容及評估重疊作出決定。參與可擴大潛在輸入來源,同時亦提高已記錄篩選規則的重要性。

這些疑慮並不會否定這項實驗。它們指出開放流程需要具備甚麼,才能讓人檢視。最有力的回應會是一份讓貢獻者可作建設性質疑的決策與結果紀錄。

追蹤這些證據的團隊可使用可搜尋知識庫,保存版本說明、評估結果和未解決問題。將這些紀錄集中保存,有助區分已驗證的變更與重複出現的主張。

對 CrowdGPT 而言,實際含意十分直接。可持續協作取決於尊重貢獻者資源,並說明項目權限。當這些責任獲得與模型訓練同等關注,技術進展便更容易取得信任。

下一個里程碑需要將活動與成果連結起來

下一個報告期應按以下次序聚焦於可重現評估、有記錄的訓練效率,以及持續的貢獻者活動。這些訊號涵蓋同一命題的不同部分:共享參與能否產生有用模型。

最有力的證據,會把特定版本、可量度的學習成果,以及持續貢獻的社群連結起來。

首先,留意已版本化的 Crowd-v1 評估是否對照所指明的 Qwen 參考模型。版本識別碼、測試配置和輸出結果應令結果可重複。若獨立評估得出相容結論,將可強化項目的論據。

一段精選對話或未經解釋的分數,會提供較弱的證據。它或可支持進一步測試,但無法解決競爭力主張。決定性的改變,會是其他人毋須重建缺失條件也能檢視的結果。

第二,留意是否有關於有效訓練工作的核算。報告應區分運算、通訊、重複驗證、被拒絕的提交,以及中斷的任務。目標是理解志願資源如何轉化為獲接納的學習成果。

若有證據顯示協調改善帶來更佳進展,將可強化社群訓練的論點。活動總量上升但學習成果不明,會令這項論點仍不完整。效率需要依據成果判斷。

第三,留意參與是否在公布後持續。註冊帳戶反映興趣,而持續獲接納的貢獻則反映一個運作中的社群。一個可持續的項目需要足夠延續性,同時維持訓練和支援訓練的軟件。

貢獻者體驗亦屬評估一部分。清楚的任務狀態、可理解的失敗資訊,以及可見的接納決策,有助人們決定是否繼續參與。即使底層訓練流程正常運作,混亂的核算仍可削弱信心。

這些訊號應一併解讀。基準測試結果強勁但資源核算不透明,會令可持續性仍存疑問。協調高效卻沒有有用模型,所建立的是工程里程碑,而非完整主張。

即使保留了一個社群,若缺乏透明評估,仍難以作出判斷。熱情固然有價值,但觀察者仍需要方法,分辨富有成效的工作與已停止取得可量度進展的實驗。

因此,Crowd-v1 - The collaborative LLM 提出了一項值得持續關注的明確命題:志願者共同參與建立共享模型。恰當的標準是與此命題相稱的證據,並清楚界定每個里程碑所能證明的內容。

在評斷任何效能標題前,請追蹤下一個版本,保留其模型識別碼、評估設定和已公布限制。將這些紀錄與其後更新比較,讓改進保持可見,並讓失敗的假設可追溯。若你正考慮作出貢獻,先決定自己願意捐出的硬件時間和連線能力,然後尋找有關獲接納工作的清晰報告。若你正為應用程式評估模型,請等待與實際任務相關的結果,而非把參與里程碑視為品質保證。請問每次新更新是否將社群投入與可重現能力連結起來。這個連結將決定 CrowdGPT 的協作訓練主張值得獲得多少信心。

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page