Bonsai 27B スマホで動作する初の27B規模マルチモーダルモデル

Bonsai 27Bは、27 billion parameter multimodal modelをiPhone 17 Pro上で完全に動作させる。

1 bit variantは3.9 GBのメモリを使用する。ternary counterpartは5.9 GBを使用する。どちらもQwen3.6 27B baseから派生している。

Apple siliconのunified memoryは限られている。full precision 27B modelは現在のphoneの予算を超える。

Bonsaiは、大きなaccuracy lossなしにextreme quantizationを通じて制約を解決する。

Model sizes and memory footprint

1 bit modelはweightあたり1.125 effective bitsを保存する。ternary modelはweightあたり1.71 effective bitsを保存する。

これらの数値はopen source weightsとともに公開された公式release notesによる。

3.9 GBの1 bit checkpointはexternal offloadingなしにiPhone 17 Proに直接ロードされる。

従来の27B class modelは4 bit以上で少なくとも14 GBを必要とした。

Retained benchmark performance

15のstandard benchmarksにおいて、ternary variantはdense baseline scoreの95 percentを維持する。1 bit versionは90 percentを維持する。

Mathおよびcoding tasksではほとんど低下が見られない。Visionおよびagent loop tasksでは数ポイントの低下がある。

チームは、final 10 percent of tokensにquantization aware fine tuningを適用するtraining stageによる保持を指摘している。

開発者は、structured tool callsおよびmulti step reasoningをローカルで実行できる。

Context window and inference tricks

両variantは262 K token context windowをサポートする。Speculative decodingによりphone NPUでのgenerationが1.8 times高速化される。

同じweightsは、higher throughputが必要な場合にlaptopsおよびservers上で動作する。Apache 2.0 licenseはcommercial fine tuningを許可する。

リリースにはon device computer use agent loopのreference codeが含まれる。

Practical use cases on mobile

Knowledge workerはscreenshotsを添付し、cloud callsなしにstructured answersを受け取れる。

Engineerはlocal codebases上でmodelを実行し、移動中にinline suggestionsを得られる。262 K contextにより、entire technical manualをone passで読み込める。

Privacy sensitive usersは、documentsをremote serversに送信する代替としてlocal optionを得る。

Limits and remaining gaps

1 bit modelは、ten turnsを超えるlong agent loopsでtokensを occasionally dropする。phone NPUでのlatencyは1 bit variantで平均28 tokens per second。

どちらのcheckpointもmobile向けに最適化されたsmaller distilled modelsの速度には及ばない。Battery impactはtwenty minutesのcontinuous inference後にmeasurableのままとなる。

チームはweightsを公開したが、full training datasetやexact quantization scheduleはリリースしていない。

Next signals to watch

Appleがnext silicon cycleでsub 2 bit operationsのhardware supportを追加するかどうかを注視する。GitHub starsおよびindependent labsからのreported on device benchmarksを通じてadoptionを追跡する。

Competing labsがnext quarter内にsimilar 1 bit 30 B scale checkpointsをリリースするかどうかを観察する。

結果は、extreme quantizationがon device frontier modelsのdefault pathとなるかどうかを示す。