OpenAI：推進低資源程式語言編碼須保留原有行為

OpenAI 於 10 月 19 日發布兩項程式編碼評測，將其證據延伸至較不常見的程式語言，同時亦令生產環境可靠性仍然成為懸而未決的問題。推進低資源程式語言編碼，現時涉及一項要求更高的比較：生成可運作的軟件，與保留既有系統的行為。

公告涵蓋 MultiLangBench——一項橫跨 20 種語言的軟件評測——以及另一項 COBOL 遷移評估。COBOL 是 Common Business-Oriented Language 的縮寫，至今仍是 IBM 及 AWS 現代化工具的重點。核心張力在於，模型生成看似合理的程式碼之後會發生甚麼事。

對開發人員及企業買家而言，有用的問題是，這些結果是否支持作出不同的現代化決策。更佳的模型可擴大值得嘗試的工作範圍。至於某個替代方案是否值得承擔既有業務流程的責任，則需要額外證據。

推進低資源程式語言編碼迎來兩種不同測試

根據 OpenAI 的低資源程式編碼研究，MultiLangBench 要求模型建立與 SQLite 相容的資料庫引擎。SQLite 是一種嵌入式資料庫引擎，應用程式可在毋須獨立運行資料庫伺服器的情況下使用。

OpenAI 報告指出，GPT-6 Astra 的平均測試通過率為 87.4%，相比之下 GPT-5.6 Sol 為 26.8%。其另一項遷移評測要求在將 COBOL 翻譯成其他語言時，輸出結果必須完全一致。據報 GPT-6.1 Sol 在低推理強度下達到 86.6% 準確率，在較高設定下則達 97.9%。

這些評測處理的是不同的工程問題，因此其百分比不應被視為可互換的就緒程度指標。

資料庫建構任務考察模型能實作多少指定功能。遷移任務則考察既有程式的可觀察行為能否在翻譯後保留下來。兩種情況下的成功都很重要，但各自支持不同結論。

不妨考慮局部資料庫分數的含義。一項實作可以支援有用的操作，同時未能處理其他操作。其實際重要性取決於哪些操作仍未獲支援，以及應用程式是否需要它們。

遷移分數則需要另一種解讀。通過驗收測試的翻譯程式會被歸入成功組別。這種分類並不顯示其周邊部署將會有多困難。

這個分別改變買家應如何解讀一項頭條結果。跨語言的高平均分有助證明廣度，但並不能證明每種語言、任務或應用程式都能獲得相同效益。

同樣地，遷移評測可以證明其涵蓋程式的進展。要將這個結論延伸至某個機構的軟件，則需要理解那些程式與其自身系統有多相似。

因此，這項公告為評估創造了有用的契機，而非作出全面替換的決定。過去對陌生語言表現感到失望的團隊，有理由重新評估。他們仍需清楚連結已發布的任務與預期用途。

對開發人員而言，直接含義比「AI 編碼有所改善」更具體。相關問題變成：哪些原本不切實際的任務，現時值得進行受控試驗。這可能包括理解某個模組、提出修正建議，或準備候選翻譯。

每項任務都有不同的驗收門檻。解釋即使經審閱者修正後，仍可維持其效用。一個替代程式則需要更強的依據，才可讓另一個系統依賴其輸出。

透過這些門檻解讀公告，既可保留其重要性，也不會將結果無法承擔的責任加諸其上。改進關乎經評測的能力；部署決策則關乎特定系統。

維護團隊面對新的評估負擔

生成能力提升，令焦點更集中於團隊用來接納或拒絕建議變更的證據。

推進低資源程式語言編碼，迫使工程組織更精確地定義成功。過去看似難以想像的示範，現時成為內部測試的候選項目。這為維護人員、審閱者及業務擁有人帶來工作。

負擔首先在於決定哪些內容必須維持不變。程式原始碼描述其操作，但驗收決策亦需要預期結果。沒有這些結果，審閱者可以辨認可讀的程式碼，卻無法確認其行為是否等同。

這造成一種實際的不對稱。製作另一個候選實作，可能比解決具爭議的業務規則容易。若生成程式碼揭示了含糊之處，仍需要有人有權決定機構預期採用哪種解讀。

設想一個涉及定期帳戶調整的假設維護項目。替代方案對一筆罕見記錄產生意外結果。工程團隊必須判斷原有行為反映的是政策、權宜做法還是錯誤。

這些解釋會導向不同決策。保留政策支持相容性。保留意外缺陷可能符合遷移要求，卻會妨礙另一項業務目標。

因此，語言轉換應有明確範圍。行為保留與業務重新設計可以同屬一個項目，但將兩者混合會令分歧更難診斷。當輸出結果不同時，審閱者必須知道這項差異是否已獲授權。

這項公告亦為採購團隊帶來壓力。吸引人的模型結果是採購決策的一項輸入，而有用的採購比較需要考量整個工作流程。

該流程包括準備材料、審閱變更、調查失敗，以及其後維護結果。即使模型能迅速生成可接受的候選方案，仍可能需要專家投入大量解讀工作。

反過來說，模型毋須完成整個遷移才可提供價值。若它能協助維護人員找出相依關係，或解釋陌生程序，這項貢獻值得獨立評估。較窄的用途可以有更清晰的驗收標準。

這對人手討論尤為重要。將更佳的生成能力視為即時替代機構知識，忽略了知識在驗證中的角色。能辨認罕見例外的人員，可決定看似乾淨的翻譯是否可接受。

對技術主管而言，最有力的回應是修訂評估計劃。找出過去失敗的工作、界定可觀察的驗收標準，並將新結果與這些標準比較。已發布的改進提供動機；內部證據則提供決策依據。

短期壓力將落在缺乏可用測試或易於查閱技術紀錄的機構身上。更佳的候選方案會令這些缺失基礎更為明顯，卻不會自動解決它們。

保留行為令遷移成為不同的編碼問題

IBM 的文件在其 COBOL 捨入規則中描述一個具體例子。當小數結果超出可用儲存位置時，除非適用操作指定捨入，否則便會發生截斷。

截斷會捨棄多餘數字。捨入則可改變保留的值。因此，以不同數值慣例進行替換的翻譯，即使語法有效，也可能改變答案。

遷移正確性取決於操作的含義，包括可被可讀替代程式碼掩蓋的細節。

正是在這裏，生成程式碼與保留行為之間的分別變得重要。審閱者可能偏好替代方案的外觀，卻忽略其處理邊界情況的方式已改變。

一個假設帳戶計算可說明問題，而毋須涉及特定客戶事件。假設既有程式在中間步驟捨棄小數精度。若將這項調整移至最終輸出，結果便可能改變。

替代方案看來可能合乎數學邏輯，但亦可能偏離下游流程預期的行為。決定哪個結果較理想，既需要業務判斷，也需要語言知識。

同樣的推理不止適用於算術。遷移評估應詢問：當預期資訊缺失、格式錯誤，或以不尋常次序出現時會怎樣。合適答案取決於系統的合約。

該合約應區分有效的業務回應與技術故障。傳回空結果、記錄拒絕，以及終止工作，都是不同的行為。替代方案不應在沒有明確決定下將這些分別混為一談。

對買家而言，這令測試設計成為現代化方案的一部分。生成翻譯與為該翻譯生成測試，並不會自動形成獨立證據。兩種產物都可能反映同一種錯誤解讀。

較強的評估會在可行情況下，將候選方案與外部參照比較。既有輸出、已核准的業務範例及經獨立審閱的要求，都可提供這種參照。分歧因而可被檢視，而非流於主觀。

這亦解釋了為何成功的語言翻譯並不能解決所有現代化問題。機構可能希望提升可維護性、採用不同部署選項，或釐清擁有權。行為一致只處理了這個議程的一部分。

當中有一項有用的準則：在討論結果是否令人印象深刻之前，先確立結果代表甚麼。通過的翻譯支持對已測試行為作出陳述；成功部署則支持較廣泛的營運陳述。

經濟理據取決於維持這個分別。若團隊到後期才發現語義差異，較早前的生成收益便變得較不具參考價值。若他們及早識別並解決這些差異，較強模型便可支持更可信的項目。

因此，對評估 OpenAI COBOL 遷移的開發人員而言，核心能力是有紀律地保留行為。在團隊確定替代方案必須保留哪些可觀察細節後，生成慣用的替代方案才變得重要。

IBM 與 AWS 在周邊工作流程上競爭

IBM 將 watsonx Code Assistant for Z 定位為涵蓋應用程式分析、程式碼解釋、重構及轉換的工具。該公司亦描述了測試工作，將翻譯後的 Java 服務與原有 COBOL 行為進行比較。

AWS 將 AWS Transform 描述為主機現代化工作流程，涵蓋分析、文件編製、業務邏輯擷取、規劃及程式碼轉換。其文件包括在需要額外資訊或批准時加入人工參與。

競爭比較由模型能力延伸至將候選方案轉化為獲接納系統所需的工作。

這些方法為 OpenAI 的公告建立了有用的背景。通用模型評估會分離出可支援多種產品的能力。現代化平台則說明這些能力如何融入組織流程。

兩個類別均無法單獨回答買家的所有問題。專門工作流程仍需要在買家的軟件上交出具說服力的成果。功能強大的通用模型仍需要合適的整合、審核及營運責任歸屬。

這個分別改變了公平比較應包括甚麼。把模型輸出與整個平台的承諾相比，混合了不同分析單位。比較完整工作流程，則會令取捨更清晰可見。

內部試驗可讓競爭方案接受相同的限定任務及驗收條件。審核人員其後可檢視產出的成品、未解決問題，以及達至獲批准結果所需的工作量。

這種比較應保留原有的任務界限。如其中一種方法依賴額外人手準備，應記錄該準備工作。如另一種方法在程式碼以外產出有用文件，則應評估審核人員能否依賴該等文件。

目標是找出各種方法的貢獻所在。某個組織可能較重視與現有環境的整合，而非廣泛的語言覆蓋。另一個組織可能需要在多個彼此無關的儲存庫中獲得靈活協助。

這些是不同的採購情況。基準測試不會消除這些差異。它會在買家決定哪些候選方案值得深入審視時，提供另一項證據。

對 OpenAI 而言，策略機會在於廣度。能處理陌生語言的模型，可以成為維護及現代化流程中的一個組件。商業意義取決於組織能否將這項能力轉化為獲接納的工作成果。

對既有供應商而言，相應壓力在於證明附加價值。探索、審核支援、整合及部署協助，應產生可觀察的效益。買家需要有方法分辨這些效益與重疊的生成能力。

互補使用亦有空間。工程組織可以在既有現代化流程中評估通用模型。關鍵結果是，組合後的工作流程是否改善了獲批准的任務。

這個框架令競爭保持務實。IBM、AWS 及 OpenAI 為同一個組織問題提供不同切入點：在保留對軟件行為控制的同時修改軟件。買家應比較每項方案實際承擔的責任。

可信的市場回應，會提供更清晰的任務界限及更可重現的證據。對自動化現代化作出更廣泛的宣稱，反而會令這種比較更困難。

通過評估仍留下生產環境問題

SQLite 自身的資料庫測試實務包括崩潰測試、格式錯誤輸入、資源故障及迴歸測試。迴歸測試會檢查某項變更是否破壞了原先可正常運作的行為。

該文件提供了關於資料庫可靠性的獨立工程觀點。在一般條件下得出正確答案，只是較大型測試計劃的一部分。異常運作條件同樣需要注意。

通過既定評估支持其所聲稱的結論；生產環境接納則需要評估未能確立的條件之相關證據。

這是推進低資源程式語言編碼的核心審慎角度。已發表的結果值得按其自身條件檢視。其詮釋應止於現有證據所及之處。

資料庫可以正確回應查詢，卻仍可能需要在中斷或資源壓力下接受調查。這些條件是否重要，取決於預期應用。一次性的原型與持久的營運記錄有不同要求。

同一原則適用於經翻譯的軟件。符合預期輸出，並不能獨立證明效能、部署行為或復原程序可以接受。如項目依賴這些特性，便需要明確評估。

這並不表示輸出一致性不重要。它只是令一致性成為一種界限清晰的證據形式。錯誤在於將有用的量度轉化為對替代方案的完整論述。

評估設計亦會影響分數揭示多少資訊。買家應檢視任務選擇、可用工具、停止條件，以及如何處理未成功的嘗試。這些細節會影響已發表結果是否貼近其限制條件。

重複實驗提出另一個問題：團隊最終實際得到甚麼？最終通過的成果固然有用。了解在此之前有多少被放棄的候選方案及專家介入，同樣重要。

缺乏這些背景，團隊可能低估重現結果所需的工作。有了這些背景，組織便能對審核能力及項目範圍作出更實際的判斷。

文件記錄亦存在問題。如模型識別出一項業務規則，審核人員應把支持證據連同解釋一併保留。否則，日後的維護人員便會繼承另一項缺乏依據的描述。

可搜尋的知識庫可支援存取技術記錄。測試執行及領域專家審核，仍會決定某項建議詮釋是否可接受。

對假設性的遷移項目而言，重要記錄應將某項行為連結至其測試及批准。這種連結有助未來審核人員理解，為何某項不尋常操作在重寫後得以保留。

因此，餘下的不確定性關乎遷移性。當儲存庫、業務規則及運作條件改變時，已評估的能力是否仍然有用？這是客戶試驗需要實證回答的問題。

OpenAI 的結果足以再次提出這個問題。但對尚未測試其自身軟件的組織而言，它們並不能決定答案。

關注可重現性、客戶接納及工作流程比較

下一項證據應顯示，經評估後較強的能力，是否能減少接納實際變更所需的工作。

未來數個月，應首先關注可重現性。獨立團隊需要足夠資料去理解任務，並評估其結果是否支持相同結論。

有用的重現工作會列明模型設定、環境、驗收規則，以及與原始設定的偏差。屆時差異便可被解讀。缺乏這些細節，相同百分比可能掩蓋了不相同的實驗。

如改進能在獨立選擇的任務中持續出現，重現工作將會強化推進低資源程式語言編碼的論據。狹窄或不一致的結果，則會限制買家應作出多廣泛的概括。

第二個訊號是客戶接納證據。留意說明了評估哪些軟件、何謂成功，以及如何處理未解決差異的案例。經過精心包裝的生成示例，決策價值較低。

有力的客戶證據應區分實驗候選方案與獲營運接納的變更，亦應說明餘下的人手責任。這些細節有助另一個組織判斷該經驗能否遷移。

有限度的維護成果，可能比宏大的轉型宣稱更具資訊價值。一份經驗證修復的記錄，確立了具體結果。聲稱現代化變得更容易，則需要額外說明。

對 OpenAI COBOL 遷移而言，特別有用的證據會將生成的替代方案與獨立批准的行為連結起來。這將強化評估與實際接納之間的橋樑。

第三個訊號是完整工作流程的比較。買家應留意通用模型及專門現代化工具是否在可比較限制下接受等效任務。比較需要包括審核及返工。

IBM 的COBOL 現代化工作流程及 AWS 的大型主機轉型工作流程，說明了此類評估應考慮的較廣泛範圍。其已發表描述仍屬供應商聲稱，而非獨立效能排名。

如較強模型能透過接納持續減少工作量，工作流程比較將會強化該公告的實際意義。如審核及修正佔主導地位，眼前效益仍會較為有限。

任何一種結果都不會令基礎能力變得無關重要。它只會釐清該能力應置於何處。開發人員需要這種清晰度，多於另一個缺乏區分的排行榜。

對工程領導者而言，有用的下一步是選擇一項具權威預期結果的限定任務。在驗收討論中納入具代表性的故障及不尋常輸入。將建議的行為變更與語言翻譯分開處理。記錄模型在哪些方面有所幫助、專家在哪些方面介入，以及甚麼證據支持批准。然後將整體工作量與既有流程比較。當組織能將更佳生成能力連結至經驗證的結果時，推進低資源程式語言編碼才具意義。在擴大試驗前，向維護人員及業務負責人提出同一問題：甚麼證據會令你願意依賴這個替代方案？