top of page

langchain-openai==1.8.3 risolve la cache di Codex

2 ore fa
Tempo di lettura: 12 min
Illustrative photograph. Photo: Godfrey Atima / Pexels.

LangChain ha rilasciato langchain-openai==1.8.3 il 19 novembre 2026, risolvendo un problema di formattazione delle richieste che impediva alla sua integrazione Codex di memorizzare nella cache i prompt di sistema di GPT-6.2. La cache dei prompt, che riutilizza input già elaborati, dipende in questo caso sia dal posizionamento dei messaggi sia da un header di sessione condiviso. I risultati riportati da LangChain mostrano il ritorno dei cache hit, sebbene rimangano intermittenti.

La patch riguarda _ChatOpenAICodex, l'implementazione di accesso tramite ChatGPT alla base dell'integrazione OpenAI di LangChain. La sua rilevanza si colloca tra il supporto del modello e il funzionamento effettivo dell'applicazione: accettare una richiesta non dimostra che le istruzioni ripetute ricevano il trattamento previsto dalla cache.

OpenCode, un altro progetto di agente di coding, ha documentato un problema simile nella formattazione delle richieste. Nel loro insieme, le modifiche spingono i manutentori delle integrazioni a verificare cosa invia realmente il loro software. Gli sviluppatori che valutano l'aggiornamento dovrebbero inoltre notare una modifica comportamentale distinta: le istruzioni fornite per una singola chiamata ora integrano il prompt di sistema anziché sostituirlo.

Cosa cambia realmente con langchain-openai==1.8.3

La release risolve uno specifico percorso di integrazione, con la formattazione delle richieste al centro della modifica.

La release del pacchetto è stata pubblicata alle 00:38:57 UTC del 19 novembre. Il suo breve changelog elenca la modifica della release e la correzione che abilita la cache dei prompt di Codex su GPT-6.2. Si tratta di un aggiornamento del pacchetto provider OpenAI di LangChain, che collega le applicazioni ai servizi OpenAI.

L'identità della release è importante perché il repository contiene più pacchetti con versioni indipendenti. Un tag per questo provider non stabilisce una corrispondente release del core di LangChain. Inoltre, non annuncia GPT-6.2 né promette un comportamento identico su tutti i modelli supportati dal pacchetto.

Il precedente aggiornamento del provider, pubblicato il 18 novembre, includeva il supporto per GPT-6.2 Astra e Sol. Affrontava anche la condivisione del client asincrono, in cui le richieste in background potevano utilizzare un client HTTP condiviso tra modelli. Tali modifiche appartengono alla versione precedente e dovrebbero rimanere separate da questa correzione della cache.

Questa sequenza fornisce alla patch un contesto pratico. Il supporto del modello è arrivato prima di questa correzione al percorso delle richieste Codex. Le applicazioni possono quindi raggiungere un modello supportato pur non beneficiando di un'ottimizzazione che dipende dal modo in cui l'integrazione impacchetta il proprio input.

Le sole note di rilascio non spiegano il meccanismo. L'implementazione collegata fornisce la distinzione importante: il problema riguardava la posizione delle istruzioni persistenti e l'assenza di un identificatore di sessione. Entrambi i dettagli si trovano al di sotto del testo del prompt visibile all'applicazione.

Per gli sviluppatori, questo cambia il significato di un test di integrazione apparentemente riuscito. Una richiesta che restituisce una risposta utile verifica la connettività e la generazione di base. Non verifica che il servizio riconosca il materiale ripetuto come idoneo al riutilizzo.

L'ambito ristretto limita anche ciò che si può affermare sull'aggiornamento. Gli utenti esistenti del percorso Codex interessato hanno un motivo concreto per esaminare questa release. Le applicazioni che usano un altro metodo di autenticazione o percorso di richiesta necessitano di prove separate prima di presumere che si applichi lo stesso problema.

Questo confine mantiene la notizia utile. L'evento verificato è una correzione del provider con meccanismi identificabili. La sua rilevanza più ampia deriva dal mostrare come un'integrazione possa influenzare la cache senza modificare le istruzioni che gli sviluppatori ritengono di inviare.

Perché la formattazione delle richieste determina l'idoneità alla cache

La correzione di LangChain modifica sia la posizione delle istruzioni sia le informazioni di sessione associate alle richieste.

Secondo la correzione della cache di Codex, l'implementazione precedente inseriva il prompt di sistema in instructions al livello superiore. Un prompt di sistema fornisce indicazioni persistenti sul comportamento dell'assistente. La modifica sposta tali indicazioni nel primo messaggio developer, una voce contenente istruzioni all'interno dell'elenco input della richiesta.

La distinzione è strutturale. Gli sviluppatori possono inviare le stesse parole producendo corpi di richiesta diversi. La descrizione della modifica di LangChain afferma che GPT-6.2 non memorizza nella cache il campo delle istruzioni al livello superiore in questo percorso, mentre il formato con messaggio developer iniziale abilita il riutilizzo.

Il secondo componente è un header session-id, metadati inviati insieme al corpo della richiesta. LangChain afferma che il backend ChatGPT richiede identificatori di sessione corrispondenti per la cache tra richieste diverse. Spostare il prompt da solo non ha prodotto cache hit nel confronto riportato.

Questa scoperta spiega perché la patch necessita di entrambe le modifiche. Una posizione del messaggio memorizzabile nella cache non aiuta se le richieste successive non dispongono dell'associazione attesa dal backend. Al contrario, un identificatore di sessione condiviso non corregge istruzioni che restano al di fuori della struttura di input memorizzabile nella cache.

Il nuovo campo session_id usa per impostazione predefinita un identificatore generato casualmente per ogni istanza del modello. Un'istanza è un oggetto modello costruito che un'applicazione può riutilizzare tra chiamate. Mantenere attivo quell'oggetto conserva quindi il suo identificatore predefinito tra tali chiamate.

Le applicazioni con cicli di vita diversi richiedono maggiore attenzione. Ricostruire l'oggetto per ogni richiesta crea nuovi identificatori predefiniti. Condividere un oggetto tra più conversazioni introduce una mappatura diversa tra il ciclo di vita dell'oggetto e quello di ciascuna conversazione.

La descrizione della modifica di LangChain affronta direttamente questa distinzione. Consente ai chiamanti di fornire un identificatore di conversazione per una singola invocazione. Gli sviluppatori possono anche impostare il campo su None, omettendo così l'header di sessione.

Queste scelte rendono la gestione della sessione parte della correttezza dell'integrazione. La release non stabilisce che ogni applicazione esistente mappi già le sessioni in modo appropriato. Fornisce il meccanismo mancante e lascia ai proprietari delle applicazioni la responsabilità di adattarlo al proprio modello di conversazione.

L'implementazione mantiene inoltre stabile il prompt iniziale man mano che una conversazione cresce. I suoi test verificano che il prompt developer resti identico tra i turni. La stabilità è importante perché il riutilizzo riguarda input ripetuti, mentre ogni nuovo messaggio dell'utente modifica il resto della conversazione.

Questa è la lezione centrale della modifica alla cache di LangChain Codex. Il modello riceve istruzioni attraverso un protocollo concreto, con campi e header specifici. La familiarità a livello applicativo con il prompt non sostituisce la verifica di quel protocollo.

La patch rende visibile questa dipendenza. Una piccola release del provider può modificare il fatto che indicazioni ripetute raggiungano una posizione memorizzabile nella cache, anche quando gli sviluppatori lasciano invariata la formulazione del prompt.

La pressione ricade sulle integrazioni degli agenti

I manutentori delle integrazioni hanno ora un motivo specifico per trattare il comportamento della cache come parte della compatibilità del modello.

Gli agenti di coding, che combinano risposte del modello con strumenti software, spesso veicolano indicazioni persistenti nel corso di una conversazione. Tali indicazioni possono descrivere regole di modifica, uso degli strumenti e aspettative di progetto. Quando un'integrazione le invia ripetutamente, il comportamento della cache diventa rilevante per l'esecuzione del flusso di lavoro.

Si consideri un assistente di repository a scopo illustrativo che riceve le regole di sviluppo di un progetto all'inizio di ogni richiesta. Un utente chiede una modifica, esamina il risultato e richiede una revisione. L'attività evolve, mentre gran parte delle indicazioni permanenti resta invariata.

Questo scenario non dimostra risparmi misurati per una particolare applicazione. Spiega perché il difetto riportato conta oltre una richiesta isolata. Le istruzioni ripetute sono precisamente il caso in cui gli sviluppatori si aspettano che il servizio riconosca materiale che ha già elaborato.

La pressione immediata ricade sui team che usano l'integrazione di accesso tramite ChatGPT interessata. Devono distinguere la generazione riuscita dal riutilizzo efficace. Devono inoltre comprendere se la loro applicazione preserva l'identità della conversazione tra le richieste che appartengono alla stessa interazione.

I manutentori dei framework affrontano un onere di manutenzione correlato. Un'interfaccia comune può far apparire diversi provider intercambiabili al codice dell'applicazione. Al di sotto di tale interfaccia, i percorsi di autenticazione e le aspettative del backend determinano comunque come devono essere costruite le richieste.

La correzione espone un divario tra questi livelli. Gli sviluppatori possono ragionevolmente ritenere che fornire un prompt di sistema esprima tutta l'intenzione necessaria. Il provider deve quindi tradurre quell'intenzione in una forma di richiesta che preservi il comportamento atteso.

Per gli acquirenti aziendali, questo rende più difficile valutare le affermazioni sulle prestazioni basandosi solo sui nomi dei modelli. Il comportamento osservato di un carico di lavoro dipende dal modello, dalla versione dell'integrazione, dal formato della richiesta e dalla gestione della sessione. Modificare una qualsiasi di queste condizioni può complicare un confronto.

Questo non significa che gli acquirenti debbano ispezionare ogni riga del codice del provider. Significa che le valutazioni dovrebbero registrare i dettagli dell'integrazione che influenzano il risultato. Un confronto tra modelli privo di tali dettagli può nascondere un problema applicativo correggibile all'interno di un'apparente differenza tra modelli.

I flussi di lavoro basati sulla conoscenza offrono un esempio simile. Un servizio potrebbe combinare istruzioni di analisi permanenti con documenti o domande variabili. Il fatto che tale materiale permanente si ripeta in modo coerente dipende dall'applicazione, ancor prima che entri in gioco l'idoneità alla cache del backend.

I team che gestiscono una base di conoscenza ricercabile possono conservare le evidenze sull'integrazione accanto alla documentazione di progetto. Registrare il percorso interessato e il comportamento osservato rende più facili da interpretare le successive migrazioni di modello.

Per gli utenti di langchain-openai==1.8.3, la questione dell'aggiornamento è quindi specifica. L'applicazione usa l'implementazione Codex corretta e il suo ciclo di vita della sessione supporta richieste ripetute? Queste domande hanno più valore di un'assunzione generale secondo cui un pacchetto più recente migliora automaticamente ogni carico di lavoro.

La pressione è operativa piuttosto che teatro competitivo. I manutentori devono preservare il collegamento tra istruzioni di alto livello e comportamento del backend. I team applicativi devono verificare tale collegamento nelle proprie condizioni d'uso.

OpenCode segnala lo stesso problema di formattazione

La modifica parallela di OpenCode supporta il meccanismo, mostrando al tempo stesso perché i risultati devono restare legati alle condizioni dei test.

OpenCode ha documentato un problema simile nella sua modifica alla formattazione delle richieste. Il contributore ha riferito che i prompt di sistema di GPT-6.2 inviati tramite instructions al livello superiore restavano senza cache. Spostare le stesse indicazioni in un messaggio developer iniziale ha prodotto letture dalla cache nei test riportati.

Questo fornisce un confronto utile perché proviene da un altro progetto di integrazione. LangChain e OpenCode espongono indipendentemente lo stesso confine pratico tra testo delle istruzioni e struttura della richiesta. Le loro modifiche indicano una preoccupazione condivisa relativa all'integrazione, piuttosto che un problema di formulazione nel prompt di una singola applicazione.

I loro ambiti restano comunque diversi. La release di LangChain riguarda la sua implementazione Codex, che usa l'accesso tramite ChatGPT. La modifica di OpenCode copre il suo protocollo OpenAI Responses, il formato di richiesta utilizzato da diversi percorsi supportati, con eccezioni esplicite descritte nel contributo.

Queste eccezioni fanno parte delle evidenze. Il contributore di OpenCode ha dichiarato che le sue route Responses compatibili con OpenAI mantenevano la gestione delle istruzioni esistente. La modifica ha inoltre lasciato GitHub Copilot al di fuori della correzione, poiché quella route richiedeva una gestione aggiuntiva specifica per il modello.

Questa precisazione evita una conclusione fuorviante sulla compatibilità universale. Un endpoint che assomiglia a un altro endpoint non ne condivide necessariamente il comportamento completo. I maintainer possono avere valide ragioni per mantenere una diversa costruzione delle richieste tra le route.

OpenCode ha inoltre segnalato differenze tra l'accesso tramite API key e l'accesso con ChatGPT. L'accesso tramite API key autentica le richieste con una credenziale per sviluppatori, mentre l'accesso usa la route Codex associata all'account. Il contributo descriveva il caching nel backend di accesso come più rumoroso.

Anche il confronto riportato da LangChain rafforza questa cautela. Con un system prompt di circa 4.800 token, il suo contributore ha osservato conteggi di token memorizzati nella cache pari a 0, 4.736, 0 e 4.736 nei turni successivi. Si tratta di risultati riportati dai contributori, senza riproduzione indipendente per questo articolo.

Lo stesso confronto non ha riportato letture dalla cache quando il messaggio developer non includeva l'header di sessione. Questo risultato è particolarmente utile perché separa gli effetti delle modifiche. Il solo spostamento del messaggio non spiegava gli hit recuperati sul backend testato da LangChain.

Il contributo di OpenCode fornisce evidenze di supporto, ma non trasforma le misurazioni di LangChain in un benchmark generale. I progetti hanno usato prompt e configurazioni di test diversi. I risultati riportati dovrebbero orientare la diagnosi senza essere condensati in una stima condivisa dei risparmi.

Per un confronto sul caching tra LangChain e OpenCode, il risultato comune più solido è strutturale: le istruzioni persistenti devono raggiungere una posizione della richiesta che il backend può riutilizzare. La cautela condivisa più forte riguarda l'ambito, poiché le route backend e il comportamento delle sessioni restano rilevanti.

Questo è un confronto più utile che dichiarare vincente un framework. Entrambi i progetti hanno dovuto modificare il modo in cui traducevano le istruzioni in richieste. La risposta di manutenzione, le limitazioni documentate e la qualità della verifica dei carichi di lavoro forniscono i punti di confronto significativi.

Gli hit della cache lasciano aperte domande importanti

La correzione riportata ripristina l'idoneità alla cache senza stabilire risparmi prevedibili o un comportamento invariato delle istruzioni.

L'incertezza più immediata riguarda la coerenza. La sequenza riportata da LangChain contiene una mancata lettura dalla cache dopo un hit precedente. Il contributo riconosce un comportamento intermittente sul backend, quindi le sue evidenze non giustificano la promessa che ogni turno successivo riutilizzerà il prompt.

Questa distinzione influenza il modo in cui i team interpretano una prova riuscita. Un singolo hit della cache dimostra che il riutilizzo è avvenuto in quelle condizioni. Non stabilisce la frequenza del riutilizzo durante conversazioni più lunghe, attività concorrenti o la normale tempistica delle richieste dell'applicazione.

Le fonti esaminate qui non forniscono neppure un risultato controllato sulla latenza dell'intera applicazione. La latenza indica il tempo trascorso della richiesta e vi contribuiscono più fasi. Le sole misurazioni dell'input memorizzato nella cache non possono stabilire la velocità di completamento di un'attività di programmazione completa.

La patch non dimostra neppure risposte migliori o modifiche al codice più affidabili. Il prompt caching riguarda l'elaborazione ripetuta degli input. La qualità delle risposte e il completamento delle attività richiedono una valutazione propria, anche quando la correzione della formattazione della richiesta funziona come previsto.

Anche le interpretazioni commerciali richiedono analoga cautela. La release non fornisce una stima universale dei risparmi e le sue brevi note non annunciano condizioni commerciali riviste. I team dovrebbero valutare l'utilizzo osservato nell'ambito dei propri accordi, anziché associare un risultato finanziario generale al numero di versione.

Una preoccupazione distinta riguarda la semantica delle istruzioni, ovvero il significato del modo in cui le indicazioni si combinano. Prima della patch, instructions= per chiamata poteva sostituire il system prompt. Con il nuovo comportamento, tali istruzioni rimangono un campo separato e aggiungono indicazioni accanto al prompt developer iniziale.

Questo è rilevante per le applicazioni che usavano intenzionalmente la sostituzione. Una richiesta temporanea poteva in precedenza sostituire le indicazioni permanenti. Dopo la modifica, il prompt originale resta presente, quindi l'applicazione può inviare una combinazione diversa di istruzioni pur usando lo stesso codice di chiamata.

I test di implementazione documentano questo comportamento. Verificano che le istruzioni esplicite per chiamata coesistano con il prompt developer. Coprono inoltre la conversione dei messaggi di sistema e la stabilità del prompt, fornendo ai revisori evidenze sulla costruzione delle richieste.

Questi test hanno uno scopo diverso da un benchmark live della cache. Un test del payload verifica il corpo della richiesta prodotto dal codice. Non può garantire che un backend remoto riutilizzi l'input in un determinato momento.

Gli identificatori di sessione meritano un'interpretazione altrettanto attenta. Un header corrispondente aiuta a stabilire l'associazione richiesta dal meccanismo di caching riportato. Non stabilisce, di per sé, l'isolamento delle conversazioni a livello applicativo né dimostra qualcosa di più ampio sui controlli di archiviazione e privacy.

Questi limiti non compromettono la correzione. Definiscono ciò che le evidenze supportano: ora esiste un modello di richiesta che prima mancava, i test dei contributori riportano letture dalla cache recuperate e il comportamento dell'applicazione richiede comunque una verifica.

Per i team interessati, il rischio rilevante è quindi specifico. Un aggiornamento può risolvere il problema di cache documentato modificando al contempo il modo in cui si combinano le istruzioni a livello di turno. Esaminare entrambi gli effetti offre un quadro più completo rispetto a osservare soltanto un contatore della cache.

Cosa osservare dopo la correzione del caching

Le prossime evidenze dovrebbero stabilire la ripetibilità, la compatibilità delle istruzioni e i confini di un supporto di integrazione più ampio.

Il primo segnale è costituito da test live ripetuti sul percorso Codex corretto. I report dovrebbero identificare il modello, la route di autenticazione, la versione dell'integrazione e la gestione della sessione. Senza queste condizioni, è difficile confrontare un risultato positivo con l'esperienza di un'altra applicazione.

Letture coerenti della cache in conversazioni ripetute rafforzerebbero il caso pratico della patch. Mancate letture intermittenti persistenti ne conserverebbero il valore come correzione dell'idoneità, limitando al contempo le aspettative su un riutilizzo prevedibile. Entrambi gli esiti sarebbero più informativi di una richiesta riuscita isolata.

Questo segnale dovrebbe anche distinguere la costruzione delle richieste dal comportamento del servizio. Se l'applicazione invia il messaggio developer e l'header di sessione previsti, le mancate letture successive richiedono un'indagine diversa. Questa separazione aiuta i maintainer a evitare di modificare ripetutamente un formato di richiesta che corrisponde già alla correzione documentata.

Il secondo segnale è il feedback delle applicazioni sulle istruzioni per chiamata. I team che in precedenza dipendevano dal comportamento di sostituzione hanno una questione concreta di compatibilità. I loro risultati possono rivelare se la nuova combinazione di indicazioni persistenti e temporanee preserva il flusso di lavoro previsto.

Chiare indicazioni per la migrazione rafforzerebbero la fiducia in questo ambito. Le segnalazioni di un comportamento modificato dell'assistente non invaliderebbero necessariamente il meccanismo di caching, ma aumenterebbero il costo di adozione dell'aggiornamento. Le evidenze utili riguardano interazioni di istruzioni riproducibili, piuttosto che un'insoddisfazione generale per l'output del modello.

Questa distinzione è importante perché la release unisce una correzione di ottimizzazione a un cambiamento comportamentale. Un team può accogliere positivamente le letture dalla cache recuperate pur dovendo rivedere la propria gestione delle istruzioni. Trattare separatamente questi esiti rende più facili da spiegare le decisioni di aggiornamento.

Il terzo segnale è una copertura più ampia nelle integrazioni vicine. Le eccezioni documentate da OpenCode identificano route in cui i maintainer necessitano ancora di decisioni specifiche per il modello. Modifiche successive con un ambito chiaramente indicato rafforzerebbero l'idea che la formattazione delle richieste sia una preoccupazione ricorrente per la compatibilità.

Affermazioni ampie prive di evidenze specifiche per route indebolirebbero tale interpretazione. I contributi esistenti mostrano già che percorsi di accesso dall'aspetto simile possono richiedere una gestione diversa. I report futuri dovrebbero preservare tali distinzioni anziché presentare il prompt caching come un interruttore universale.

Per gli sviluppatori, l'azione pratica consiste nel riesaminare il percorso interessato prima di attribuire un significato all'aggiornamento. Mantenete disponibile il comportamento precedente per il confronto, registrate le condizioni della richiesta ed esaminate sia le letture dalla cache sia le interazioni delle istruzioni. Condividete risultati riproducibili con i maintainer quando differiscono dal comportamento documentato. Per i team che adottano langchain-openai==1.8.3, queste evidenze determineranno se la correzione offre un riutilizzo utile nella loro applicazione. Iniziate con una conversazione rappresentativa che ripeta le indicazioni permanenti, quindi confrontate il comportamento osservato in condizioni controllate. La richiesta corretta recupera le letture dalla cache e l'assistente segue ancora la combinazione prevista di istruzioni persistenti e specifiche del turno?

 
 

Inizia gratis

Un assistente IA local-first con gestione della conoscenza personale

Per una migliore esperienza con l’IA,

al momento remio supporta solo Windows 10+ (x64) e M-Chip Macs.

Il tuo partner AI al lavoro
Fai di più con remio

Pianifica. Crea. Consegna.
Tutto in un unico posto.

bottom of page