top of page

Amplitude Wave vise des mises à jour produit en 1 à 2 jours avec OpenAI

il y a 21 minutes
13 min de lecture
Illustrative photograph. Photo: Sanket Mishra / Pexels.

Amplitude affirme que son agent produit soutenu par OpenAI peut aider les équipes à déployer des améliorations en 1 à 2 jours, contre environ un mois. Amplitude Wave étudie le comportement produit, prépare les modifications pour les agents de codage et mesure ce qui se passe après le déploiement. L’affirmation va au-delà d’une programmation plus rapide : elle cible le travail nécessaire pour décider quelles modifications méritent l’attention de l’ingénierie.

Le témoignage client du 12 novembre décrit un passage d’une écriture de logiciels à la demande vers l’identification de demandes pertinentes dans les données clients. Les agents de codage, des assistants logiciels qui mettent en œuvre des changements, ont toujours besoin d’une mission utile. Wave vise à fournir cette mission avec des éléments probants à l’appui et un objectif mesurable.

Cela exerce une pression sur les passages de relais entre l’analytique, la planification produit et l’ingénierie. Mixpanel poursuit des connexions similaires entre l’activité des agents et les résultats produit. La concurrence centrale oppose toutefois une production de code plus rapide à une amélioration produit plus rapide, fondée sur des preuves. Les résultats rapportés par Amplitude offrent un premier aperçu de cette distinction, avec d’importantes limites liées à la mesure et au déploiement.

Amplitude Wave relie l’investigation à la mise en œuvre

Le changement significatif réside dans la tentative de faire parvenir les données clients jusqu’à une décision de déploiement.

Selon le flux de travail d’amélioration produit, Wave combine l’analytique, les retours clients, le code et les replays de sessions, des enregistrements d’interactions au sein d’un produit. Les équipes fournissent des objectifs. Wave élabore des opportunités et peut transmettre des plans techniques et des critères d’acceptation, des conditions définissant une mise en œuvre satisfaisante, à des agents, dont Codex.

Cette organisation modifie ce qu’un système d’analytique est censé fournir. Un graphique peut révéler un schéma inhabituel sans en résoudre la cause. Un replay peut montrer de la confusion sans en établir la prévalence. Une plainte client peut identifier une frustration sans expliquer quelle mise en œuvre y répondrait.

Relier ces sources crée l’occasion de produire une mission d’ingénierie plus utile. La proposition qui en résulte devrait expliquer le problème observé, le comportement concerné et le bénéfice attendu. Elle devrait aussi distinguer les preuves de l’interprétation, car une explication plausible reste une hypothèse.

Pour une équipe produit, cette distinction détermine si une recommandation fait gagner du temps. Une spécification soignée offre peu d’avantage si les évaluateurs doivent reconstituer l’investigation avant de lui faire confiance. Le résultat utile est un argument qui résiste à l’examen et donne aux ingénieurs suffisamment de contexte pour remettre en question ses hypothèses.

La chronologie exige également de la prudence. OpenAI décrit des clients utilisant Wave en bêta. Le billet de lancement d’Amplitude du 12 novembre annonce séparément une disponibilité payante plus large pour les clients éligibles. Ces descriptions ne doivent pas devenir une affirmation selon laquelle le produit est apparu pour la première fois ce jour-là.

L’annonce porte donc sur la commercialisation et des résultats opérationnels rapportés, plutôt que sur un nouveau modèle de pointe. La question sous-jacente est de savoir avec quelle efficacité les capacités existantes des modèles peuvent déplacer le travail entre des fonctions produit établies.

Un assistant de codage peut mettre en œuvre une instruction avec précision tout en laissant intacte sa prémisse métier. Un agent produit prend en charge une partie de cette prémisse en recommandant où les efforts devraient être dirigés. Cela élargit la valeur potentielle, mais aussi la responsabilité liée à son raisonnement.

Cela rend l’étape de proposition déterminante. Une mauvaise mise en œuvre peut échouer à un contrôle technique. Une réponse bien mise en œuvre à un mauvais problème peut réussir ce contrôle tout en consommant l’attention de l’ingénierie. Les preuves doivent accompagner la tâche afin que les évaluateurs puissent examiner les deux types d’échec.

La promesse plus large est de consacrer moins de temps à reconstruire le contexte entre les outils et les équipes. La validité de cette promesse dépend de la quantité de travail restante après l’arrivée de la recommandation. La qualité de l’investigation, la faisabilité technique et l’effort de revue doivent tous entrer dans cette évaluation.

Un codage plus rapide met le jugement produit sous pression

Lorsque la mise en œuvre s’accélère, le choix et l’évaluation du travail deviennent une contrainte plus visible.

Le lancement de Wave par Amplitude présente le produit autour de ce changement. Son exemple PixAI illustre le rôle du jugement humain : Wave a identifié une opportunité liée à la rétention, tandis que le client a adapté l’intervention proposée. Amplitude rapporte ensuite une hausse de 76 % des ouvertures de Missions et une augmentation de 3 % de la rétention au Jour 1.

Le détail utile est l’adaptation. La proposition initiale d’un agent n’a pas éliminé le rôle du client dans la décision de ce qui conviendrait au produit. Les preuves ont fourni un point de départ, tandis que l’équipe a choisi une intervention cohérente avec sa propre expérience et ses propres incitations.

Cela suggère une interprétation pratique de l’évolution de la charge de travail du product manager. Passer moins de temps à assembler une proposition ne signifie pas assumer moins de responsabilité pour ses conséquences. Quelqu’un doit toujours décider si le résultat proposé mérite de l’attention et si la solution respecte l’orientation du produit.

Les responsables de l’ingénierie font face à une pression connexe. Une offre plus abondante de suggestions prêtes à être mises en œuvre peut accroître la demande de revue. Si chaque recommandation entre dans le backlog sans examen, une investigation plus rapide peut produire une autre file d’attente plutôt qu’une amélioration plus rapide.

Les équipes de conception ont une préoccupation distincte. Une métrique de comportement locale peut favoriser un changement d’interface qui entre en conflit avec l’expérience plus large. Des invites plus visibles, par exemple, méritent un examen lorsqu’elles concurrencent la tâche initiale de l’utilisateur. C’est une question d’évaluation, même lorsque la mise en œuvre est simple.

Pour les équipes d’analytique, la pression porte sur les définitions. Si une recommandation cible l’activation, l’équipe doit partager une même compréhension de ce qui compte comme une activation. Sinon, une investigation automatisée peut optimiser un événement pratique tandis que les parties prenantes attendent un résultat client différent.

C’est pourquoi l’affirmation relative au développement produit importe au-delà de la productivité de l’ingénierie. Elle demande si l’organisation peut passer d’un comportement observé à une décision défendable avec moins de coordination répétée. Il s’agit d’un changement opérationnel plus large que la génération de code plus rapide.

Le bénéfice probable varie aussi selon le type de travail concerné. Un problème d’interface négligé peut être plus facile à étudier et à tester qu’une expansion stratégique du produit. Traiter ces tâches comme interchangeables exagérerait ce qu’établit un délai de déploiement court.

Il existe également un problème de sélection. Un système peut sembler productif en favorisant des changements faciles à décrire et à mesurer. Les questions plus difficiles de positionnement, de confiance et de clients insuffisamment servis peuvent rester en dehors de ses sources de preuves les plus solides.

Les acheteurs devraient donc examiner quels travaux deviennent plus rapides et lesquels restent difficiles. Un cycle plus court pour des améliorations limitées peut avoir de la valeur sans impliquer que les décisions de feuille de route sont devenues automatiques. Le dossier économique le plus solide identifiera précisément la charge de coordination supprimée.

L’expérience sur la page d’accueil montre le mécanisme et ses limites

L’exemple le plus clair consiste à rendre une fonctionnalité existante plus pertinente, plutôt qu’à inventer un nouveau produit.

Sur la page d’accueil d’Amplitude, une investigation a examiné 100 replays de sessions. Les utilisateurs ont eux-mêmes saisi des questions dans 80 sessions et sélectionné des cartes de suggestions dans 12. Selon l’entreprise, les cartes personnalisées ont ensuite généré 160 % de messages supplémentaires déclenchés par les cartes que le contrôle après une journée.

Un test A/B, une expérience comparant différentes expériences, a fourni la comparaison. L’intervention a utilisé le contexte récent du produit pour améliorer les points de départ suggérés. Les utilisateurs pouvaient toujours saisir librement du texte, et des suggestions génériques restaient disponibles lorsque le contexte de personnalisation manquait.

Le mécanisme est compréhensible sans considérer le résultat comme universel. Une suggestion peut fonctionner correctement tout en manquant la tâche que la personne était venue accomplir. La personnalisation tente de réduire ce décalage en s’appuyant sur une activité pertinente.

Cela diffère de la réparation d’un bouton défectueux. La seule exactitude technique n’établirait pas si les suggestions initiales étaient utiles. Les données comportementales aident à identifier un écart entre la finalité prévue d’une interface et la manière dont les personnes l’utilisent réellement.

Le résultat démontre également pourquoi la formulation des métriques importe. Les messages déclenchés par les cartes décrivent un canal d’interaction particulier. Une activité accrue dans ce canal n’établit pas automatiquement un plus grand nombre de conversations réussies au total, une meilleure rétention client ou des revenus supplémentaires.

Certains utilisateurs pourraient passer de la saisie à la sélection de cartes. D’autres pourraient démarrer des conversations qu’ils auraient autrement abandonnées. Ces possibilités ont des implications différentes, et le chiffre phare rapporté ne les distingue pas.

Une évaluation produit plus solide relierait le changement d’interaction à l’accomplissement ultérieur de la tâche. Les utilisateurs ont-ils obtenu des réponses utiles ? Ont-ils eu besoin de moins de tentatives ? Sont-ils revenus parce que l’expérience les a aidés à accomplir quelque chose de significatif ?

La courte fenêtre d’observation compte pour la même raison. Un comportement précoce peut identifier une intervention prometteuse sans en trancher la durabilité. Une fonctionnalité peut initialement attirer l’attention puis devenir habituelle, non pertinente ou distrayante.

Les limites de mise en œuvre font également partie de l’histoire. Préserver la saisie libre maintenait un chemin alternatif pour les personnes dont les besoins ne correspondaient pas aux cartes. Conserver des suggestions génériques fournissait une solution de repli lorsque le contexte pertinent n’était pas disponible.

Ces choix illustrent pourquoi les plans de mise en œuvre nécessitent davantage qu’une métrique cible. Ils doivent décrire un comportement acceptable lorsque le chemin privilégié ne s’applique pas. Sinon, un agent peut poursuivre une amélioration de l’interaction mesurée tout en restreignant l’expérience ailleurs.

Dans cet exemple, le fonctionnement d’Amplitude Wave se comprend le mieux comme une itération guidée par les preuves. L’investigation a identifié un décalage, la proposition a traité ce décalage et l’expérience a testé une réponse comportementale précise. Chaque étape est restée plus limitée que l’ambition d’un logiciel auto-améliorant.

Le cas justifie des tests supplémentaires de ce flux de travail. Il n’établit pas que des décisions produit autonomes surpassent systématiquement des équipes expérimentées, ni que chaque opportunité générée mérite d’être déployée.

La sélection des modèles et la revue humaine façonnent le flux de travail

Un flux de travail produit automatisé a autant besoin de passages de relais fiables que de modèles capables.

Amplitude rapporte des choix de modèles différents selon les tâches. Dans son évaluation d’investigateur, GPT‑6.1 Sol a obtenu 4,06 sur 5. Une évaluation distincte en science des données lui a attribué 67,5 sur 100, sous les 69,3 d’un autre modèle.

Ces résultats doivent rester distincts. Une grille d’évaluation d’investigation et une évaluation de science des données mesurent des travaux différents. Arriver en tête dans l’une ne démontre pas une supériorité sur l’ensemble du flux de travail produit.

Pour les acheteurs, cette distinction modifie la question d’évaluation. L’enjeu pertinent est de savoir si un modèle exécute suffisamment bien la tâche assignée dans le cadre d’un processus opérationnel acceptable. Un classement général offre moins d’orientation que des preuves propres à la tâche.

Les erreurs d’investigation peuvent se propager en aval. Si un agent interprète mal le problème, un agent de codage techniquement capable peut mettre en œuvre fidèlement la mauvaise réponse. Une meilleure exécution ne corrige pas automatiquement la prémisse.

L’examen humain fait donc partie intégrante de la conception du système. Amplitude indique que les équipes contrôlent les niveaux d’automatisation, les changements plus importants faisant l’objet d’une revue humaine. La décision concernant le niveau d’autonomie acceptable revient ainsi à l’organisation responsable du produit.

Le précédent compte rendu de l’architecture Wave de l’entreprise, publié le 10 juin, apporte un contexte historique utile. Il décrivait des problèmes de qualité des citations, de priorisation subjective, de configuration des environnements et de revue dans des bases de code matures. Ces informations documentent des limites antérieures, sans démontrer leur gravité actuelle.

Elles identifient également les types de défaillances que les évaluations actuelles devraient examiner. Une source obsolète peut étayer une recommandation dépassée. Une compréhension incomplète d’un logiciel déployé peut conduire à proposer une solution à un problème déjà corrigé. Aucune de ces défaillances n’apparaît nécessairement lors d’un contrôle conventionnel de la qualité du code.

La distinction entre une nouvelle application et un produit établi est particulièrement pertinente. Les logiciels existants portent des choix architecturaux, des exigences de compatibilité et des attentes clients. Une amélioration proposée doit respecter ces contraintes, même lorsque la modification locale paraît simple.

Le fonctionnement d’Amplitude Wave en production dépendra donc de la qualité du contexte associé à chaque tâche. Les réviseurs doivent savoir ce qui est actuellement en ligne, quels éléments de preuve restent valides et quelles hypothèses exige la solution proposée.

Il en va de même pour la connaissance organisationnelle. Les décisions passées expliquent souvent pourquoi un changement apparemment évident n’a jamais été déployé. Sans ce raisonnement, un agent peut redécouvrir à plusieurs reprises une idée que l’équipe a déjà rejetée pour des raisons légitimes.

Pour les équipes qui étudient ce problème, une base de connaissances d’ingénierie consultable offre un contexte connexe sur la manière de rendre les décisions techniques accessibles. L’accès à l’information et l’autorisation d’agir à partir de celle-ci restent des responsabilités distinctes.

La version la plus solide de ce flux de travail facilite la revue, car les éléments de preuve et les hypothèses sont vérifiables. Elle ne devrait pas obliger les réviseurs à faire confiance à une recommandation opaque simplement parce qu’un agent peut l’implémenter rapidement.

Les preuves clients incluent les changements rejetés, pas seulement les réussites

Un agent produit utile doit aider les équipes à abandonner les idées faibles autant qu’à déployer les plus prometteuses.

Une expérience d’onboarding de DigitalOcean, décrite le 9 novembre par la cheffe de produit Haley Eidem, offre un tableau plus nuancé. Son récit fait état de 55 opportunités dans cinq domaines produits sur six semaines. Les ingénieurs ont mis en œuvre des expériences sélectionnées, et l’équipe en a examiné les résultats.

Une bannière concernant un moyen de paiement a produit une amélioration rapportée de 3,3 % par rapport au contrôle et a atteint le seuil de confiance configuré de 80 % pour l’expérience. Un autre test, ajoutant des informations à une page d’accueil Harness Runtime, n’a pas justifié un déploiement.

Le second résultat est important, car il distingue l’investigation de la confirmation. Une hypothèse raisonnable peut ne pas produire un résultat convaincant. Le flux de travail reste utile s’il aide l’équipe à reconnaître cet échec et à éviter de le prolonger.

Le seuil de confiance annoncé doit également être considéré à côté du résultat positif. La confiance statistique décrit l’incertitude selon la méthode de l’expérience. Le seuil décisionnel d’une entreprise ne devrait pas disparaître lorsque son résultat devient un exemple marketing.

Ce témoignage client étaye une affirmation plus étroite et plus crédible concernant le développement produit avec Amplitude Wave : il peut préparer un travail que les équipes étudient, implémentent et rejettent parfois. Il ne décrit pas chaque opportunité mise en avant comme devenant une mise en production réussie.

Les statistiques plus générales de mise en production exigent la même prudence. OpenAI indique un déploiement le jour même pour un quart des expériences, flags et guides lancés par les clients. Ce dénominateur comprend les travaux qui ont été lancés, et non toutes les opportunités générées par le système.

Il ne permet pas d’établir la fréquence à laquelle les recommandations ont stagné, ont été rejetées ou ont exigé des révisions importantes. Le graphique associé utilise également une interpolation entre les jalons fournis. Sa courbe lissée ne doit pas être lue comme le relevé de lancements observés individuellement.

La concurrence renforce la nécessité d’examiner les résultats. Dans son compte rendu d’août sur la mesure des agents, Mixpanel a décrit l’utilisation de l’analyse de replay pour améliorer son propre agent. L’entreprise a également expliqué pourquoi l’engagement brut ne suffisait pas à juger le succès.

Les mises à jour d’analytique des agents de Mixpanel, publiées en novembre, prolongent cette orientation. Sa bêta Agent Intelligence relie l’activité des conversations à l’analytique produit, tandis que d’autres mises à jour rapprochent les résultats d’expériences et la planification des rapports existants.

Ces offres constituent un contexte pertinent, mais les annonces ne fournissent pas de comparaison contrôlée avec Wave. Des descriptions de produits et des exemples clients différents ne permettent pas d’établir quel fournisseur produit de meilleures recommandations ou des améliorations plus durables.

La pression concurrentielle est plus claire que le classement concurrentiel. Les fournisseurs d’analytique doivent de plus en plus expliquer comment leurs systèmes soutiennent l’action et en évaluent les conséquences. Résumer un graphique est une proposition différente de celle qui consiste à aider une équipe à décider si elle doit publier un changement.

Pour les acheteurs d’entreprise, l’élément manquant est un compte rendu complet du travail tenté. Les recommandations examinées, les expériences rejetées, les changements annulés et les bénéfices durables influencent tous l’analyse de rentabilité. Ne célébrer que les réussites mises en production laisse hors champ le coût du travail infructueux.

Surveiller les résultats durables, l’ensemble du pipeline et l’usage répété

Les prochaines preuves devraient expliquer si des décisions plus rapides créent une valeur client durable dans le travail ordinaire.

Au cours des prochains mois, le premier signal à surveiller est la mesure de suivi des expériences rapportées. Des périodes d’observation plus longues renforceraient l’argument si les gains persistent et se rattachent à des résultats significatifs. Des résultats limités à une interaction initiale soutiendraient une interprétation plus restreinte.

Pour l’exemple de la page d’accueil, cela signifie des preuves allant au-delà de la sélection d’une suggestion. Des conversations réussies, une utilisation répétée et le comportement ultérieur des clients aideraient à déterminer si la personnalisation a amélioré l’expérience. Un simple déplacement entre méthodes de saisie laisserait cette question ouverte.

La même norme s’applique aux exemples clients. Une bannière publiée peut améliorer une étape mesurée sans résoudre l’ensemble du problème d’onboarding. Les rapports de suivi devraient préserver cette distinction et montrer si l’amélioration ciblée compte plus loin dans le parcours client.

Le deuxième signal est la transparence sur l’ensemble du pipeline d’opportunités. Les acheteurs doivent voir combien de recommandations deviennent des investigations acceptées, des expériences implémentées et des mises en production durables. Les raisons des rejets et l’effort de révision rendraient ces transitions plus faciles à évaluer.

Des rapports plus complets renforceraient l’estimation de 1 à 2 jours si des changements comparables progressent systématiquement plus vite avec une revue gérable. Ils affaibliraient les interprétations plus larges si les délais courts ne décrivaient qu’un sous-ensemble réduit et inhabituellement simple.

Cela n’exige pas que chaque recommandation réussisse. Un système d’investigation produit devrait générer des hypothèses qui échouent parfois. La question est de savoir si l’identification et le test de ces hypothèses mobilisent moins d’efforts organisationnels tout en produisant de meilleures décisions.

Un système qui rejette rapidement une idée non étayée peut faire gagner un temps précieux. Un système qui génère des propositions séduisantes exigeant d’importantes corrections peut créer du travail. Rapporter les deux résultats clarifierait le schéma dominant.

Le troisième signal est l’usage répété après la période d’adoption initiale. Le développement produit avec Amplitude Wave devient plus convaincant lorsque les équipes reviennent avec de nouveaux objectifs et conservent les enseignements des expériences précédentes. Une dépendance répétée à l’assistance du fournisseur impliquerait un modèle opérationnel différent.

Les témoignages clients devraient rendre cette distinction visible. Des équipes utilisant le système de manière indépendante au fil de versions successives fourniraient des preuves plus solides que des démonstrations isolées. Les récits décrivant des échecs, des dérogations et des changements dans les pratiques de revue seraient particulièrement utiles.

Les lancements concurrents ont leur place dans cette évaluation lorsqu’ils fournissent des preuves comparables. Une autre annonce concernant un agent d’analytique apporte peu à elle seule. Une amélioration documentée de la qualité des décisions, de l’effort d’implémentation ou des résultats clients durables compterait davantage.

L’histoire d’Amplitude Wave suggère un rôle plus large pour l’analytique : aider à définir le travail, porter sa justification jusqu’à l’implémentation et évaluer le résultat. Les preuves actuelles étayent plus clairement une itération produit encadrée qu’une promesse générale d’amélioration autonome.

Si vous évaluez cette approche, demandez un exemple client complet, y compris les recommandations qui n’ont jamais été mises en production. Examinez les preuves initiales, les modifications humaines apportées à la proposition et le résultat après le test initial. Demandez quelle part de revue est restée nécessaire et quelles décisions exigeaient encore une expertise produit. Comparez ce bilan à votre processus existant avant d’élargir l’autorité du système. La question utile est de savoir si votre équipe parvient à des décisions mieux étayées avec moins de travail répété. Cette norme laisse place à un codage plus rapide, à des hypothèses rejetées et à un jugement humain délibéré. Commencez par un domaine produit dont le résultat est suffisamment clair pour être mesuré, puis exigez des preuves que l’amélioration dure.

 
 

Commencez pour Gratuit

Un premier assistant IA local avec gestion des connaissances personnelles

Pour une meilleure expérience IA,

remio ne supporte que Windows 10+ (x64) et M-Chip Macs actuellement.

Votre partenaire IA au travail
Faites-en plus avec remio

Planifiez. Créez. Livrez.
Tout au même endroit.

bottom of page