En octobre, nous avons relu ligne à ligne nos analyses de quatre startups, faites à partir de leur site et de sources publiques, à côté de celles d’un autre outil du marché, pour savoir lequel se trompait le moins. Nous avons trouvé des erreurs des deux côtés, et plusieurs des nôtres venaient de notre propre code. Nous ne nommons ni les sociétés ni l’outil, parce que quatre dossiers ne permettent de juger personne.
Le résumé dit autre chose que le texte
Sur une société qui venait de lever en seed, nos chiffres clés affichaient « montant non publié », alors que le texte de la même page citait 7,5 M$ et ses investisseurs. Sur une autre, la même levée apparaissait deux fois, en 5,1 M$ puis en 4,42 M€, et un lecteur pressé pouvait compter deux tours.
Ces erreurs se voient en dix secondes, à condition de lire le résumé et le texte, et beaucoup de lecteurs s’arrêtent au résumé. Nous affichons maintenant chaque levée sur une seule ligne, dans la devise de la source, avec le total et les investisseurs. Le doublon a quand même résisté. À l’analyse suivante, un autre chiffre sortait deux fois sous deux libellés.
Un vieux chiffre juge la société d’aujourd’hui
Une des quatre a reçu notre meilleur avis, Prioritaire, sur un revenu vieux de 17 mois. En 17 mois, une startup à ce stade peut avoir doublé comme avoir perdu son plus gros client, et l’analyse n’en savait rien. L’âge du chiffre pèse maintenant dans l’avis, et la même société est repassée à À suivre, avec une date de revue.
L’avis contredit son propre constat
C’est le cas qui nous a le plus gênés. Une société affichait 3,6 M€ de chiffre d’affaires 2025 dans ses comptes publiés. Notre analyse notait sa traction « forte », puis concluait Passer, au motif qu’aucune force n’était vérifiée. La règle qui calculait l’avis ne comptait pas la traction parmi les forces. Le modèle avait bien lu, et notre code avait mal conclu.
Nous avons corrigé la règle. À la nouvelle analyse, la même société est sortie Prioritaire, et il a fallu lire la justification pour voir le nouveau problème. Pour noter l’équipe « forte », l’analyse citait le chiffre d’affaires de la société elle-même, comme si diriger cette société prouvait qu’on sait la diriger. Le poste du fondateur à la tête d’une société de gestion depuis 2020, que la version précédente avait trouvé, avait disparu.
Mêmes faits, autre lecture
Entre ces deux analyses, faites sur la même capture du site, l’équipe est montée à « forte » et la traction est tombée de « forte » à « moyenne ». Un fonds qui fait analyser un dossier une seconde fois s’attend à ce que l’avis bouge quand les faits bougent. Ici, les faits n’avaient pas bougé.
Une analyse repart maintenant de la précédente, et la page signale quand c’est la méthode qui a changé. Le 23 octobre, sur trois dossiers analysés de nouveau, deux ont gardé leur avis et leurs niveaux. Le troisième a changé d’avis à cause d’une consigne mal écrite, puis est revenu à son avis de départ une fois la consigne corrigée.
Garder le même avis ne suffit pas. Sur l’un de ces deux dossiers, la traction restait « forte » mais ne reposait plus sur le même fait. L’enquête n’avait pas retrouvé la page du registre, et le chiffre d’affaires avait disparu de l’analyse. Nous avons corrigé ce point, sans avoir encore vu ce cas se rejouer.
Une estimation prise pour un revenu
Un chiffre de revenu peut être réalisé, prévu par la société ou estimé par un tiers, et une analyse qui les mélange se trompe dans les deux sens. Une société sans revenu publié est sortie Prioritaire parce qu’une base de données estimait le sien à environ 1,1 M$. L’analyse écrivait elle-même que cette estimation ne permettait pas de conclure, et notre barème l’appliquait quand même. Une autre a perdu un niveau de traction parce qu’une source disait qu’elle n’avait pas atteint sa prévision, alors qu’une prévision manquée ne contredit pas un revenu réalisé.
Nous avons retiré ce barème du code. Le modèle juge la traction selon le secteur, le modèle économique et le stade, et il doit dire sur quel type de preuve il s’appuie.
Ne rien trouver ne prouve rien
L’autre outil a écrit qu’il ne trouvait aucun fondateur pour une société dont l’annonce de Series A nomme les cofondateurs. Il en a fait un risque critique, et c’est la raison principale de son refus. Il a aussi donné un total levé de 25 M$ qu’aucune source ne confirme, présenté un fabricant de puces comme concurrent d’un logiciel de suivi de modèles, et repris un « 20x » du communiqué de presse comme un fait. Sur d’autres points il faisait mieux que nous : sa page se lisait plus vite que la nôtre, et sur une société son avis était plus raisonnable.
Nous avons fait l’erreur inverse. Notre règle voulait qu’un partenaire ne confirme pas une affirmation de la société. C’est juste pour un chiffre, et faux pour l’existence du partenariat. Sur une société dont six clients décrivaient publiquement le programme, nous avons marqué zéro affirmation confirmée sur neuf. Nos pages affichent encore trop de « non confirmé », et nous n’avons pas fini de régler ça.
Sur notre propre deck
Le 4 novembre, notre screening public a analysé le deck de Casian. Il a lu seed au lieu de pre-seed, a mélangé le texte d’une page avec un graphique et a attribué un chiffre d’usage au mauvais client. Nous connaissons ce deck par cœur, donc nous l’avons vu tout de suite. Sur un dossier reçu le matin même, il aurait fallu rouvrir la page pour s’en rendre compte.
Relire une analyse en cinq minutes
Cette relecture porte sur quatre sociétés, un passage par outil, une grille remplie par nous, et l’une des quatre avait servi à régler notre méthode. Elle donne une liste d’erreurs à chercher, et aucun classement.
À vérifier sur chaque analyse, d’où qu’elle vienne
- Mettez le résumé et le texte côte à côte : montants, dates, noms, devises.
- Cherchez la date de chaque chiffre de traction. Sans date, traitez-le comme inconnu.
- Classez chaque chiffre de revenu : réalisé, prévu par la société, estimé par un tiers.
- Pour chaque note, lisez le fait cité. Un fait qui vient de la société analysée ne prouve rien sur ses fondateurs.
- Devant « rien trouvé », cherchez vous-même une minute : annonce de levée, registre, site de la société.
- Pour un chiffre tiré d’un graphique, rouvrez la page du deck.
- Si l’avis a changé depuis la dernière analyse, cherchez le fait nouveau. S’il n’y en a pas, ne vous fiez à aucun des deux.
Notre guide sur la vérification d’une analyse IA va plus loin pour les dossiers qui approchent du comité. Le screening gratuit ne demande pas de compte : essayez-le sur un deck que vous connaissez bien, et si vous trouvez une erreur, écrivez-nous à contact@getcasian.com.