top of page


7 juil.7 min de lecture
Derniers écrits


Ce qui compte comme preuve en transfert KV cross-modèle
Trois articles récents revendiquent tous le transfert KV "cross-model". Chacun glisse une béquille qui rétrécit ce que le mot veut dire. Voici la barre à franchir qui rendrait le claim strict falsifiable. Le transfert KV cross-modèle porte une affirmation précise et séduisante : un modèle de langage fait le prefill coûteux, un autre modèle décode à partir de l'état obtenu, et le second ne relit jamais le prompt. Si cela fonctionnait, le contexte cesserait d'être une séquence
7 juil.7 min de lecture


23 545 tokens par requête : mesurer le coût du re-prefill dans les agents de code
Ce que j'ai mesuré. Ce que j'ai appris. Ce que ça implique pour le design du KV cache. En 2026, les équipes d'ingénierie se réveillent avec des factures LLM qui rivalisent avec leur infrastructure cloud. Une part significative de ce coût ne va pas dans du travail nouveau — il va dans le retraitement du même contexte, tour après tour, conversation après conversation. J'ai voulu mesurer exactement combien. J'ai donc configuré Claude Code pour pointer vers mon propre runtime d'i
6 juil.8 min de lecture


Du Token-First au KV-First
Le token n'est pas un choix. C'est une contrainte matérielle — et ce n'est pas le bon niveau d'abstraction pour penser la compréhension d'un modèle. Imaginez qu'en ouvrant un livre, vous deviez le relire du début. Non pas parce que vous avez oublié — parce que quelqu'un arrache vos marque-pages entre chaque lecture. C'est ce que fait un modèle de langage. À chaque appel, il reconstruit sa compréhension du contexte depuis zéro. L'état qu'il avait produit — ce qu'il avait "comp
6 juil.8 min de lecture
bottom of page