Laboratoire · méta-moteur
Huit champions valent-ils mieux que quatre ?
Après Orion, Pléiades et Crux, voici Andromeda : les quatre moteurs de Crux, Shredder 7, Fritz 9, Junior 8 et Hiarcs 8, rejoints par Chess Tiger 2007, Fruit 2.1, ProDeo 2.0 et The King 3.50, avec toujours Stockfish 18 en arbitre. Il vient de terminer un gauntlet de 191 parties contre vingt moteurs modernes. Résultat : 3493 Elo, soit près de 100 points de plus que Crux, et une place dans le classement du laboratoire juste sous les moteurs à réseau de neurones.
1.De Crux à Andromeda
Crux avait répondu à la question posée par Pléiades : oui, le principe du méta-moteur tient encore quand les membres sont déjà très forts. Quatre moteurs à 2900 gagnaient 478 points sur leur moyenne. Restait la question suivante, posée à la fin de l’article sur Crux : plus de membres, est-ce encore plus de gain ? Orion (trois membres) gagnait 528 points, Pléiades (sept) en gagnait 774. Andromeda est fait pour le vérifier à haut niveau : on garde les quatre membres de Crux et on en ajoute quatre, tous du même âge et du même niveau, tous d’auteurs différents.
| Membre | Auteur | Cote (liste maison) | Dans Crux |
|---|---|---|---|
| Shredder 7 | Stefan Meyer-Kahlen | 2977 | oui |
| Fritz 9 | Frans Morsch et Mathias Feist | 2971 | oui |
| ProDeo 2.0 | Ed Schröder | 2926 | non — resté muet |
| Chess Tiger 2007 | Christophe Théron | 2895 | non |
| The King 3.50 | Johan de Koning | 2879 | non — resté muet |
| Fruit 2.1 | Fabien Letouzey | 2875 | non |
| Hiarcs 8 | Mark Uniacke | 2874 | oui |
| Junior 8 | Amir Ban et Shay Bushinsky | 2850 | oui |
| Moyenne des six membres actifs | six auteurs | 2907 |
2.Comment ça marche
Rien ne change par rapport à Crux. À chaque coup, les membres reçoivent la position et réfléchissent en parallèle, 15 secondes chacun. S’ils proposent tous le même coup, il est joué directement. Sinon, Stockfish 18 reçoit la liste des coups proposés (go searchmoves), réfléchit environ une seconde et choisit le meilleur. L’arbitre ne compte pas les voix : un coup proposé par un seul membre peut l’emporter sur un coup proposé par cinq. Et il ne propose jamais de coup lui-même : il ne choisit que parmi ceux des membres. Avec six membres qui réfléchissent en même temps, Andromeda met 17,6 secondes par coup en moyenne : 15 pour les membres, le reste pour la lecture des réponses et l’arbitrage.
3.Les chiffres
Andromeda a affronté la même échelle de quinze moteurs modernes que Crux, de 3310 à 3604, puis cinq moteurs plus forts encore, de 3617 à 3649 : Houdini 5.01, Stockfish 8, Caissa 1.5, Komodo 12.1.1, et une partie d’essai contre Ethereal 12.75. Dix parties contre chacun, avec les Blancs et avec les Noirs.
| Adversaire | Cote | Score | + = − | Performance |
|---|---|---|---|---|
| Ethereal 12.75 (une seule partie) | 3653 | 0,5 /1 | 0-1-0 | 3653 |
| Komodo 12.1.1 | 3649 | 3 /10 | 0-6-4 | 3502 |
| Caissa 1.5 | 3629 | 4,5 /10 | 1-7-2 | 3594 |
| Stockfish 8 | 3621 | 3 /10 | 0-6-4 | 3475 |
| Houdini 5.01 | 3616 | 4 /10 | 0-8-2 | 3547 |
| Ethereal 11.75 | 3604 | 2 /10 | 0-4-6 | 3363 |
| Wasp 5.50 | 3592 | 4,5 /10 | 1-7-2 | 3558 |
| Rebel-Extreme 1.1 | 3566 | 4,5 /10 | 0-9-1 | 3532 |
| Deep Shredder 13 | 3533 | 5 /10 | 1-8-1 | 3533 |
| Houdini 4 | 3479 | 6,5 /10 | 3-7-0 | 3587 |
| Gull 3 | 3471 | 5 /10 | 2-6-2 | 3471 |
| Deep Rybka 4.1 | 3443 | 4 /10 | 1-6-3 | 3374 |
| Critter 1.6a | 3403 | 8 /10 | 6-4-0 | 3644 |
| Wasp 3.75 | 3403 | 5,5 /10 | 2-7-1 | 3438 |
| Strelka 5.5 | 3402 | 6 /10 | 2-8-0 | 3473 |
| Senpai 2.0 | 3339 | 6,5 /10 | 3-7-0 | 3448 |
| SF 11 ARM9 | 3330 | 6,5 /10 | 4-5-1 | 3439 |
| Naum 4.2 | 3320 | 6,5 /10 | 3-7-0 | 3428 |
| Wasp 2.00 | 3319 | 7 /10 | 4-6-0 | 3466 |
| Komodo64 3 | 3310 | 7 /10 | 4-6-0 | 3457 |
| Total | 3477 | 99,5 /191 | 37-125-29 | 3493 |
Le bilan est de 37 victoires, 125 nulles et 29 défaites : 52 % contre des adversaires cotés 3477 en moyenne, 42 points de plus que ceux de Crux. Deux parties sur trois sont encore nulles, mais Andromeda gagne deux fois plus souvent que Crux (37 victoires en 191 parties contre 18 en 150) et perd moins. Comme Crux, il est bien plus à l’aise avec les Blancs (57 sur 96, 24 victoires pour 6 défaites) qu’avec les Noirs (42,5 sur 95, 13 victoires pour 23 défaites). Les parties sont longues : 91 coups et 47 minutes en moyenne, 151 heures de jeu au total. Les deux ouvertures les plus jouées sont l’Espagnole (45 parties) et la Sicilienne (34).
Contre les cinq moteurs les plus forts, ceux que Crux n’a pas affrontés, Andromeda tient : 15 sur 41, avec une performance de 3547 contre Houdini 5.01 et de 3594 contre Caissa 1.5. Les deux seules séries nettement perdues sont contre Ethereal 11.75 (2 sur 10) et Komodo 12.1.1 (3 sur 10).
Ordo, qui pèse toutes les parties du laboratoire ensemble, donne 3493.
4.Crux contre Andromeda, mêmes adversaires
La comparaison la plus juste n’est pas la cote Ordo, qui dépend de l’ensemble des parties, mais le score contre les quinze adversaires que les deux méta-moteurs ont affrontés, dix parties chacun. Crux, avec quatre membres, avait fait 67,5 sur 150. Andromeda, avec les mêmes quatre membres plus Chess Tiger et Fruit, fait 84,5 sur 150.
| Adversaire | Cote | Crux /10 | Andromeda /10 | Écart |
|---|---|---|---|---|
| Ethereal 11.75 | 3604 | 1,5 | 2 | +0,5 |
| Wasp 5.50 | 3592 | 1,5 | 4,5 | +3 |
| Rebel-Extreme 1.1 | 3566 | 4 | 4,5 | +0,5 |
| Deep Shredder 13 | 3533 | 3,5 | 5 | +1,5 |
| Houdini 4 | 3479 | 3,5 | 6,5 | +3 |
| Gull 3 | 3471 | 3,5 | 5 | +1,5 |
| Deep Rybka 4.1 | 3443 | 3,5 | 4 | +0,5 |
| Critter 1.6a | 3403 | 5,5 | 8 | +2,5 |
| Wasp 3.75 | 3403 | 5 | 5,5 | +0,5 |
| Strelka 5.5 | 3402 | 6 | 6 | = |
| Senpai 2.0 | 3339 | 4,5 | 6,5 | +2 |
| SF 11 ARM9 | 3330 | 6,5 | 6,5 | = |
| Naum 4.2 | 3320 | 7 | 6,5 | −0,5 |
| Wasp 2.00 | 3319 | 6 | 7 | +1 |
| Komodo64 3 | 3310 | 6 | 7 | +1 |
| Total sur 150 parties | 3435 | 67,5 (45 %) | 84,5 (56,3 %) | +17 |
Douze séries sur quinze s’améliorent, deux sont égales, une seule recule d’un demi-point (Naum 4.2). Le gain est le plus net contre les adversaires qui avaient le plus fait souffrir Crux : Wasp 5.50 passe de 1,5 à 4,5, Houdini 4 de 3,5 à 6,5, Critter de 5,5 à 8, Senpai de 4,5 à 6,5. Seul Ethereal 11.75 reste une bête noire (1,5 puis 2 sur 10). Sur ces 150 parties, Andromeda marque 17 points de plus que Crux, ce qui vaut environ 80 points Elo ; Ordo, qui tient compte aussi des 41 autres parties contre des adversaires plus forts, donne 97.
D’où vient ce gain ? Pas de la force des nouveaux membres : Chess Tiger 2007 (2895) et Fruit 2.1 (2875) sont cotés sous Shredder et Fritz. Il vient du nombre de propositions. Avec six membres, l’arbitre a en moyenne 2,4 coups différents sur la table par position, contre 2,1 avec quatre ; et un bon coup que les quatre membres de Crux ne voyaient pas a maintenant deux chances de plus d’être sur la table. La section 6 le mesure : Chess Tiger et Fruit ont trouvé seuls 48 coups décisifs.
5.Comment Andromeda décide
Sur les 15 841 coups joués par Andromeda hors du livre d’ouvertures, les membres étaient tous d’accord 4201 fois (26,5 %), contre 33 % pour Crux : plus on est nombreux, moins on est unanime. Le plus souvent il y avait deux candidats (4651 fois), puis trois (3900), quatre (2187), cinq (766). Les six membres ont proposé six coups différents 136 fois.
| Membre | Coup retenu proposé | Seul à le proposer | Isolé |
|---|---|---|---|
| Chess Tiger 2007 | 9343 (59,0 %) | 626 | 2705 |
| Shredder 7 | 9336 (58,9 %) | 720 | 2920 |
| Junior 8 | 9309 (58,8 %) | 695 | 3032 |
| Fritz 9 | 9266 (58,5 %) | 640 | 2878 |
| Hiarcs 8 | 9089 (57,4 %) | 575 | 2693 |
| Fruit 2.1 | 9087 (57,4 %) | 530 | 2734 |
« Isolé » : le membre propose un coup que personne d’autre ne propose. « Seul à le proposer » : ce coup isolé est retenu par l’arbitre.
Les six membres pèsent presque autant les uns que les autres : moins de deux points d’écart entre le plus suivi, Chess Tiger, et les moins suivis, Hiarcs et Fruit. Shredder reste le membre dont les coups isolés sont le plus souvent retenus (720 fois), Junior le plus original (isolé 3032 fois, et retenu 695 fois quand il l’est). Le nouveau venu Chess Tiger est le plus suivi des six, mais c’est aussi celui qui s’isole le moins avec Hiarcs : il est souvent avec la majorité.
Les paires qui s’entendent. Hiarcs et Fruit sont la paire la plus souvent d’accord (8797 fois sur 15 841), puis Chess Tiger et Fruit (8697) et Shredder et Fritz (8585). Les moins d’accord : Junior et Hiarcs (8252), Shredder et Junior (8276). Junior reste le franc-tireur ; les deux nouveaux venus, Chess Tiger et Fruit, sont les plus consensuels, proches de tout le monde.
6.La pertinence de chaque membre
Le journal dit qui a été suivi, pas qui avait raison. Pour le savoir, Stockfish 17.1 a réévalué 15 149 positions d’Andromeda et chaque coup proposé dans chacune d’elles, exactement comme pour Crux. Pour chaque proposition, on mesure la perte : l’écart entre le meilleur coup de la position et le coup proposé, en centièmes de pion (bornée à 3 pions pour qu’une seule gaffe ne fausse pas la moyenne).
| Membre | Perte moyenne (cp) | Meilleure proposition | Gaffes proposées (≥1,5) | Gaffes jouées | Coups décisifs seul | Erreur d’évaluation (cp) |
|---|---|---|---|---|---|---|
| Shredder 7 | 12,1 | 79,8 % | 170 | 36 | 23 | 53,8 |
| Fritz 9 | 11,4 | 80,5 % | 162 | 35 | 33 | 41,4 |
| Chess Tiger 2007 | 11,8 | 80,2 % | 168 | 45 | 29 | 54,8 |
| Hiarcs 8 | 12,2 | 79,4 % | 161 | 42 | 23 | – |
| Fruit 2.1 | 11,9 | 79,3 % | 152 | 50 | 19 | 47,7 |
| Junior 8 | 12,3 | 79,9 % | 183 | 47 | 39 | 45,9 |
| Andromeda (coup joué) | 6,0 | – | – | 76 | – | – |
Mêmes définitions que dans l’article sur Crux. « Meilleure proposition » : le coup du membre est, à 5 centièmes près, le meilleur des coups proposés. « Gaffes jouées » : les gaffes du membre qu’Andromeda a effectivement jouées. « Coups décisifs seul » : le membre est le seul à proposer le coup retenu, et ce coup vaut au moins un demi-pion de plus que toutes les autres propositions. « Erreur d’évaluation » : écart moyen entre l’évaluation annoncée par le membre et celle de Stockfish, hors positions décidées. Hiarcs 8 n’annonce pas son évaluation dans ce montage.
Le chiffre le plus important est en bas du tableau. Andromeda perd en moyenne 6,0 centièmes par coup, contre 7,0 pour Crux. Son meilleur membre, Fritz 9, en perd 11,4. L’assemblée fait donc environ 47 % d’erreur en moins que le meilleur de ses membres, là où Crux en faisait 38 % de moins. Les six membres ont proposé 996 gaffes en tout ; Andromeda n’en a joué que 76.
Le vote sans arbitre, simulé comme pour Crux (le coup le plus proposé est joué, en cas d’égalité celui du membre le mieux coté), aurait perdu 10,5 centièmes par coup et joué 136 gaffes au lieu de 76. Avec six membres, le vote est un peu moins mauvais qu’avec quatre, parce que les majorités sont plus larges ; mais l’écart avec l’arbitre reste énorme. C’est toujours lui qui fait le gain.
| Phase de jeu | Shredder | Fritz | Tiger | Hiarcs | Fruit | Junior | Andromeda |
|---|---|---|---|---|---|---|---|
| Sortie du livre (avant le 20e coup) | 16 | 13,8 | 15,1 | 16,5 | 15,9 | 14,9 | 5,9 |
| Milieu de partie (coups 20 à 45) | 14,9 | 13,6 | 14,3 | 15 | 14,5 | 14,1 | 6,5 |
| Fin de partie (après le 45e coup) | 9,4 | 9,5 | 9,6 | 9,5 | 9,4 | 10,7 | 5,8 |
Perte moyenne en centièmes de pion, par phase de jeu.
Les écarts entre membres sont plus serrés que dans Crux : entre 11,4 et 12,3 centièmes perdus par coup, et entre 79 et 81 % de meilleures propositions. Six moteurs du même âge et du même niveau se valent presque. Ce qui les distingue, ce sont leurs idées propres.
Portraits
Fritz 9 reste le membre le plus sûr. Comme dans Crux, c’est lui qui perd le moins par coup (11,4), qui propose le plus souvent le meilleur coup (80,5 %) et qui s’évalue avec le plus de justesse (41 centièmes d’écart avec Stockfish). Ses gaffes passent rarement : 35 jouées sur 162. Dans la partie contre Caissa, c’est lui qui trouve seul 10.Ff4, le coup qui fixe l’avantage.
Junior 8 reste l’original, et devient le plus utile en solitaire. Il propose le plus de gaffes (183), mais aussi le plus de coups décisifs que personne d’autre ne voit : 39. Avec cinq partenaires pour filtrer ses excès, ses idées valent plus que jamais. C’est lui qui lance l’attaque de pions 16.h4 contre Caissa.
Chess Tiger 2007 est la bonne recrue. Le moteur de Christophe Théron est le plus souvent suivi des six. Il perd 11,8 centièmes par coup, deuxième derrière Fritz, et compte 29 coups décisifs en solitaire : un apport net, que Crux n’avait pas. Dans la finale contre Caissa, c’est son 57.Tc7+ qui décide.
Fruit 2.1 est le plus consensuel. C’est, avec Chess Tiger, le membre le plus souvent d’accord avec les autres, et celui qui propose le moins de gaffes (152). Revers de la médaille, il est le moins souvent seul à avoir raison (19 coups décisifs) et ses gaffes sont celles qui passent le plus (50) : quand Fruit se trompe, il se trompe souvent avec la majorité. Il renforce les bons coups plus qu’il n’en apporte.
Shredder 7 et Hiarcs 8 rentrent dans le rang. Dans Crux, Shredder était le membre le plus suivi et Hiarcs le plus prudent. Dans Andromeda, ils restent solides mais ne se distinguent plus : 23 coups décisifs en solitaire chacun, et les deux pertes moyennes les plus élevées après Junior. Leurs bonnes idées sont désormais souvent vues aussi par Chess Tiger ou Fruit.
La leçon est la même que pour Crux, en plus net : aucun membre n’est inutile, et le plus fort n’est pas le plus précieux. Le membre le plus faible de la liste, Junior, est celui qui apporte le plus de coups décisifs. L’arbitre a besoin d’idées différentes, pas d’un moteur de plus qui pense comme les autres.
7.La partie la plus extraordinaire : Andromeda – Caissa 1.5, 1-0
Parmi les 37 victoires, celle-ci est la plus forte : Caissa 1.5, un moteur à réseau de neurones coté 3629, le troisième adversaire le plus fort du gauntlet, battu avec une régularité de métronome. Dans une Sicilienne Richter-Rauzer, Andromeda prend un petit avantage dès la sortie du livre, le fait grossir pendant 90 coups sans jamais le laisser retomber sous le demi-pion, et mate au 94e. Six membres y jouent chacun leur rôle : Junior lance l’attaque de pions, Fritz place le fou, Chess Tiger trouve le coup qui gagne la finale, et l’arbitre renverse deux fois la majorité au bon moment. Un autre candidat était la victoire contre Houdini 5.01 ou celles contre Wasp 5.50 ; mais battre un moteur à réseau de neurones coté 3629 avec six programmes des années 2000, c’est le résultat le plus parlant du gauntlet.
Échiquier vu du côté d’Andromeda (les Blancs). Les évaluations sont données du point de vue d’Andromeda.
L’évaluation au fil de la partie
Évaluation Stockfish 17.1, du point de vue d’Andromeda, bornée à ±6 pions. Les points marquent les moments commentés ; un clic place la partie à ce coup.
Les moments clés
Chaque diagramme montre la position avant le coup. Flèches : la proposition de chaque membre dans sa couleur, le coup joué en vert, et en pointillé le coup de Stockfish quand aucun membre ne l’a proposé.
Rejouer la partie
Flèches ← → du clavier pour avancer et reculer.
8.Synthèse : Orion, Pléiades, Crux, Andromeda
Les quatre méta-moteurs du laboratoire suivent la même recette : des membres d’auteurs différents qui réfléchissent en parallèle, et Stockfish 18 qui choisit parmi leurs coups sans jamais en proposer.
| Méta-moteur | Membres | Moyenne des membres | Cote Ordo | Gain |
|---|---|---|---|---|
| Orion | 3 machines dédiées (Forte A, MM IV, Designer 2100) | 1788 | 2317 | +529 |
| Pléiades | 7 machines dédiées et programmes DOS | 2147 | 2924 | +777 |
| Crux | 4 moteurs PC (Shredder, Fritz, Junior, Hiarcs) | 2917 | 3396 | +479 |
| Andromeda | 6 moteurs PC actifs (les 4 de Crux, Chess Tiger, Fruit) | 2907 | 3493 | +586 |
Trois leçons, et une confirmation.
Plus de membres, plus de gain : confirmé. À membres de même niveau, passer de quatre à six têtes rapporte environ 100 points Elo, et le gain sur la moyenne des membres passe de 479 à 586. C’est la même courbe qu’entre Orion et Pléiades, décalée de mille points vers le haut. Et elle n’est pas finie : deux membres sur huit n’ont pas parlé.
Le gain vient de la diversité, pas de la force. Les deux membres ajoutés sont cotés sous les deux meilleurs de Crux. Ils rapportent pourtant 100 points, parce qu’ils voient des coups que les quatre autres ne voient pas. Un septième Shredder n’aurait rien apporté.
La limite est la même partout. Le méta-moteur corrige les erreurs individuelles, pas les erreurs partagées. Ethereal 11.75 bat encore Andromeda (2 sur 10, six défaites) comme il battait Crux. Ajouter des membres de la même génération multiplie les idées, mais pas les façons d’évaluer une position : ce que six moteurs des années 2000 jugent tous mal, l’arbitre ne peut pas le corriger.
La suite ? D’abord réparer le relais pour que ProDeo et The King parlent à temps, et mesurer ce que valent vraiment huit têtes. Ensuite, peut-être, la question que ce classement pose : un méta-moteur de moteurs classiques à huit cœurs, Houdini, Komodo, Stockfish 8, arbitré par Stockfish 18, irait-il chercher les NNUE ?