Laboratoire · méta-moteur

Quatre champions valent-ils mieux qu’un ?

Après Orion, le trio de machines dédiées, et Pléiades, l’assemblée de sept, voici Crux : quatre grands moteurs PC du début des années 2000, Shredder 7, Fritz 9, Junior 8 et Hiarcs 8, et toujours Stockfish 18 en arbitre. Il vient de terminer un gauntlet de 150 parties contre des moteurs modernes. Résultat : 3395 Elo, soit près de 420 points au-dessus de son meilleur membre.

1.De Pléiades à Crux

Orion et Pléiades ont montré qu’une assemblée de vieilles machines d’échecs, départagée par un arbitre, joue bien plus fort que chacun de ses membres. Mais leurs membres étaient faibles : 1788 de moyenne pour Orion, 2147 pour Pléiades. La marge de progrès était grande. La vraie question était de savoir si le principe tient encore quand les membres sont déjà très forts, et que leurs erreurs deviennent rares et subtiles.

Crux réunit donc quatre moteurs qui ont dominé les championnats et les listes de classement au tournant des années 2000. Ce sont quatre auteurs, et quatre styles différents :

2.Comment ça marche

Le fonctionnement est le même que pour Pléiades. À chaque coup, les quatre moteurs reçoivent la position et réfléchissent en parallèle, 15 secondes chacun. Si les quatre proposent le même coup, il est joué directement. Sinon, Stockfish 18 reçoit la liste des coups proposés (go searchmoves), réfléchit environ une seconde et choisit le meilleur. L’arbitre ne compte pas les voix : un coup proposé par un seul membre peut l’emporter sur un coup proposé par trois. Et il ne propose jamais de coup lui-même : il ne choisit que parmi ceux des membres.

3.Les chiffres : deux gauntlets

Crux a d’abord joué un gauntlet de contrôle contre ses propres membres : 93 points sur 100, soit une performance de 3372. Le méta-moteur écrase chacune de ses quatre têtes jouées seules. Il a ensuite affronté une échelle de quinze moteurs modernes, de 3310 à 3596, à raison de dix parties contre chacun, avec les Blancs et avec les Noirs.

Le bilan est de 18 victoires, 99 nulles et 33 défaites. Deux parties sur trois sont nulles : à ce niveau, Crux défend très bien, mais il gagne peu. Il est nettement plus à l’aise avec les Blancs (36 sur 75, 10 victoires pour 13 défaites) qu’avec les Noirs (31,5 sur 75, 8 victoires pour 20 défaites). Les parties sont longues : 90 coups et 43 minutes en moyenne, soit plus de 106 heures de jeu au total. Les deux ouvertures les plus jouées sont l’Espagnole (28 parties) et la Sicilienne (26).

Ordo, qui pèse toutes les parties du laboratoire ensemble, donne 3395 : le niveau des moteurs modernes de l’échelle, avec des membres qui ont une vingtaine d’années de plus.

4.Comment Crux décide

Sur les 12 095 coups joués par Crux hors du livre d’ouvertures, les quatre membres étaient d’accord 3964 fois (33 %). Dans les deux tiers des cas, il a donc fallu trancher. Le plus souvent, il y avait deux candidats (4385 fois), puis trois (2837 fois). Les quatre membres ont proposé quatre coups différents 909 fois.

« Isolé » : le membre propose un coup que personne d’autre ne propose. « Seul à le proposer » : ce coup isolé est retenu par l’arbitre.

Les quatre membres pèsent presque autant les uns que les autres. Shredder est un peu plus souvent suivi, Junior un peu moins. Junior est aussi le membre le plus souvent isolé (3366 fois) : c’est le plus original des quatre. Mais quand il est seul, il est retenu moins souvent que Shredder ou Fritz.

Deux chiffres montrent que l’arbitre n’est pas un simple vote :

5.La pertinence de chaque membre

Le journal dit qui a été suivi, pas qui avait raison. Pour le savoir, Stockfish 17.1 a réévalué 11 541 positions de Crux et chaque coup proposé dans chacune d’elles. Pour chaque proposition, on mesure la perte : l’écart entre le meilleur coup de la position et le coup proposé, en centièmes de pion (bornée à 3 pions pour qu’une seule gaffe ne fausse pas la moyenne).

« Meilleure proposition » : le coup du membre est, à 5 centièmes près, le meilleur des coups proposés. « Gaffes jouées » : les gaffes du membre que Crux a effectivement jouées. « Coups décisifs seul » : le membre est le seul à proposer le coup retenu, et ce coup vaut au moins un demi-pion de plus que toutes les autres propositions. « Erreur d’évaluation » : l’écart moyen entre l’évaluation annoncée par le membre et celle de Stockfish, hors positions décidées. Hiarcs 8 n’annonce pas son évaluation dans ce montage. Stockfish a analysé environ 0,1 seconde par position : ces chiffres sont des ordres de grandeur.

Le chiffre le plus important est en bas du tableau. Crux perd en moyenne 7,0 centièmes par coup. Son meilleur membre en perd 11,2. L’assemblée fait donc environ 38 % d’erreur en moins que le meilleur de ses membres. Les membres ont proposé entre 123 et 152 gaffes chacun. Crux n’en a joué que 69. Dans 55 de ces cas, toutes les propositions étaient mauvaises : l’arbitre n’avait aucun bon coup à choisir.

Et si on avait simplement fait voter les quatre membres, sans arbitre ? On peut le simuler : le coup le plus proposé est joué, et en cas d’égalité, celui du membre le mieux coté. Ce Crux « démocratique » aurait perdu 10,7 centièmes par coup, presque autant qu’un membre seul, et joué 112 gaffes au lieu de 69. Le vote moyenne les opinions, mais il ne trie pas les bonnes des mauvaises. C’est l’arbitre qui fait le gain.

Perte moyenne en centièmes de pion, par phase de jeu. C’est en ouverture et au milieu de partie que l’arbitre apporte le plus : il y divise l’erreur par deux.

Portraits

Fritz 9 est le membre le plus utile. C’est lui qui perd le moins par coup (11,2), qui propose le plus souvent le meilleur coup (83,6 %), qui a le plus de coups décisifs en solitaire (59) et qui s’évalue avec le plus de justesse (erreur moyenne de 42 centièmes). Dans la défaite contre Ethereal, c’est aussi lui qui voit en premier que la partie est perdue.

Shredder 7 est le plus suivi. C’est le mieux coté des quatre et l’arbitre retient son coup plus souvent que celui des autres. Mais ses propositions ne sont pas meilleures que celles de Fritz (11,7 centièmes perdus par coup), et ses évaluations sont celles qui s’écartent le plus de Stockfish : 63 centièmes d’écart en moyenne, la plus forte erreur des trois membres mesurés. Dans la victoire contre Naum, plus bas, c’est pourtant lui qui trouve seul le coup qui conclut.

Junior 8 est l’original. Il est le plus souvent isolé et propose le plus de gaffes (152), mais il apporte aussi beaucoup d’idées que personne d’autre ne voit : 54 coups décisifs en solitaire, presque autant que Fritz. Le 16…b5 ! contre Naum, plus bas, est de lui. Sans arbitre, Junior serait un membre dangereux. Avec un arbitre, ses idées deviennent un atout.

Hiarcs 8 est le plus prudent. Il est souvent d’accord avec Shredder, et ses gaffes sont celles qui passent le moins souvent : 34 jouées sur 128 proposées. Il compte 33 coups décisifs en solitaire. C’est le membre le plus discret. Il renforce surtout les bonnes majorités.

Aucun membre n’est inutile. Chacun apporte des coups décisifs que les trois autres n’ont pas vus. C’est la condition pour qu’un méta-moteur fonctionne : des membres dont les erreurs ne se recoupent pas.

6.La partie la plus spectaculaire : Naum 4.2 – Crux, 0-1

Parmi les 18 victoires, celle-ci est la plus belle. Naum 4.2, avec les Blancs, roque du côté de la Dame et lance ses pions sur le roi noir. Crux répond par une attaque de pions sur l’autre aile, plus rapide, et mate en 48 coups. Chaque membre y joue un rôle : l’idée de Junior lance l’attaque, Fritz place les pièces, et Shredder trouve la conclusion. Un autre candidat était la victoire contre Rebel-Extreme 1.1, coté 3585, mais elle s’est jouée dans une longue finale terminée par un mat au 116^e coup : plus technique, moins spectaculaire.

Échiquier vu du côté de Crux (les Noirs). Les évaluations sont données du point de vue de Crux.

7.La défaite la plus spectaculaire : Crux – Ethereal 11.75, 0-1

Crux a perdu 33 parties. Celle-ci montre le mieux sa faiblesse. Ethereal, avec les Noirs, sacrifie la qualité dans une Najdorf. Les quatre membres de Crux comptent le matériel et se croient mieux. Stockfish, lui, voit les Noirs mieux dès le sacrifice. L’arbitre sauve plusieurs fois ce qui peut l’être en écartant les pires coups, mais il ne peut pas inventer un plan que personne ne propose. Le roi blanc tombe au 42^e coup.

C’est la limite d’un méta-moteur : quand tous les membres se trompent de la même façon, l’arbitre ne peut rien faire. Quatre moteurs du début des années 2000 partagent les mêmes idées sur la valeur du matériel, et Ethereal en a profité.

8.Synthèse : Orion, Pléiades, Crux

Les trois méta-moteurs du laboratoire suivent la même recette : des membres d’auteurs différents qui réfléchissent en parallèle, et Stockfish 18 qui choisit parmi leurs coups sans jamais en proposer.

Trois leçons ressortent.

Plus de membres, plus de gain. Avec trois membres, Orion gagne 528 points. Avec sept, Pléiades en gagne 774. Trois méta-moteurs ne suffisent pas pour en faire une loi, mais c’est logique : plus il y a de propositions, plus l’arbitre a de chances d’y trouver un bon coup.

Le gain résiste au niveau. Avec quatre membres déjà très forts, Crux gagne encore 478 points sur leur moyenne et 419 sur le meilleur d’entre eux. Pourtant, les erreurs de moteurs à 2900 sont bien plus rares que celles de machines à 1800. À ce niveau, les adversaires annulent beaucoup, et chaque point de performance coûte cher.

La limite est la même partout. Le méta-moteur corrige les erreurs individuelles, pas les erreurs partagées. Sur les 69 gaffes jouées par Crux, 55 venaient de positions où tous les membres se trompaient. La diversité des auteurs compte autant que leur force.

La suite est déjà en route. Andromeda, huit membres, est en train de jouer son gauntlet. On saura bientôt si huit têtes font encore mieux que quatre.