Laboratoire · tests de positions · 167 machines

Les tests BT, mesurés en série

Six mille cent quarante et une positions, mille cinq cent trente-cinq heures de calcul, et pas une seule pièce posée à la main. Reste à savoir si ces chiffres valent quelque chose : sur les vingt et une machines que je peux comparer à des valeurs déjà publiées, l’écart médian est de zéro point Elo.

Ce que le test mesure

Les tests BT-2450 et BT-2630 sont deux séries de trente positions, chacune avec un coup et un seul à trouver. On ne demande pas au programme de résoudre vite : on lui donne quinze minutes par position et on note l’instant où il a affiché le bon coup en tête de sa variante et ne l’a plus abandonné jusqu’à la fin. Une position non résolue compte pour les 900 secondes entières. Puis :

avec 2450 pour le premier test, 2630 pour le second. Un programme qui trouve tout instantanément plafonne à la base ; un programme qui ne trouve rien tombe à base − 900. La nuance du et ne l’a plus abandonné est ce qui rend le test honnête — et, on va le voir, ce qui le rend pénible à mesurer à la main.

Rien n’a été fait à la main

Toute la campagne tient dans un fichier de commandes et un script Python de 584 lignes. Le fichier de commandes porte les réglages : les listes de moteurs, les deux fichiers de positions, les 900 secondes, le nombre de moteurs à tester en parallèle. Le script fait le reste, et le reste est plus long qu’il n’y paraît.

Il recrute les participants tout seul. Il prend les moteurs des listes d’adversaires du classement, et, si on le lui demande, tous les moteurs du dossier des machines : chaque uci.bat — machines CB-Emu d’origine et accélérées, programmes DOS, cartes ChessMachine — plus les moteurs Windows. Un même moteur présent dans plusieurs listes n’est pris qu’une fois. Cent soixante-sept machines se sont présentées d’elles-mêmes.

Il parle UCI directement. cutechess-cli sait organiser des parties, pas passer des tests de positions : le script ouvre donc lui-même un processus par moteur, lui envoie position fen … puis go movetime 900000, et lit les lignes info au vol. Un seul processus par moteur pour les deux tests, ce qui évite 167 démarrages de machine supplémentaires.

Il surveille le bon coup à chaque instant. C’est le cœur du dispositif. À chaque ligne d’analyse, il compare le premier coup de la variante à la solution, et tient à jour l’instant du dernier passage à la solution. Si le moteur trouve le coup à la quatrième seconde, le perd à la trentième et le retrouve à la deux-centième, le temps retenu est 200 s, pas 4 s. Ce suivi réclame de ne rien manquer pendant quinze minutes, position après position.

Il pose les positions sur les vraies machines. Les machines d’échecs émulées n’ont pas de commande position : le relais tape la position sur l’échiquier avec les touches de la machine, ce qui prend de dix à quarante secondes, la vérifie, et annonce seulement alors info string position en place. Le chronomètre ne part qu’à ce signal : le temps de pose n’entre ni dans la réflexion ni dans les temps notés. Pour les programmes DOS, c’est le même principe en plus acrobatique : le relais entre dans le mode de mise en place du programme, tape la position, puis la relit à l’écran pour vérifier qu’elle y est bien.

Il ne refait jamais deux fois le même travail. Vingt-trois des trente positions sont communes aux deux tests. Dès qu’une position a été jouée dans un test, son résultat est recopié dans l’autre : 9 929 cases de résultat pour seulement 6 141 mesures réelles. Et chaque position est écrite dans un fichier CSV dès qu’elle est faite, si bien qu’on peut couper la campagne n’importe quand et la relancer : elle reprend où elle en était. Elle a été coupée plusieurs fois.

Il tourne à quatorze de front, un moteur par cœur, et recalcule le bilan après chaque position : à tout moment, on sait où en est la campagne sans rien interrompre.

Ce que la même expérience aurait coûté à la main

Le calcul est instructif, et il n’est pas flatteur pour la méthode manuelle.

Chaque position demande d’abord d’être posée. Sur une machine dédiée, cela veut dire entrer une vingtaine de pièces case par case avec les touches, puis vérifier : comptons trois minutes, ce qui est optimiste pour qui ne veut pas se tromper. Sur un programme DOS, il faut ouvrir le mode de mise en place, placer les pièces, régler le trait, le même ordre de grandeur.

Ensuite il faut regarder. Et là se trouve le piège : comme la règle demande l’instant du dernier passage à la solution, on ne peut pas revenir dans un quart d’heure voir le résultat. Il faut surveiller la ligne d’analyse en continu pendant les quinze minutes, et noter chaque fois qu’elle change d’avis — un moteur UCI moderne change de variante plusieurs dizaines de fois par position. Quinze minutes de surveillance, donc, même quand la réponse tombe en quatre secondes.

Autrement dit : ce n’est pas un gain de temps, c’est un changement de nature. L’expérience n’aurait pas été plus longue à la main ; elle n’aurait pas eu lieu.

Deux positions que le script a obligé à corriger

Automatiser impose une rigueur dont on se passe sans y penser quand on travaille à la main. Le script doit reconnaître le bon coup dans la sortie du moteur : il lui faut donc la solution en notation UCI, case de départ et case d’arrivée, et non en notation algébrique. En écrivant ce champ pour les soixante positions, deux d’entre elles ont refusé de se laisser convertir.

Un humain lit par-dessus ces deux détails sans même les voir. Un script, non : il rejette la position ou cherche un coup qui n’existe pas. Les deux fichiers corrigés sont dans le téléchargement ci-dessous, à côté des fichiers d’origine.

Le contrôle : mes chiffres contre ceux qui sont publiés

Tout cela ne vaut rien si les nombres sont faux. Heureusement, ces deux tests sont mesurés depuis trente ans sur des machines réelles, et le wiki de schach-computer.info en publie des tableaux. Vingt-trois machines de mon laboratoire y figurent sous un nom identifiable, ce qui donne, en comptant les machines présentes dans les deux tests, vingt-trois paires de valeurs — dont vingt et une où la mesure du laboratoire est terminée et où la machine du site est bien la même que la mienne.

Je n’ai rien ajusté : pas de recalage, pas de facteur, pas de moyenne pondérée. Ce sont les chiffres bruts des deux côtés.

Pour une mesure de temps faite trente ans plus tard, sur du matériel émulé, par un autre opérateur, avec un autre chronomètre et un autre jugement de ce qu’est « avoir trouvé le coup », c’est une concordance que je n’attendais pas aussi franche. Elle valide deux choses d’un coup : que l’émulation restitue bien la vitesse des machines d’origine, et que ma règle de chronométrage est celle que les testeurs d’époque appliquaient.

Et les trois écarts qui dépassent trente points sont instructifs, parce qu’aucun n’est mystérieux. Le Novag Super Forte C : le site ne précise pas la version du programme, et il en existe plusieurs, de force différente. Le Mephisto MM IV : le site publie aussi une variante Turbo à 16 MHz, à 1860, ce qui montre que la fréquence exacte compte beaucoup ici. Le Mephisto Amsterdam : à 35 points, c’est le seul des trois qui reste à expliquer. Les deux lignes en gris, elles, ne sont pas des désaccords mais des mesures inachevées : le Turbo King II n’a que 28 positions sur 30, et le Simultano s’est arrêté parce qu’il ne rend pas son coup.

C’est précisément pour cela que je ne publie pas encore le classement complet.

Les positions, à télécharger

Les soixante positions des deux tests, en EPD et en PGN, avec le champ UCI qui permet de les passer automatiquement, les deux corrections décrites plus haut, et les fichiers d’origine pour comparaison.

Et maintenant, le tri

La campagne est terminée. Avant de publier les résultats, il fallait écarter ceux qui ne veulent rien dire : une machine qui cesse de répondre, une position que le programme refuse, et surtout une version dite accélérée qui tourne en réalité à sa fréquence d’origine. Neuf mesures sur trois cent quarante-deux sont sorties pour ces trois raisons ; le tableau ci-dessous les nomme une par une, avec le chiffre qui les condamne.

Les trois cent trente-trois autres sont là, filtrables test par test, famille par famille, et position par position.