Numworks verrouille entièrement son logiciel avec Epsilon 16 bêta
Posté le 23/06/2021 21:29
Après 3 ans d'activité communautaire intense autour de sa calculatrice, Numworks verrouille dans le bêta-test d'une nouvelle version d'OS Epsilon 16 l'ensemble des applications et firmwares personnalisés. Le changement vise à se conformer aux exigences fortes de différents modes examens, mises en valeur par le partage irresponsable de contournements.
Une analyse très détaillée a été écrite par Critor sur TI-Planet.
Cet article de M4x1m3 (développeur Oméga) détaille les aspects techniques.
L'histoire est simple (et se répète). Ça fait
un peu plus d'un an que TI supprimait le support des programmes assembleur sur TI-83 PCE et TI-84 CE pour sauver les apparences après que des failles de sécurité (pourtant corrigées depuis des années !) bruyamment «révélées» sur Youtube avaient jeté le doute sur la fiabilité de leur mode examen.
Cette fois, un guide détaillé de contournement du mode examen a été envoyé à l'autorité responsable des examens aux Pays-Bas, ce qui l'a incité à interdire la calculatrice Numworks. Cela suit déjà une interdiction au Portugal au titre des capacités étendues de calcul proposées par les applications et OS tiers. Ces pertes de marché ont invité Numworks à bloquer entièrement son système d'exploitation, malgré des échanges fournis dans lesquels la communauté a proposé un certain nombre d'alternatives plus modérées.
Concrètement, à partir d'Epsilon 16 :
- Les firmwares non officiels sont décriés partout par des messages de «non-conformité», n'ont pas accès à la diode examen, et sont effacés à chaque redémarrage de la calculatrice.
- Les applications externes, introduites avec Epsilon 16 pour compenser, ne sont pas mieux traitées ; d'autres messages de non-conformité sont affichés, le noyau annonce bloquer des fonctionnalités natives quand des applications externes sont installées, et de toute façon elles sont aussi effacées à chaque redémarrage.
- Bien sûr tout retour à une version précédente est impossible.
La majorité du travail accompli par la communauté Numworks est actuellement remis en question, faisant face à une mise à jour qui la rejette et sera bientôt installée sur toutes les calculatrices Numworks neuves.
La communauté se soulève bien sûr contre ces décisions, avec
une pétition, le hashtag
#FreeNumworks, et nombre presque impressionnant de mèmes.
Les faits détaillés et objectifs ont été compilés
dans l'article de Critor. Dans ce post, plus d'opinion, je vous propose une analyse du schéma récurrent avec les partages de contournements et de pourquoi cette impasse technologique n'était pas nécessaire pour réguler les examens.
Sérieusement, arrêtez de révéler et simplifier les failles
Dans chacune de ces histoires, il faut une personne enflammée pour révéler les failles. Dans le cas qui nous concerne, un étudiant aux Pays-Bas du nom de Maurits van Altvorst, qui a
publié un article détaillant le contournement avant de l'envoyer à l'autorité gérant les examens ; l'article conclut que l'open-source est fondamentalement un maillon faible dans la lutte contre la triche. On a aussi la chaîne Youtube Dark Programmer qui a (temporairement) relayé les informations en France ; et aussi d'autres, qui ont contribué à des contournements différents.
Il est honteusement ironique de constater, avec le détail et le soin apportés à ces publications, que
les dénonciateurs les plus alarmés des risques de triche sont aussi les éditeurs des guides de triche.
Si vous pensez que fermer les sources résout les failles, vous vous trompez ; ça les cache au mieux. Le reverse-engineering des modèles fermés a accompli tout autant de contournements.
Si vous pensez que l'open-source est le point faible qui rend les contournements plus faciles, vous vous trompez aussi. On peut tout autant distribuer des firmwares contenant des modes examens modifiés sur d'autres modèles, et c'est plus facile de les installer que de compiler une version modifiée d'Epsilon.
Si vous pensez que les autres modes examens sont parfaits, ou qu'ils peuvent le devenir, vous n'avez clairement pas l'expertise en génie logiciel et électronique requise pour émettre des opinions sur la sécurité des programmes (open-source ou pas).
Et si vous n'imaginiez pas que ce contournement promptement interdit aux Pays-Bas allait traverser les frontières et causer d'importants problèmes de triche dans d'autres pays, créant ailleurs l'exacte situation irresponsable qui était si savamment exposée dans l'article original de Maurits van Altvorst... alors vous n'avez pas la légitimé de parler de comportements responsables.
Morale : un contournement prêt-à-l'emploi est plus destructeur qu'un contournement open-source.
Bravo,
you played yourselves. Nous ne vous remercions pas.
Le défaut fondamental du mode examen : le blocage
Lorsque le mode examen a été annoncé, il posait déjà pas mal de problèmes. D'abord des problèmes d'équité, puisqu'il bloque les modèles à leurs fonctionnalités d'usine qui varient selon le prix des calculatrices ; cela exclut les améliorations communautaires qui peuvent combler en partie les écarts. Ensuite des problèmes d'économie, puisqu'il obligeait toutes les familles à se rééquiper d'une machine qui passe traditionnellement entre les mains des frères et sœurs. Enfin des problèmes fabuleux d'organisation, avec la vérification de son activation, la formation des surveillants, et j'en passe (et j'en oublie).
À ce moment-là, je n'aurais pas pensé que l'élément le plus problématique pour les communautés et les images des constructeurs serait le choix de garder les mêmes calculatrices et de
restreindre leurs fonctionnalités.
Et pourtant, force est de constater que cette approche est la source de beaucoup plus de problèmes que la volonté générale d'empêcher la résolution des exercices par la calculatrice aux examens. Bien sûr, il y a des débats (agités) sur le rôle de la calculatrice et des outils automatiques dans la formation des élèves, et à juste titre. Mais la majorité s'accordera sur le bien-fondé de limiter les outils accessibles durant une épreuve pour mieux évaluer les compétences précises qui sont le sujet de l'examen.
Le problème, donc, c'est d'avoir voulu créer cette limitation par une combinaison de mises à jour matérielles et (surtout) logicielles des calculatrices graphiques existantes. Ça, sur la majorité des plans, c'est impossible.
Le problème fondamental c'est qu'il n'y a pas grand-chose qui peut empêcher quelqu'un d'utiliser le matériel qui est sur la table. Mêmes les plus grosses sécurités auront des failles, à travers le matériel, à travers les logiciels officiels, ou à travers des bugs mondains dans des parties supposément non-critiques des programmes. Encore moins quand les machines ont été conçues sans le mode examen en tête. Toute la question c'est la difficulté d'exploiter les limites (et sur ce point exposer les failles reste le plus gros facteur, loin devant l'open-source en termes d'accessibilité).
Je pense que vous voyez comment on en arrive à une guerre technologique entre ceux qui cherchent à exploiter des failles (pour tricher, ou pour écrire des articles irresponsables), et ceux qui cherchent à les corriger. La majorité des gens, communautés comprises, est prise entre les deux et souhaite simplement que le système fonctionne malgré ses défauts pour éviter les scandales qui ne profitent à personne.
Et pourtant, ce problème n'était pas inévitable. Il suffit de voir par exemple les épreuves où les calculatrices graphiques sont interdites en faveur des calculatrices collège, sur lesquelles les contournements sont rendus impossibles par l'absence de capacités matérielles et de programmes tiers. (Ça aurait aussi coûté moins cher que de remplacer toutes les calculatrices graphiques de France.)
Vues les histoires qui se succèdent sur les failles du mode examen, je pense que ce problème est devenu plus important que les vraies questions de fond sur le format de l'éducation ; évidemment pour nous les communautés, parce qu'il nous touche directement ; mais aussi pour tout le monde, parce qu'il devient un problème quotidien qui divertit tout autant les ressources des régulateurs, des constructeurs, et des utilisateurs.
Ma connaissance du terrain est imparfaite, mais je soupçonne que la pression de ce problème poussera à utiliser des calculatrices collège dans plus d'épreuves, et de réserver les calculatrices graphiques aux cours et contrôles continus. Cela éviterait que chaque petite méthode de triche entache la réputation du mode examen aux yeux du public, sans compromettre le principe de la régulation anti-triche. Et j'espère que ça remettrait la calculatrice graphique au centre de la bonne problématique, à savoir celle d'un outil pédagogique.
Conclusions et lectures liées
Le mouvement n'est pas encore calmé côté Numworks ni côté communautaire, donc il reste beaucoup d'incertitudes sur l'évolution du travail accompli et en particulier de la communauté Oméga.
Planète Casio espère honnêtement qu'une solution technologique et légale sera trouvée pour permettre à tous ceux qui ont investi leur temps dans leur calculatrice Numworks de préserver le fruit de leur travail dans le futur. À ce stade, nous n'avons pas de considération à accorder à Numworks ou aux fauteurs de trouble qui entretiennent la triche.
Ressources liées :
Citer : Posté le 23/06/2021 21:34 | #
Très bon article !
Merci
Citer : Posté le 23/06/2021 21:52 | #
Super article!
Est-ce une bonne idée que de mettre un lien vers un article qui ressemble fortement à un tuto pour truquer sa Numworks?
Citer : Posté le 23/06/2021 22:00 | #
Je pourrais ne pas le mettre, mais à ce stade c'est complètement public (dans les autres articles aussi), les vidéos ont tourné, et les informations ramenées par la communauté Oméga montrent que les copies du firmware sont dans les lycées (et encore, l'article ne les donne pas, c'est les vidéos suivantes qui le font). Il me semble que ça sert mieux le propos de montrer comment la dérive se produit. Maintenant si le consensus me donne tort, je le retirerai.
Citer : Posté le 24/06/2021 07:11 | #
La conclusion me parait ambigue: a lire en diagonale, on a le sentiment que tu preconises la suppression des calculatrices graphiques. Mon opinion c'est plutot qu'il faut evaluer avec plusieurs types d'epreuves: sans calculatrices du tout ou avec calculatrices scientifiques uniquement *et* avec calculatrices graphiques sans mode examen. Ca peut meme se faire dans une meme epreuve: par exemple sur une epreuve de bac de maths de 4h, on autorise les calculatrices au bout de 1h30, apres avoir ramasse les copies correspondant a un exercice d'une demi-heure prevu pour etre fait sans calculatrice (1h30=0h30+1h de delai pour les retards). Je pense d'ailleurs que c'est plus simple a mettre en oeuvre que la verification du mode examen.
Citer : Posté le 24/06/2021 08:41 | #
Tu as raison, ce n'était pas vraiment clair, je l'ai modifiée. Je pense que les calculatrices collège vont apparaître comme une alternative solide au mode examen, voire être privilégiées quand le format des épreuves le permet (c'est-à-dire : seules les calculatrices collège autorisées durant certaines épreuves). C'est pas forcément ce que j'ai envie de voir, mais c'est ce qui me semble le plus réaliste (si mon estimation de l'impact des divers guides de triches et autres événements est correcte).
Les examens l'an dernier fonctionnaient déjà comme tu le dis (calculatrice collège ou graphique mode examen), il suffirait je pense d'un gros scandale pour que la régulation décide de ne laisser que les collèges sur une épreuve, puis deux, et ensuite le mode examen sur les calculatrices graphiques disparaîtrait doucement (puisque ce serait dans l'intérêt de la régulation).
J'ai aussi considéré découper les épreuves en deux pour l'usage des calculatrices, je pensais que le timing serait trop casse-pieds pour que le pas soit franchi mais peut-être que ça se fait en réalité. Clairement c'est plus simple que de regarder 200 LEDs clignoter ^^"
Citer : Posté le 24/06/2021 08:56 | #
[…]
Je pense que les calculatrices collège vont apparaître comme une alternative solide au mode examen, voire être privilégiées quand le format des épreuves le permet (c'est-à-dire : seules les calculatrices collège autorisées durant certaines épreuves).
[…]
C'est déjà le cas dans les écoles de l'enseignement supérieurs ou les calculatrices graphiques n'ont pas souvent une grande place.
[…]
Les examens l'an dernier fonctionnaient déjà comme tu le dis (calculatrice collège ou graphique mode examen)
[…]
Je confirme, ayant passé mon BAC en septembre on avait le droit uniquement aux calculatrices sans mémoire(«collège») ou les graphique en mode examen. Du coup ma calto est resté en mode examen durant une semaine.
Citer : Posté le 26/06/2021 21:23 | #
Critor précise :
Pour information. On me dit que Maurits n'aurait rien inventé, il se serait juste servi d'un tuto francophone qui circulait déjà de façon semi-privée (donc vers février-mars 2020).
Après, il a quand même donc adapté la chose en anglais, l'a détaillée, expliquée, illustrée d'une vidéo, et envoyée à l'Institution, ce n'est pas rien, et c'est bien là-dessus que l'article insiste. Ce n'est pas l'invention qui a déclenché la catastrophe, mais bel et bien ce comportement.
Dans tous les cas, comme il n'a ni lié ni même cité sa source dans ses publications, et ben je ne l'ai pas, et ne peux donc rien corriger ou préciser, dans l'éventualité où cette information soit exacte.
Comme il le souligne bien ça ne change pas le problème, mais il me semble juste de le préciser parce que ça montre que c'est bien l'exposition et la mise en avant des failles qui produit les grandes conséquences, plus que leur simple découverte.
On me rétorquera que le tutoriel circulant précédemment aurait aussi créé de la triche et donc des inégalités aux examens, et c'est vrai. Mais ça ne passe pas inaperçu (des communautés ou des constructeurs), et c'est déjà arrivé qu'un constructeur corrige un problème ou fasse mettre des vidéos hors ligne suite à un signalement de la communauté. Dans le cas de Numworks, le contournement ne pouvait pas être «corrigé», mais les ressources pouvaient quand même être supprimées, et un lycéen moyen ne sait pas compiler un OS avec des outils Linux sans un guide bien détaillé.
C'est frustrant et imparfait comme approche parce que la triche existe toujours. Mais rien ne serait parfait de toute façon (il y a trop de contournements), et rester discret a l'avantage de ne pas causer de gros chamboulements. C'est la législation qui a fait de la triche aux examens son combat, il vaut mieux à mon sens laisser la législation (lente par nature) constater les défauts du mode examen et soit s'en contenter soit s'en éloigner (au profit par exemple des calculatrices collège) que de pousser les constructeurs à réagir promptement. La pression que la législation exerce sur les constructeurs pour fermer les modèles et les communautés (pour honorer le mode examen) est bien plus faible que celle d'un scandale.
Citer : Posté le 28/06/2021 20:48 | #
Je ne suis pas d'accord avec tes conclusions, peut-etre parce que nous ne travaillons pas avec la meme majeure.
Se limiter a la calculatrice college, c'est trop limite en maths : en gros, on peut faire un peu d'arithmetique de maniere inconfortable (pas d'entier multi-precision) et c'est tout. Pas d'analyse (integrale approchee, resolution d'equation, suite, series), pas de representation graphique (fonction, courbe en parametrique), pas d'algebre lineaire. Et je ne parle pas de calcul formel ici, mais bien de ce qu'on trouve sur une calculatrice graphique numerique.
Ne rien faire pour faire evoluer la legislation, c'est enteriner les inegalites du mode examen. Or quel est l'objectif principal du mode examen? C'est me semble-t-il de pouvoir donner des sujets avec des enonces type sans risquer qu'un eleve ait un document donnant la solution type sur sa calculatrice. Ce qui n'a guere d'interet en maths (et me semble-t-il aussi en physique), sauf pour verifier qu'un eleve a appris ce qu'il vaut vraiment mieux savoir par coeur et ca ca peut s'evaluer sans calculatrices. Avec la possible disparition des E3C, il n'y aurait plus de sujet tire dans une banque, donc plus aucune raison d'imposer le mode examen en France, au moins en maths en tout cas.
Citer : Posté le 28/06/2021 21:52 | #
Merci d'apporter ces arguments supplémentaires. Je suis bien d'accord ; si ce n'était pas clair, je pense/parie que la calculatrice collège sera utilisée pendant les épreuves sans empêcher de travailler toute l'année avec une calculatrice graphique. Il est normal d'avoir tous les outils disponibles quand on se forme, et vu l'usage et la disponibilité des ordinateurs aujourd'hui en mathématiques, mon opinion personnelle est que c'est même indispensable.
Pour être un peu plus direct : on fait des DS de MP* sans calculatrice, on pourrait bien faire des épreuves de Bac sans calculatrice ou avec calculatrice collège. Les sujets où les valeurs numériques sont prévues pour donner des résultats calculables de tête et où les valeurs approchées sont données pour ln(2), √π, etc. on sait bien les faire. En supposant que tu isoles l'exercice Python du reste pour laisser la possibilité de tester le code, on est quand même sur des difficultés d'organisation bien inférieures à celles du mode examen.
C'est vrai, et on ne cessera pas de les rappeler encore et encore (il y en a un rappel rien que dans cet article). Mais Planète Casio n'est pas dans une position d'où on peut voir ni modifier les influences sur la régulation. Il n'y a pas besoin d'être un grand pragmatique pour conclure que si de multiples scandales de sécurité n'inversent pas la tendance, quelques articles d'opinion sur les forums n'y changeront rien.
C'est pour ça que je me ramène toujours à l'idée que les régulateurs eux-mêmes devront constater les défauts. Et c'est aussi pour ça, dans l'article concernant la suppression du support assembleur sur TI, que je déplorais l'absence de mise en œuvre pratique du mode examen à grande échelle, parce que ça cache aux régulateurs certains des multiples défauts du système qui (à mon humble avis) les pousseraient mieux que nos articles à changer de trajectoire.
Je note quand même qu'avec des outils vraiment puissants comme KhiCAS on peut programmer la résolution pas-à-pas de beaucoup d'exercices-type. Il y a pas mal de modèles qui reviennent souvent ; pour en caricaturer un au hasard, on donne une suite récurrente, (1) évaluer quelques termes, (2) prouver une propriété à la con dessus (genre croissante ou positive), (3) programmer une fonction déterminant le plus petit range tel qu'une certaine propriété est remplie, (4) en déduire quelque chose en rapport avec la situation de la vie réelle qui a introduit le sujet. On peut faire mieux que du par cœur avec un format comme ça, et ça pose un risque tangible de "contournement" de l'épreuve.
Citer : Posté le 29/06/2021 06:08 | #
Si les calculatrices college sont les seules autorisees en examen, d'une part beaucoup d'eleves n'acheteront pas de calculatrice graphique donc disparition a terme du marche, et les autres seraient defavorises car ils auront pris des habitudes qu'ils ne pourront pas utiliser en examen.
Tu cites l'exemple des DS de prepas, bien sur qu'on peut faire des epreuves de maths sans calculatrices mais cela limite enormement le champ des sujets possibles, surtout avec un public qui est moins a l'aise sur les calculs techniques qu'un bon eleve de prepa. Et on n'evalue pas les memes competences, il n'y a pas d'aspect un peu conjectural ou on recherche avec tous les outils a disposition, ou plus synthetique (on evalue l'utilisation du resultat d'un calcul plutot que la capacite a faire le calcul lui-meme), et enfin et peut-etre surtout la capacite de verifier un resultat.
C'est precisement pour cela que je me suis lance dans le developpement de Xcas et son portage sur calculatrices, eviter les sujets type ou on juge principalement la capacite d'un etudiant a recracher un algorithme d'un exercice type de TD (exemple en L1 resolution d'un systeme lineaire 3x3 ou calcul d'un inverse de matrice). L'autorisation des calculatrices sans mode examen, cela impose des sujets plus intelligents.
Je trouve dommage que tu ne sois pas d'accord la-dessus (ca m'etonne moins de la part des collegues qui n'ont pas grandi avec des outils de calcul et ne sont pas a l'aise avec).
Citer : Posté le 29/06/2021 09:01 | #
Tous ces points sont justes. Si on parle en termes d'idéal, oui je préférerais que les choses soient comme tu les décris. Il y a clairement un aspect indépendant sur l'utilisation des «outils informatiques» (en général) qui n'est déjà pas mis en avant dans les programmes actuels et qui ne serait pas plus mis en avant dans la direction que je présente. Et ce serait bien mieux de pouvoir adapter les mentalités, les sujets et les outils à cette nouvelle façon de faire.
C'est juste que dans ce type d'article je préfère présenter «ce qui s'est passé» accompagné de «pourquoi ça c'est passé» puis de «ce qu'on peut raisonnablement attendre ensuite». Je ne souhaite pas que les calculatrices collège empiètent sur les calculatrices graphiques durant les épreuves, mais compte tenu de mes informations/connaissances c'est le déroulement le plus raisonnable que je vois.
L'écart entre ce que j'aimerais voir changer et ce que je m'attends à voir changer vient principalement de la distance entre Planète Casio et les décisions ; comme on n'a ni vision interne ni influence sur la régulation, je ressens moins le besoin d'écrire des articles pour convaincre les régulateurs que d'écrire des articles pour informer les utilisateurs.
Cela étant dit, les deux ne sont pas incompatibles, peut-être que la prochaine fois (... qui arrivera sûrement) je prendrai soin de mentionner clairement les deux aspects pour ne pas compromettre sur la vision.
Citer : Posté le 29/06/2021 20:38 | #
L'avenir est par definition difficile a predire. Il faut mettre toutes les chances du cote de ce que l'on souhaite voir se produire, si on affiche publiquement une position pessimiste, les eventuels decideurs qui testeraient la temperature vont d'autant plus y aller franco.
Il me semble aussi que tu cotoies plutot des gens en informatique, qui sont tres frileux en matiere de calculatrices aux examens (y compris avec du Python...), nettement plus qu'en maths, ce qui peut deformer ce que tu entends, j'ai le sentiment qu'en physique ou meca les gens sont beaucoup plus ouverts sur les calcs par exemple. Je serais tres etonne qu'en maths au lycee on passe a la calculatrice college, ce serait plutot l'interdiction complete mais ca me parait improbable, car ce serait sans doute un carnage, or j'ai l'impression que la specialite maths n'a pas vraiment besoin de handicaps en ce moment.
Citer : Posté le 29/06/2021 20:53 | #
Je serais surpris que les décideurs lisent Planète Casio, mais je vois où tu vas, je ferai attention à ne pas rater cet aspect-là.
Les informaticiens autour de moi ne sont pas très intéressés par ce sujet, mais ceux qui le sont sont (nouvellement !) agrégés et ils sont largement du même côté que toi
Citer : Posté le 30/06/2021 09:50 | #
J'ai ajouté un lien vers le blog post de M4x1m3 dans l'en-tête de l'article. Le post explique la nouvelle structure de l'OS et le fonctionnement du blocage.
Citer : Posté le 04/07/2021 14:30 | #
2020: Texas Instruments
2021: NumWorks
2022: ???
2023: ???????
Citer : Posté le 04/07/2021 14:41 | #
Ne nous maudits pas veux-tu.
Plus sérieusement j'ai assez confiance côté CASIO. On a vu passer par mal de petits contournements et jusque-là pas de problème. La dernière fois qu'ils ont réduit nos options en termes de développement communautaire c'est quand la Prizm est sortie sans SDK, et les raisons sont assez claires.
Zebulon_ Invité
Citer : Posté le 21/10/2021 09:55 | #
Bonjour à vous. Merci pour cet article et du coup celui sur TI-Planet que j'ai lu aussi. En effet je ne suis plus étudiant depuis longtemps mais toujours passionné de maths et de calculatrices, j'ai acheté deux Numworks. La N0100 sous le firmware officiel et la N0110 que j'ai passé sous Omega. J'ai reçu hier le mail officiel de Numworks pour installer la version 16 et cette histoire de sécurité m'a intrigué. Il y a plusieurs soucis dans cette affaire. L'inégalité des élèves entre eux date d'il y a très longtemps et avec des micros ordinateurs en poche c'est évident que les plus aisés sont avantagés. Mais le mode examen n'était sans doute pas la bonne réponse. Je suis aussi plus en faveur de passer des épreuves pour tout ou partie sans calculatrice comme cela se faisait déjà dans les concours des grandes écoles il y a plus de 20 ans (j'ai dit que je n'étais plus étudiant
Citer : Posté le 22/10/2021 09:13 | #
Merci pour cette analyse. Je dirais quand même que « l'inégalité de richesse » pouvait être compensée partiellement avec des outils tiers avant le mode examen ; par exemple KhiCAS permet à une Graph 35+E II ou une Graph 90+E de bénéficier gratuitement du calcul formel.
Du reste, je suis bien d'accord, le mode examen ne me semble pas avoir permis d'attendre ses objectifs initiaux, malgré tous les changements...
Quant à savoir si Numworks s'en sortiront, c'est difficile à juger pour moi (je ne suis pas assez au courant) mais j'ai l'impression qu'ils arriveront toujours à trouver un public suffisant qui accepte le plus petit dénominateur commun ici ou à l'étranger.
Les concours des grandes écoles sont toujours sans calculatrices d'ailleurs. :P