Débriefing du week-end de test #1
Posté le 09/09/2019 15:02
Le premier week-end de test vient de se terminer. Pour conclure cette expérience et préparer le prochain, voici quelques statistiques et réflexions.
D'abord merci beaucoup aux 10 personnes (d'après mes comptes) qui ont pris de leur temps ce week-end pour tester les 10 projets concernés. J'ai collecté des statistiques au cours du week-end en notant tous les tests dont j'ai eu connaissance. Je n'ai probablement pas tout vu donc n'hésitez pas à apporter des corrections et signaler mes oublis dans les commentaires, je mettrai à jour l'article rapidement.
Voici le détail des tests qui ont été faits, par participant et par projet !
J'ai noté d'une croix les tests réalisés et d'un point d'exclamation les tests qui ont échoué en raison de problèmes de mémoire ou de code, donc certains ont d'ailleurs été corrigés avant la fin du week-end.
Tous les projets ont été testés au moins une fois, mais la répartition est quand même très inégale, avec plusieurs projets qui n'ont qu'un test "standard" tandis que Catch Me a attiré de nombreux amateurs. Essayons de comprendre ça ensemble :
Comment avez-vous choisi les projets à tester ?
Au total durant ce week-end,
29 tests de programmes ont été écrits (les 13 autres ayant échoué ou étant implicites puisque les testeurs sont aussi les auteurs). C'est un résultat encourageant pour notre communauté qui en a souvent manqué !
J'ai été trop ambitieux quand j'ai proposé un prix à la personne qui testerait tous les jeux ; puisque personne n'a accompli ce défi la licence émulateur ClassPad 400 ira à la personne qui en a testé le plus, à savoir
Filoji. Bravo !
Pour tenter d'élaborer sur la formule et
proposer un autre week-end peut-être fin Octobre, je voudrais avoir quelques retours sur votre ressenti de l'événement. Ces deux questions m'intéressent principalement :
Combien avez-vous passé de temps à tester (par projet, au total) ?
Avez-vous rédigé vos commentaires pendant ou après avoir testé ?
N'hésitez pas à laisser des réponses courtes en commentaire, ou à détailler votre expérience d'une autre façon. Il s'agissait de la première édition et donc d'une expérience, toutes les remarques sur la durée, le nombre de programmes, les règles du jeu sont donc bienvenues.
Merci encore à tous les participants ! On reviendra sur cet événement durant la
prochaine réunion de Planète Casio que je vais bientôt annoncer et qui devrait avoir lieu à la fin du mois de Septembre.
À bientôt sur Planète Casio !
Fichier joint
Citer : Posté le 09/09/2019 16:17 | #
"Big Lephe is watching you"
Je n'ai pas participé à l’événement, mais j'ai testé (avant) les jeux Picross de Massena et Catch Me de Ninestar, je trouve donc pertinent de répondre à tes questions commissaire Lephe.
J'ai choisi de le tester car je voulais jouer à tous les jeux du concours de Kikoodx.
Je n'ai pas fait de test "complet" car je trouvais que les critères n'étaient pas adapté à un jeu avec une telle contrainte (1k octets).
Je voulais juste poster un test en une phrase mais le site à planté à ce moment là, donc bon, tant pis.
Une fois que le jeu a été corrigé, je l'ai fini en 5 minutes, mais en comptant avant j'ai du y passer 20 minutes au total.
Je trouvais ce programme attirant grâce à ses images de présentation.
Je n'ai pas là non plus posté de test car je voulais pousser l'auteur à améliorer le jeu avant, donc j'ai posté un énorme commentaire pour donner mes impressions.
J'ai rédigé ce commentaire en jouant, pour noter les moindres détails, j'ai du tester le jeu pendant 20 minutes je dirais.
Attendu depuis longtemps j'étais curieux d'y faire un tour, j'ai donné quelques ressenti, j'ai rapidement regardé 5 minutes et voilà.
- Aero Ci : les jeux en tout textuel (≠ locate) ne m'attire pas trop
- Pokémon Obsidienne et Super Mario Galaxy Run sont dans mon collimateur, mais ils nécessitent le C.Basic, et j'ai pas trop regardé comment installer tout ça je verrais plus tard (pas la peine de m'expliquer ici je sais où trouver l'info).
- Sword Burst Zero et The Cursed Maze : Il me semble que le jeu est encore pas mal en dev, et j'attendais une version "stable" au moment où j'ai vu le jeu sortir, puis du temps a passé et j'ai du oublier de regarder l'avancement...
- Solitaire : Pas vu passer
- Casio Basic Web Interpreter : Ne m'a jamais trop intéressé dans le sens où je ne code plus en basic...
D'un avis général, je n'aime pas poster des tests "complets" car je trouve les critères trop restrictifs, et ils peuvent démonter un jeu à lui tout seul selon comment on les interprètes (sur quoi se baser pour noter le gameplay par exemple).
Aussi je ne note les jeux que si je vois que l'auteur a fait des efforts dessus (pas là peine de noter des + ou - quoi), et qu'il sera réceptif aux remarques, pour qu'il puisse les prendre en compte et s'améliorer.
Pour moi il faudrait revoir complètement la façon de noter des jeux, j'ai quelques idées, mais on en parlera ailleurs
Citer : Posté le 09/09/2019 16:31 | #
Merci pour tes retours ! Je n'ai pas voulu forcément surveiller tout le monde, mais je dois bien faire quelques stats pour justifier que ça a marché.
Je suis d'accord que le système de notes n'encourage pas du tout les tests actuellement, d'ailleurs il a été allègrement contourné, avec seulement 2 notes et 10 tests soit moins de la moitié des tests en tout.
On en reparlera notamment pour la v5. Modifier le système de tests de la v42 serait vraiment compliqué dans l'immédiat...
Citer : Posté le 09/09/2019 16:49 | #
L'événement était vraiment intéressant, dommage, pas de PC pour moi :/
Je pense que dix programme c'est peut-être un peu trop pour un seul weekend si l'on a des choses à côté, mais c'est le premier chiffre rond qui ne fait pas trop simple, donc je pense que c'est le juste milieu
Un truc intéressant serait de regrouper par catégorie les programmes sur la page de l'événement (poly/monochrome, add-ins/Basic/C.Basic) Pour que les gens voient directement ce qu'il faut, et peut-être induire un "tiens j'ai cette calculatrice, pourquoi pas tester" et gratter quelques test
Ps: Techniquement j'ai tester la v5 et j'ai même trouvé un bug
Citer : Posté le 09/09/2019 16:50 | #
J'vais éviter de faire un doublon de mon commentaire de ce matin sur la page du concours mais en vrai je pense ne pas avoir dépassé les 15mn par programme. J'avais trop peu de temps pour tester, j'ai fais ce que j'ai pu
Je pense que 1 seule week-end est assez court (surtout pour 9-10 programmes), éventuellement ajouter le vendredi...
Pour moi il faudrait revoir complètement la façon de noter des jeux, j'ai quelques idées mais on en parlera ailleurs
J'suis assez d'accord car il ne prend pas en compte certains facteurs (comme la contrainte du 1ko du catch me) et en plus si on mais une mauvaise note ça peut démotiver le créateur du programme et l'empêcher de mettre des mises à jour pout améliorer son programme.
Ce tableau périodique à jour : Tableau périodique
Ce truc qui sert à rien : Carton de loto generator
Citer : Posté le 09/09/2019 16:52 | #
Personnellement j'ai souvent mis entre 15 et 20 minutes pour tester les programmes... ça dépend de la longueur des parties et de la quantité de contenu à explorer, mais ça va quand même vite ! J'ai été un peu surpris dans certains cas, je pensais prendre plus longtemps.
Citer : Posté le 09/09/2019 18:03 | #
Personnellement je ne suis pas dans le tableau.
Je n'ai pas écrit de test, ni même un vrai commentaire de programme.
Cependant j'ai malgré tout essayé d'installer Pokemon et Solitaire, j'ai aussi essayé Picross.
Ayant durant ce WE posté quelques commits, fermé des issue et déniché un bug sur la v5 je l'ai testé, mais j'en suis partiellement auteur.
Le Solitaire comme certain l'ont remarqué à un bug de déplacement du curseur. De ce fait je ne l'ai pas testé plus que l'installation et le lancement... une minute ou deux maximum dessus.
Pokemon Obsidienne refuse de se laisser faire installer...(la copie du dossier d'image ne semble pas être apprécié par la calto) j'ai du passer une ou deux heure à essayer de différentes manières, j'ai décidé d'essayer ce soir en copiant fichier par fichiers.
Et pour le Picross... enfin bon j'y ai passé 30 min... mais je suis nul à ce jeu, je n'ai fini le premier niveau qu'avec de la chance(et pourtant il est sensé être simple...)
Citer : Posté le 09/09/2019 18:09 | #
Je remercie infiniment ceux qui ont testé mon jeu ( Mario Galaxy Run ) .
( Merci Redeyes , merci Lephé ! )
J'aurai bien aimé tester des jeux , mais malheureusement je suis très bridé par rapport à mon PC ( mes parents )
D'ailleurs ma mère me demande là si c'est possible d'éteindre mon téléphone alors que je l'ai allumé ya 5 minutes ...
.
J'espère que j'aurais un peu de temps pour le prochain week-end de test ...
Passé ici il y a peu. ಥ‿ಥ
Jouez à Mario sans arrêt sur votre Casio !
City Heroes
Piano Casio
Micro GIMP
Citer : Posté le 09/09/2019 18:46 | #
Bonsoir !
Heureux de cet événement mais pas mon entourage car je monopolisait l'ordinateur
La licence émulateur ClassPad 400 ira à la personne qui en a testé le plus, à savoir Filoji. Bravo !
Bah, merci alors
Je réfléchis donc au sort de ce logiciel...
Sinon, dommage que Aéro Cie n'ai qu'un test, c'est un très bon jeu !!! Je vous l'assure
The Cursed Maze : Il me semble que le jeu est encore pas mal en dev, et j'attendais une version "stable" au moment où j'ai vu le jeu sortir, puis du temps a passé et j'ai du oublier de regarder l'avancement...
C'est pas très sympas tout ça
Je suis désolé de ne pas avoir pu tout testé ou même ne pas avoir réussis à faire fonctionner SBZ, mais je trouve que personnellement, une semaine serai peut-être bien, avec des test annoncé tous les jours pendant les 5 premiers jours, En gros, les annoncer par deux une fois par jour mais qu'ils restent plus longtemps dans le temps, ainsi, les gros programmes (Aéro Cie)seront annoncés le lundi, et les plus court (Solitaire), le Vendredi, et nous avons donc de la date d'annonce jusqu'à la fin du Week-End pour tous tester !
Citer : Posté le 09/09/2019 18:50 | #
Bah, merci alors
Je réfléchis donc au sort de ce logiciel...
Il y a quelques programmes qui valent la peine d'être testés, ainsi que les fonctionnalités de la ClassPad 400 en elle-même, notamment le calcul formel ! Je ne sais pas à quel niveau d'études tu es mais c'est rudement pratique :3
Mais est-ce qu'on arrivera à se concentrer pendant une semaine entière ? L'idée de prendre un week-end c'est que c'est plus facile à libérer et l'effort est clairement moins intense que sur une semaine complète.
Citer : Posté le 09/09/2019 18:55 | #
Ce qui est bien en une semaine, c'est que, si les personnes ont du temps le soir, il en font un ou deux, et le week-end, "tout le monde" peut potentiellement le faire, donc faire ceux que l'on a pas fait
De plus, en première et veut faire Maths sup, cependant, peut-être plus compatible d'ici là
Citer : Posté le 09/09/2019 19:01 | #
D'accord, c'est noté ! Qu'en pensez-vous, les autres ?
Je t'ai envoyé le code pour obtenir l'émulateur par MP. Le calcul formel peut bien servir en première, pour factoriser/développer tout et n'importe quoi, résoudre des équations, trouver les racines de polynômes... ça peut résoudre n'importe quel exercice en quelques lignes. La licence est valable 3 ans donc t'auras au moins un pied dans la prépa quand ça finira
Citer : Posté le 09/09/2019 19:48 | #
J'ai voulu participer ... et puis entre la réponse au sondage et le week-end, il s'est avéré que j'ai eu pas mal d'activités qui sont venues se greffer sur ce week-end là. Donc, j'ai testé seulement 3 jeux. Le picross m'a pris + de temps que prévu car le niveau 2 est trop dur. Ensuite, Catch Me, c'est sûr il fallait que je retest .... car après le coup des murs invisibles... il fallait que je vois ce "nouveau" jeu. Pour finir, j'ai testé le Solitaire car je connais les règles bcp mieux que le Picross où j'étais novice et ça paraissait pas long. Du coup ça marchais pas le fichier sur le site était un peu coupé / foireux, mais ça a permis à @Corne2Plum3 de corriger (Ah et puis je dois dire que tu avais parler de "retourner la politesse" et comme j'ai reçu un bug report sur mon projet, ... je suis allé testé le Solitaire)
Les 3 premiers de la liste (Sword Burst Zero, Mario Galaxy Run et Pokémon Obsidienne ) m'ont paru plus long. Donc j'ai pensé que je n'avais pas le temps de me lancer dedans. J'avais downloadé The Cursed Maze aussi.
Citer : Posté le 09/09/2019 21:27 | #
Perso j'ai pas eu non plus des masses de temps, j'ai testé les jeux les plus simple à installer (un seul fichier à transférer). J'ai rédigé les commentaires au fur et à mesure que j'ai avancé, histoire de laisser un avis assez frais.
Un truc intéressant serait de regrouper par catégorie les programmes sur la page de l'événement (poly/monochrome, add-ins/Basic/C.Basic) Pour que les gens voient directement ce qu'il faut, et peut-être induire un "tiens j'ai cette calculatrice, pourquoi pas tester" et gratter quelques test
+1, c'est clairement utile pour sélectionner les programmes.
Personnellement je trouve que ça a été une réussite. Certains programmes ont été corrigés dans le WE, et pour ma part j'ai corrigé au moins 5 ou 6 trucs sur la v5. Merci aux contributeurs/trices d'ailleurs.
Le choix d'un WE me parait cohérent pour ce genre d'exercice, je rejoins les arguments de Lephe.
Idem, dix programmes me paraissent adaptés. Par contre selon moi le but n'est pas que tout le monde teste tout, mais que chaque programme reçoive quelques tests. On s'investit à la hauteur de ce qu'on peut fournir, et dans l'ensemble les 10 projets avancent tous.
Mine de rien c'est chouette qu'on ai pu tester chacun des projets de manière sérieuse.
Je vois l'évènement un peu comme un Contribatlier : chacun vient avec ce qu'il sait faire, veut faire, et à la fin du temps imparti tout le monde a un peu avancé sur ses projets.
Citer : Posté le 10/09/2019 07:49 | #
J'ai mis à jour les statistiques avec les tests oubliés, merci à vous. J'ai aussi trouvé plein de fautes dans l'article donc j'ai amélioré un peu tout ça
Citer : Posté le 10/09/2019 09:49 | #
De manière générale, je trouve que faire des événements d'une semaine conne plus de liberté.
Selon les activités de tout le monde, certains sont plutôt libre en semaine et d'autres le weekend, comme ça on concilie les 2.
Après de là à annoncer les tests au compte goutte je trouve ça dommage, autant tous les annoncer directement.
Citer : Posté le 10/09/2019 11:03 | #
D'accord, je note bien cette idée. On pourra expérimenter sur la durée la prochaine fois pour se faire une autre idée
Sur ce point-là je suis d'accord.
Citer : Posté le 10/09/2019 17:11 | #
Tout d'abord, merci Lephenixnoir d'avoir organisé cet événement! Je trouve que c'était un bon moyen pour attirer les personnes à tester les projets sur le site et aider les auteurs à avoir des retours.
Je suis vraiment désolé pour les problèmes qu'il y a eu pour tester SBZ, mais je n'arrive pas à faire mieux pour la mémoire qu'il prend...
Sinon, voici ce qu'il en a été pour les projets que j'ai testé:
J'ai choisi de tester ce jeu car j'était attiré par les captures d'écran postées sur le topic, et parce que le concept aussi me branchait. C'est vrai, je dois dire que je ne pensais pas que le jeu m'aurait plu au point où j'y ai passé à peu près une demi-heure à jouer.
Puis, le temps de rédiger mon test après avoir joué, ça m'a pris à peu près 40 minutes pour ce jeu.
Ici, c'est surtout l'engouement du topic, les plusieurs messages qu'il a reçu en si peu de temps qui ont piqué mon intérêt pour ce jeu. Puis, avec l'image principale du jeu, j'ai eu le sentiment d'avoir déjà eu à faire un jeu comme ça, donc j'ai voulu voir de plus près.
Je crois que j'ai dû passer à peu près un quart d'heure à tester ce que j'ai pu voir, puis j'ai rédigé mon test une fois que j'avais fini de jouer.
Pareil que les autres testeurs, ce sont les images tirées du jeu qui m'ont donné une première impression. Aussi, j'ai voulu découvrir ce qu'était le picross, puisque je n'en avais jamais fait avant.
Puis, je ne sais pas vraiment combien de temps j'ai passé à le tester, j'étais trop occupé à réfléchir aux grilles, mais je pense ne pas avoir dépassé les 20 minutes pour avoir fait les trois premières grilles. Puis j'ai rédigé mon test.
Comme je n'ai touché à aucun jeu de la 1 Ko Basic Casio Jam, c'était pour moi une occasion de tester un jeu développé de cet manière. Aussi, il a reçu tellement de commentaires que j'ai voulu savoir ce qu'il réservait.
Pour lui, je n'ai pas dépassé 10 minutes à y jouer avant d'écrire mon test.
Comme j'aime beaucoup ces jeux, il fallait que je le teste! Il m'a déjà donné une certaine envie d'y jouer avant, et avec toutes ces mises à jour du C.Basic, il pouvait très bien fonctionner, et je pouvais y jouer sans rencontrer de problèmes pendant le jeu.
J'ai passé à peu près 10 minutes à tester le jeu avant d'écrire mon test.
Même si le Week-End de test est fini, j'espère seulement que l'envie de tester de nouveaux projets ou même tester ceux qui sont toujours d'actualité ne va pas retomber, ce serait trop facile sinon!
Pour le retour de gentillesse, je le ferai lorsque j'aurai du temps!
Citer : Posté le 10/09/2019 18:32 | #
C'est une super idée, mais AéroCie, n'as pas été testé à proprement parlé, j'ai juste un un commentaire de feedback…
Citer : Posté le 10/09/2019 18:55 | #
En soit le deal c'était que quand on recevait un test de quelqu'un, on aille tester en retour un des ces programmes, etc... Une sorte "follow back".
Citer : Posté le 10/09/2019 21:06 | #
À cause d'une erreur de planning, je n'ai pourras pu tester les jeux. Je vais le faire hors-weekend de test, tant pis x)