gint : un noyau pour développer des add-ins
Posté le 20/02/2015 17:30
Ce topic fait partie de la série de topics du fxSDK.
En plus des options de programmation intégrée comme le Basic Casio ou Python, la plupart des calculatrices Casio supportent des
add-ins, des programmes natifs très polyvalents avec d'excellentes performances. Les add-ins sont généralement programmés en C/C++ avec l'aide d'un ensemble d'outils appelé SDK.
Plusieurs SDK ont été utilisés par la communauté avec le temps. D'abord le
fx-9860G SDK de Casio avec fxlib pour Graph monochromes (plus maintenu depuis longtemps). Puis le
PrizmSDK avec libfxcg pour Prizm et Graph 90+E (encore un peu actif sur Cemetech). Et plus récemment celui que je maintiens, le
fxSDK, dont gint est le composant principal.
gint est un unikernel, ce qui veut dire qu'il embarque essentiellement un OS indépendant dans les add-ins au lieu d'utiliser les fonctions de l'OS de Casio. Ça lui permet beaucoup de finesse sur le contrôle du matériel, notamment la mémoire, le clavier, l'écran et les horloges ; mais aussi de meilleures performances sur le dessin, les drivers et la gestion des interruptions, plus des choses entièrement nouvelles comme le moteur de gris sur Graph monochromes.
Les sources de gint sont sur la forge de Planète Casio :
dépôt Gitea Lephenixnoir/gint
Aperçu des fonctionnalités
Les fonctionnalités phares de gint (avec le fxSDK) incluent :
- Toutes vos images et polices converties automatiquement depuis le PNG, sans code à copier (via fxconv)
- Un contrôle détaillé du clavier, avec un GetKey() personnalisable et un système d'événements à la SDL
- Une bibliothèque standard C plus fournie que celle de Casio (voir fxlibc), et la majorité de la bibliothèque C++
- Plein de raccourcis pratiques, comme pour afficher la valeur d'une variable : dprint(1,1,"x=%d",x)
- Des fonctions de dessin, d'images et de texte optimisées à la main et super rapides, surtout sur Graph 90+E
- Des timers très précis (60 ns / 30 µs selon les cas, au lieu des 25 ms de l'OS), indispensables pour les jeux
- Captures d'écran et capture vidéo des add-ins par USB, en temps réel (via fxlink)
Avec quelques mentions spéciales sur les Graph monochromes :
Un moteur de gris pour faire des jeux en 4 couleurs !
La compatibilité SH3, SH4 et Graph 35+E II, avec un seul fichier g1a
Une API Unix/POSIX et standard C pour accéder au système de fichiers (Graph 35+E II seulement)
Et quelques mentions spéciales sur les Graph 90+E :
Une nouvelle police de texte, plus lisible et économe en espace
Le dessin en plein écran, sans les bordures blanches et la barre de statut !
Un driver écran capable de triple-buffering
Une API Unix/POSIX et standard C pour accéder au système de fichiers
Galerie d'add-ins et de photos
Voici quelques photos et add-ins réalisés avec gint au cours des années !
Arena (2016) — Plague (2021)
Rogue Life (2021)
Momento (2021)
Communication avec le PC (cliquez pour agrandir)
Utiliser gint pour développer des add-ins
Les instructions pour installer et utiliser gint sont données dans les divers tutoriels recensés dans le
topic du fxSDK. Il y a différentes méthodes de la plus automatique (GiteaPC) à la plus manuelle (compilation/installation de chaque dépôt). Le fxSDK est compatible avec Linux, Mac OS, et marche aussi sous Windows avec l'aide de WSL, donc normalement tout le monde est couvert
Notez en particulier qu'il y a des
tutoriels de développement qui couvrent les bases ; tout le reste est expliqué dans les en-têtes (fichiers
.h) de la bibliothèque que vous pouvez
consulter en ligne, ou dans les ajouts aux changelogs ci-dessous.
Changelog et informations techniques
Pour tester les fonctionnalités et la compatibilité de gint, j'utilise un add-in de test appelé gintctl (
dépôt Gitea Lephenixnoir/gintctl). Il contient aussi une poignée d'utilitaires d'ordre général.
Ci-dessous se trouve la liste des posts indiquant les nouvelles versions de gint, et des liens vers des instructions/tutoriels supplémentaires qui accompagnent ces versions.
Anecdotes et bugs pétés
Ô amateurs de bas niveau, j'espère que vous ne tomberez pas dans les mêmes pièges que moi.
TODO list pour les prochaines versions (2023-04-03)
gint 2.11
- Changements de contextes CPU. À reprendre du prototype de threading de Yatis pour permettre l'implémentation d'un véritable ordonnanceur. Demandé par si pour faire du threading Java.
- Applications USB. Ajouter le support de descripteurs de fichiers USB. Potentiellement pousser jusqu'à avoir GDB pour debugger.
- Support de scanf() dans la fxlibc. Codé par SlyVTT, plus qu'à nettoyer et fusionner.
Non classé
- Regarder du côté serial (plus facile que l'USB) pour la communication inter-calculatrices (multijoueur) et ultimement l'audio (libsnd de TSWilliamson).
- Un système pour recompiler des add-ins mono sur la Graph 90+E avec une adaptation automatique.
- Support des fichiers en RAM pour pouvoir utiliser l'API haut-niveau sur tous les modèles et éviter la lenteur de BFile à l'écriture quand on a assez de RAM.
Citer : Posté le 03/07/2022 12:59 | #
Ah ok c'est juste moi qui imagine des trucs
Merci pour tout !
- Java
- Basic Casio
- C
- OCaml
J'ai une Casio Graph 90+E.
La pratique, c'est quand tout fonctionne et que personne ne sait pourquoi.
Ici, nous avons réuni théorie et pratique :
Rien ne fonctionne... et personne ne sait pourquoi ! »
- Albert Einstein
Remerciemembres
Citer : Posté le 03/07/2022 13:00 | #
Ce qui t'a peut-être échappé un instant c'est que quand je déclare une structure comme struct image_linear_map map, cette structure est stockée quelque part en mémoire, et donc je peux toujours avoir son adresse (c'est-à-dire un pointeur qui pointe dessus). La distinction structure/pointeur n'influence donc pas quels objets tu peux passer à la fonction mais comment tu les passes.
Citer : Posté le 03/07/2022 13:05 | #
Ok j'ai compris !
- Java
- Basic Casio
- C
- OCaml
J'ai une Casio Graph 90+E.
La pratique, c'est quand tout fonctionne et que personne ne sait pourquoi.
Ici, nous avons réuni théorie et pratique :
Rien ne fonctionne... et personne ne sait pourquoi ! »
- Albert Einstein
Remerciemembres
Citer : Posté le 20/08/2022 12:29 | # |
Fichier joint
Yo,
un petit pense bête sur un bug faisant planter l'émulateur fx-CG Manager PLUS mais pas la Graph 90+E.
Lors de l'utilisation de dimage, le format P8 avec transparence p8_rgb565a fait crash lors d'un call de dimage().
Les essais suivant ont été réalisés :
- conversion en format p4 avec transparence (p4_rgb565a) : pas de problème, aucun crash
- conversion en format rgb565 avec transparence (grb565a) : pas de problème, aucun crash
- conversion de l'image source pour retirer la transparence et utilisation de p8 ou explicitement p8_rgb565 : pas de problème, aucun crash
Donc a priori problème limité exclusivement au format p8_rgb565a ET sur émulateur. Sur la machine physique tout fonctionne bien.
Voici l'écran de crash
et en PJ le zip du projet avec le build complet.
En analysant le fichier map généré à la compile et en regardant l'adresse du PC sur l'écran de crash, l'adresse pointe vers gint_image_p8_clearbg.
Yo, bon debugging.
PS : ça me fait penser qu'Afterburner plantait aussi sur l'émulateur, peut être lié à ce même souci qui sait
Citer : Posté le 21/08/2022 22:20 | #
Release associée du fxSDK : fxSDK 2.9.0
Release associée de la fxlibc : fxlibc 1.4.4
Cette version ne contient rien de très notable, elle est surtout là pour rester synchronisé avec le fxSDK qui lui a reçu une assez grosse update avec le support du C++. Voyez le changelog fxSDK pour les instructions de mise à jour, qui sont un peu spéciales cette fois.
Citer : Posté le 07/09/2022 22:02 | #
Patch to decrease the current usage of getkey() and getkey_opt() from approx 30mA to 10mA on the mono: https://pastebin.com/qtui0mw5. Note that the getkey_opt() change isn't absolutely necessary, but it should decrease power usage by a further tiny amount.
If you'd like me to create a pull request instead I'd be happy to do so, but it looks like I'd need an account for that.
“They call me the king of the spreadsheets, got 'em all printed out on my bedsheets.” — “Weird Al” Yankovic
Citer : Posté le 07/09/2022 23:28 | #
Ah, unfortunately, this isn't quite correct. By sleeping inside keydev_read() you are throttling any code that reads events by batches. See how keydev_read() only unqueues/generates a single event? The general idea is you want to sleep when an event is requested but the queue is empty. Here you do it every time an event is unqueued, which adds about 7 ms of delay to every read.
I pushed a slightly different approach. Let me know if it properly reduces power consumption.
Edit: In addition, the API has the (unwritten) contract that if you call with *timeout already non-zero the function shall not sleep.
Citer : Posté le 08/09/2022 00:44 | #
I suppose whether it's "correct" or not is a matter of which goal is sought.
“They call me the king of the spreadsheets, got 'em all printed out on my bedsheets.” — “Weird Al” Yankovic
InfiniteLoop Invité
Citer : Posté le 19/09/2022 14:27 | #
Bonjour,
En suivant le tutoriel d'installation de GiteaPC et le fxSDK sur mon install Endeavour OS, je me retrouve sur un message d'erreur en essaient d'installer gint. Le message est plutot long mais les partie les plus interessante sont:
/home/user/.local/share/fxsdk/sysroot/lib/gcc/sh3eb-elf/11.1.0/../../../../sh3eb-elf/bin/ld: unrecognized option '--no-warn-rwx-segments'
Le log en full ici : https://pastebin.com/H0Ci6x7H
J'ai essaier de reinstaller sh-elf-gcc sans success
Citer : Posté le 19/09/2022 16:11 | #
Intéressant. L'option --no-warn-rwx-segments désactive un warning qui existe depuis, je crois, binutils 2.36 (toute récente). Quelle version de binutils est-ce que tu as ?
Citer : Posté le 19/09/2022 18:50 | #
Après investigation la version 2.39 étais installé sur GiteaPC mais en cherchant le package sh-elf-binutils-casio de l'AUR étais installé qui est toujours sur la version 2.37. Après l'avoir désinstallé plus de problem de compilation
Citer : Posté le 19/09/2022 19:03 | #
Aha, un problème de PATH donc. Bien joué. Enjoy le SDK! o/
Citer : Posté le 23/09/2022 16:49 | #
In kernel/hardware.c there is CG50 code referring to a product ID:uint8_t *productID = (void *)0x8001ffd0; Do you happen to know if this exists for the old SH3 9860G's? Is it at the same location? I'm looking for some way to automatically distinguish a Slim from a regular 9860G at runtime, and if there's a product ID that seems promising. Suspecting not, as otherwise you probably wouldn't be trying to detect 35+E II's based on OS version, but thought I'd ask anyway 
Apologies, I just found the comment near the top stating that is SH4-only.
“They call me the king of the spreadsheets, got 'em all printed out on my bedsheets.” — “Weird Al” Yankovic
Citer : Posté le 23/09/2022 17:13 | #
The "product" ID is for the CPU anyway. You should look around in SimLo's stuff. See PTE3 here: https://bible.planet-casio.com/simlo/chm/v20/fx_legacy_schematics.htm
Citer : Posté le 23/09/2022 21:13 | #
Thanks! I've been poking around there all morning and there is SO much info; it's great! I found this handy piece of code to determine the calculator type. It also explains how to find the Slim backlight, so now I can fix it! https://bible.planet-casio.com/simlo/chm/v20/fxDisplayBackLight.htm
“They call me the king of the spreadsheets, got 'em all printed out on my bedsheets.” — “Weird Al” Yankovic
Citer : Posté le 23/09/2022 21:47 | #
That test for *0xA4000128 & 0x08 is precisely checking PTE3, so it lines up!
Edit: We should add that to <gint/hardware.h>.
Citer : Posté le 23/09/2022 21:49 | #
We should add that to <gint/hardware.h>.
Exactly!
“They call me the king of the spreadsheets, got 'em all printed out on my bedsheets.” — “Weird Al” Yankovic
Citer : Posté le 13/10/2022 04:08 | #
I keep running out of static RAM when compiling (great job including that check, by the way!). So, I'm trying to find more RAM. This will be used for arrays/buffers and other data structures. I looked around and found this comment in f9860g.ld suggesting I only have 6k for static data, so now it makes sense that I'm running out:
on SH4. This script exposes only 6k to the user, reserving:
* 0x200 bytes for text accessed without the TLB when SR.BL=1, linked
into the rram region below, then loaded dynamically
* 0x600 bytes for the VBR space, also without MMU
On SH3, the VBR space consumes these 0x600 bytes. On SH4, it spans
0x1100 bytes near the end of the user RAM, which is larger; the 6k
left for the user are honored in both cases. Unused memory from the
exposed 6k and non-exposed memory is available through malloc(). */
ram (rw): o = 0x08100200, l = 6k
I have a few fx-9860G memory-related questions. If these are already answered somewhere, I apologize (links are welcome):
1) My first thought was to use the heap, but if I'm understanding the above correctly the heap uses the same area, so using malloc() won't help with my RAM shortage, correct?
2) Let's say I malloc() then, without free()ing, go to the MENU and run a different add-in. Will that leak memory? Based on the above, I'm assuming not, but thought I'd ask.
3) Are there any other memory areas I can use that are compatible across the mono series? How large are they? Does using them have any downsides?
4) Casio Basic programs are stored in RAM (with a flash backup), correct? What if I created a Basic program and filled it with, say, 4k of garbage. If I could somehow determine where it is stored in RAM could I then safely use that from gint to gain 4k of RAM? If this works, is there possibly a better type of file to use than a Basic program?
5) How big is the stack (and how much do I generally have to work with)?
6) Is there anything else I should know?
“They call me the king of the spreadsheets, got 'em all printed out on my bedsheets.” — “Weird Al” Yankovic
Citer : Posté le 13/10/2022 10:46 | #
No, the heap is a separate 48-kiB region. But whatever static RAM is unused is also exposed through an extra, additional malloc() arena. This is because the region is 8 kiB on SH3, but 32 kiB (minus the stack) on SH4, and forcing everyone to stay at 8 kiB is an annoying limitation on SH4. By exposing the rest via malloc(), this memory can still be used on SH4.
No. The OS heap is dedicated to the add-in and resets when you start an add-in, so you only "leak" in the sense that you lock yourself out of using that piece of memory while you're running the add-in. The extra arena used by gint is also in a region that is reset at every add-in start.
Even on the fx-CG where two apps can run at the same time, the heaps are separate so I believe it's still cleared in the same way.
- Of SH3/SH4 compatible memory, you just have the malloc() heap that you overlooked, which is 48 kiB (90 kiB on the G-III); that's about it.
- On SH4 you have ILRAM (4 kiB), XRAM and YRAM (8 kiB each), the three of which are on-chip memory. They're very fast, but I think they reset when you power off.
- On SH4 also, you also have the SPU2 memory, which totals 434 kB out of which about 160 kB are friendly (by which I mean slightly slower than RAM and you can only make 4-byte accesses). This friendly region (PRAM0) is notably used by Terrario to store some world data. The rest of these 434 kB is literally full of holes, but useful on occasion.
- On SH4 machines pre-GIII, the second half of the RAM chip is unused, leaving 256 kB free. This can sometimes be abused to great extent, while falling back on PRAM0 for G-III machines (Terrario again is the canonical example).
That's the main memory. In theory you could, but that's already a lot more annoying than the other options, so I wouldn't recommend it. There's a whole filesystem and stuff, and while I believe it's not fragmented you have few guarantees.
On SH3 it's a fixed 16 kiB region. On SH4 it's shared with the static RAM (32 kiB for static RAM + stack), and gint leaves 12 kiB. You can't use too much of it before world switching because BFile on the G-III uses a ton of it (like easily 8 kiB). I had to expand it to avoid stack overflows in gintctl.
In general, if something is compatible with all models then it's part of the default programming model (eg. normal linker script + malloc()). Every extension has downsides... but if you need a lot of juice then it is worth looking at these low-level details because they do unlock a lot of the machines' capabilities.
Also, SH3 compatibility is overrated these days. It was an important deal when I started working on gint in 2014, but now it's been years since a new member has had an SH3 calculator. I think the only community member that has been developing on one in the last 1-2 years is Ninestars. Don't expect a crippling userbase reduction if you sacrifice SH3 compatibility.
Citer : Posté le 13/10/2022 19:14 | #
Wow, that was extremely helpful. Thank you very much!
But whatever static RAM is unused is also exposed through an extra, additional malloc() arena.
How can I choose which arena to use? Is the 48k arena the default?
Also, SH3 compatibility is overrated these days. It was an important deal when I started working on gint in 2014, but now it's been years since a new member has had an SH3 calculator. I think the only community member that has been developing on one in the last 1-2 years is Ninestars. Don't expect a crippling userbase reduction if you sacrifice SH3 compatibility.
Understood. I realize I'm crazy for purposely buying this outdated Slim. It's really great, though and I don't regret it at all. At this point it's replaced my fx-9750G III. The large screen is wonderful, the backlight is way more useful than I expected, and the MicroPython feature of the GIII isn't all I'd hoped so I don't miss it. So, I'm mainly maintaining SH3 compatibility in my add-ins for myself.
“They call me the king of the spreadsheets, got 'em all printed out on my bedsheets.” — “Weird Al” Yankovic
Citer : Posté le 13/10/2022 19:19 | #
You don't have to choose in the sense that they're all used at the same time. malloc() will pull from whatever arena has memory left.
If you want to target one specifically, use kmalloc().
Oh wait I forgot the Slim is SH3 too. So that actually makes two of you! And I guess you can't sacrifice SH3 compatibility at all. Welp, time to go back a bit and maintain that part of gint seriously