gint : un noyau pour développer des add-ins
Posté le 20/02/2015 17:30
Ce topic fait partie de la série de topics du fxSDK.
En plus des options de programmation intégrée comme le Basic Casio ou Python, la plupart des calculatrices Casio supportent des
add-ins, des programmes natifs très polyvalents avec d'excellentes performances. Les add-ins sont généralement programmés en C/C++ avec l'aide d'un ensemble d'outils appelé SDK.
Plusieurs SDK ont été utilisés par la communauté avec le temps. D'abord le
fx-9860G SDK de Casio avec fxlib pour Graph monochromes (plus maintenu depuis longtemps). Puis le
PrizmSDK avec libfxcg pour Prizm et Graph 90+E (encore un peu actif sur Cemetech). Et plus récemment celui que je maintiens, le
fxSDK, dont gint est le composant principal.
gint est un unikernel, ce qui veut dire qu'il embarque essentiellement un OS indépendant dans les add-ins au lieu d'utiliser les fonctions de l'OS de Casio. Ça lui permet beaucoup de finesse sur le contrôle du matériel, notamment la mémoire, le clavier, l'écran et les horloges ; mais aussi de meilleures performances sur le dessin, les drivers et la gestion des interruptions, plus des choses entièrement nouvelles comme le moteur de gris sur Graph monochromes.
Les sources de gint sont sur la forge de Planète Casio :
dépôt Gitea Lephenixnoir/gint
Aperçu des fonctionnalités
Les fonctionnalités phares de gint (avec le fxSDK) incluent :
- Toutes vos images et polices converties automatiquement depuis le PNG, sans code à copier (via fxconv)
- Un contrôle détaillé du clavier, avec un GetKey() personnalisable et un système d'événements à la SDL
- Une bibliothèque standard C plus fournie que celle de Casio (voir fxlibc), et la majorité de la bibliothèque C++
- Plein de raccourcis pratiques, comme pour afficher la valeur d'une variable : dprint(1,1,"x=%d",x)
- Des fonctions de dessin, d'images et de texte optimisées à la main et super rapides, surtout sur Graph 90+E
- Des timers très précis (60 ns / 30 µs selon les cas, au lieu des 25 ms de l'OS), indispensables pour les jeux
- Captures d'écran et capture vidéo des add-ins par USB, en temps réel (via fxlink)
Avec quelques mentions spéciales sur les Graph monochromes :
Un moteur de gris pour faire des jeux en 4 couleurs !
La compatibilité SH3, SH4 et Graph 35+E II, avec un seul fichier g1a
Une API Unix/POSIX et standard C pour accéder au système de fichiers (Graph 35+E II seulement)
Et quelques mentions spéciales sur les Graph 90+E :
Une nouvelle police de texte, plus lisible et économe en espace
Le dessin en plein écran, sans les bordures blanches et la barre de statut !
Un driver écran capable de triple-buffering
Une API Unix/POSIX et standard C pour accéder au système de fichiers
Galerie d'add-ins et de photos
Voici quelques photos et add-ins réalisés avec gint au cours des années !
Arena (2016) — Plague (2021)
Rogue Life (2021)
Momento (2021)
Communication avec le PC (cliquez pour agrandir)
Utiliser gint pour développer des add-ins
Les instructions pour installer et utiliser gint sont données dans les divers tutoriels recensés dans le
topic du fxSDK. Il y a différentes méthodes de la plus automatique (GiteaPC) à la plus manuelle (compilation/installation de chaque dépôt). Le fxSDK est compatible avec Linux, Mac OS, et marche aussi sous Windows avec l'aide de WSL, donc normalement tout le monde est couvert
Notez en particulier qu'il y a des
tutoriels de développement qui couvrent les bases ; tout le reste est expliqué dans les en-têtes (fichiers
.h) de la bibliothèque que vous pouvez
consulter en ligne, ou dans les ajouts aux changelogs ci-dessous.
Changelog et informations techniques
Pour tester les fonctionnalités et la compatibilité de gint, j'utilise un add-in de test appelé gintctl (
dépôt Gitea Lephenixnoir/gintctl). Il contient aussi une poignée d'utilitaires d'ordre général.
Ci-dessous se trouve la liste des posts indiquant les nouvelles versions de gint, et des liens vers des instructions/tutoriels supplémentaires qui accompagnent ces versions.
Anecdotes et bugs pétés
Ô amateurs de bas niveau, j'espère que vous ne tomberez pas dans les mêmes pièges que moi.
TODO list pour les prochaines versions (2023-04-03)
gint 2.11
- Changements de contextes CPU. À reprendre du prototype de threading de Yatis pour permettre l'implémentation d'un véritable ordonnanceur. Demandé par si pour faire du threading Java.
- Applications USB. Ajouter le support de descripteurs de fichiers USB. Potentiellement pousser jusqu'à avoir GDB pour debugger.
- Support de scanf() dans la fxlibc. Codé par SlyVTT, plus qu'à nettoyer et fusionner.
Non classé
- Regarder du côté serial (plus facile que l'USB) pour la communication inter-calculatrices (multijoueur) et ultimement l'audio (libsnd de TSWilliamson).
- Un système pour recompiler des add-ins mono sur la Graph 90+E avec une adaptation automatique.
- Support des fichiers en RAM pour pouvoir utiliser l'API haut-niveau sur tous les modèles et éviter la lenteur de BFile à l'écriture quand on a assez de RAM.
Citer : Posté le 19/02/2019 09:19 | #
Très bonne question, et merci Shadow pour la réponse. C'est ça, quand tu overclockes le timer va plus vite donc le gris aussi.
La réponse est oui, bien sûr, on peut adapter le moteur pour que la fréquence ne change pas avec l'overclock, ce n'est même pas très difficile !
Pourquoi ce n'est pas fait actuellement ? C'est parce que le driver clavier de gint ne supporte pas l'overclock (il ne détecte plus rien) et donc je n'ai pas cherché à l'ajouter au moteur de gris.
Toutefois ! La prochaine version du driver clavier (qui viendra avec la prochaine version de gint) supporte l'overclock, et donc le moteur de gris le supportera aussi. J'ajouterai également à gint des fonctions pour overclock depuis gint, ce qui sera plus simple pour vous et moi (parce que si vous overclockez sans me le dire, après il faut que je travaille pas mal pour m'en rendre compte !).
Citer : Posté le 21/02/2019 17:29 | #
Bonsoir,
juste une petite question, à quelle fréquence peut tourner un timer hardware (sans rien dégrader au niveau touche et affichage) ?
Citer : Posté le 21/02/2019 17:34 | #
Il y a deux types de timer hardware, ceux ajoutés par Casio tourne à 32 kHz. Les timers natifs (du SH7705 et SH7724) tournent à environ 5 MHz sur monochrome et 25 MHz sur Prizm ; cela augmente avec l'overclock.
Cela représente une bonne idée de la précision de la mesure mais pas de la fréquence à laquelle tu peux effectuer un événement ! Car il faut compter le temps de traitement du processeur. La limite absolue sur la fréquence de gestion des interruptions de gint est actuellement de 320 kHz.
Te connaissant, si tu veux faire du son très rapide, tu économiseras beaucoup de puissance de calcul en utilisant le port série, qui est capable d'envoyer des données sur le port 3-pin pendant que tu travailles, et n'a besoin de ton aide qu'une fois de temps en temps pour reremplir le buffer.
Citer : Posté le 09/03/2019 13:40 | # |
Fichier joint
Il y a du nouveau ! Après deux semaines que j'oublie d'écrire dans la RDP, j'ai plein de nouvelles que je n'ai pas annoncées.
Pour remettre un peu de contexte, je suis en train de faire une passe sur le code de gint que vous connaissez actuellement, pour le rendre entièrement compatible avec la Graph 90. Je n'ai pas l'intention de revenir dessus ensuite à moins qu'une nouvelle calculatrice sorte, auquel cas il faudra adapter deux/trois choses pour assurer la compatibilité.
Dans les épisodes précédents, j'arrivais à contrôler les interruptions, l'horloge, les timers, le clavier (presque fini), l'écran monochrome, et un peu de recherche sur l'écran couleur.
Voici les nouveautés.
J'ai repris et amélioré bopti, le programme de rendu d'images sur Graph monochrome. En utilisant de l'assembleur au bon endroit et en changeant la méthode de parcours de l'image, je pense gagner jusqu'à 2 fois les performances de la version précédente. Je n'ai pas encore fait de benchmark mais ça va envoyer du pâté !
J'ai raffiné topti, le programme de rendu de texte sur Graph monochrome. Il est similaire à celui que j'avais déjà implémenté dans la version précédente de gint, et donc il ne m'a pas pris beaucoup de temps de travail. La vitesse de rendu devrait être incomparable à celle de fxlib, là aussi je ferai des benchmarks pour rigoler !
J'ai attaqué le driver de l'écran couleur et notamment l'utilisation du DMA pour envoyer les données à l'écran. Le DMA est un module qui peut transférer des données entre la mémoire et les périphériques pendant que le processeur fait autre chose, et aussi très rapidement. C'est un élément incoutournable pour obtenir des performances décentes (30 FPS) sur la Graph 90, qui a un très grand écran et donc un énorme volume de données graphiques à traiter.
Je vous laisse sur une image générée par la couleur 0x3eb7 ^ (((y>>3) << 11) + ((x>>3) << 5) + (y>>3)) et affichée en plein écran par le DMA. Vous remarquerez que gint peut utiliser une plus grande partie de l'écran que fxlib, qui impose des bandes blanches sur les côtés !
Citer : Posté le 09/03/2019 23:22 | #
Super ! Bravo de trouver encore des optimisations de cette envergure.
Il te manque quoi à gérer sur le clavier ?
Citer : Posté le 09/03/2019 23:43 | #
Merci ! Sur le clavier, presque rien : toute la partie bas niveau (détection des touches pressées) du driver est finie et résiste parfaitement à toutes les situations d'overclock (sauf underclock à 1% de la fréquence normale x_x). Il ne me reste que la fonction getkey() à finir : tester les répétitions, tout ça.
Citer : Posté le 10/03/2019 01:36 | #
Bravo ça donne envie tout ça
Citer : Posté le 10/03/2019 05:55 | #
@Lephenixnoir
That's excellent progress!
I'm interested in DMA transfer.
How much fps is possible?
Overclocking utilitaire Ftune/Ptune2/Ptune3 est également disponible.
Si vous avez des questions ou un rapport de bogue, n'hésitez pas à me le faire savoir.
Citer : Posté le 10/03/2019 08:45 | #
Thank you both! I'm really relieved gint still interests people, even though I should have finished it long ago.
With the DMA I can reach 90 FPS under normal conditions and 150 FPS when Pϕ is overclocked to 47 MHz instead of 29 MHz. This is exactly like Bdisp_PutDisp_DD() because Bdisp_PutDisp_DD() already uses the DMA under the hood.
But there is a catch. While the DMA is doing the transfer, the program can continue executing. Bdisp_PutDisp_DD() does not allow this, and even if you control the DMA manually, you cannot do much during the transfer because the system is not designed for this trick. However gint is, so if you have lots of computations to do, you can compute 100% of the time and still maintain 90 FPS.
This requires two VRAMs or some split transfers which I still need to investigate. I'll let you know when the system is ready.
Ajouté le 10/03/2019 à 10:59 :
J'ai déplacé la gestion du DMA dans un driver à part et configuré la fin du transfert par une interruption au lieu d'une attente active. On peut donc déjà calculer pendant le transfert !
Le problème d'avoir plusieurs VRAMs reste le plus subtil. Il y a plusieurs possibilités à étudier :
1. N'avoir qu'une seule VRAM. Cela veut dire qu'on ne peut pas écrire dedans pendant le transfert (au risque de changer ce qui se retrouve à l'écran), donc on ne peut pas faire n'importe quel type de calculs pendant le transfert.
2. Utiliser deux VRAMs. Lorsqu'une est en train d'être transférée, on écrit dans l'autre. Si on arrive par miracle à générer un frame complet avant que le transfert ne soit terminé, alors on peut mettre le programme en pause puisqu'il envoie facilement du 90 FPS ! Le problème est que chaque VRAM prend 173 ko, et on n'a pas 512 ko de RAM dans la plus grosse section - c'est beaucoup !
3. Couper la VRAM en deux et utiliser 3 demi-VRAMs. Ça veut dire que la VRAM n'est pas continue, donc toutes les fonctions de dessin doivent prendre en charge la coupure. De plus, il faut transférer les données en deux fois avec le DMA, donc il risque d'y avoir du tearing à l'écran.
Le plus simple techniquement est de rester sur l'une des deux premières solutions. Je vais étudier la mémoire qu'on a à disposition pour voir si c'est réalisable de réserver 350 ko pour la VRAM et garder le reste pour les calculs, dans une application non triviale comme un jeu.
Citer : Posté le 10/03/2019 12:58 | #
Thanks !
Unlike Bdisp_PutDisp_DD(), it is good to be able to do other things during the transfer.
About memory used in VRAMs,
I think that the first half area of this stack area can be used.
Actually C.Basic uses half or more of this area.
System stack 0xAC0F0000-0xAC15FFFF (448KiB)
Add-in stack 0xAC160000-0xAC1DFFFF (512KiB)
Or,
I think that +6MB area can be used for 90+E.
It seems that it can not be used with previous SysCall.
Do you know SysCall that uses it?
Overclocking utilitaire Ftune/Ptune2/Ptune3 est également disponible.
Si vous avez des questions ou un rapport de bogue, n'hésitez pas à me le faire savoir.
Citer : Posté le 10/03/2019 13:50 | #
I think that the first half area of this stack area can be used.
Actually C.Basic uses half or more of this area.
System stack 0xAC0F0000-0xAC15FFFF (448KiB)
Add-in stack 0xAC160000-0xAC1DFFFF (512KiB)
Wow, I didn't know it was possible to use the system stack. :o
I will probably put one VRAM in each. I suppose it is safer to use the top area near ac0f'0000?
It seems that it can not be used with previous SysCall.
Do you know SysCall that uses it?
I'm not sure which area you are talking about. I know that Graph 90+E with Python can have a 3 MB heap but I know of no area of 6 MB except the storage memory.
Citer : Posté le 10/03/2019 15:52 | #
Physically, the chip solded on the G90+E is 8MB wide.
Citer : Posté le 10/03/2019 15:58 | #
You mean the RAM chip? That would explain where the 3 MB for Python came from, but then where's the rest? x_o
Citer : Posté le 10/03/2019 16:06 | #
Sure. It's a M12L64164A, with 1M × 16bits × 4 banks, so 4 banks of 2MB. Maybe only 1 or 2 banks are usable, but the chip has 8MB of DRAM
Citer : Posté le 10/03/2019 16:17 | #
I see, thanks for the info. Well Sentaro, as you can guess I am not that familiar enough with the platform yet. But there are a few simple things we can test: have you tried accessed the 0xa8200000 area?
RAM 2 MiB
0xA8000000..0xA81FFFFF (0x88000000..0x881FFFFF: physically identical, but cacheable)
There's more to be discovered in the MMU. At least if the memory is accessible physically, then it will appear in the 80000000 or a0000000 space because these are not translatable and the mapping to the physical address is trivial (clear the 3 highest bits).
I might find out more once I update my calculator to OS 3.20, if this unlocks the 3 MB heap.
Citer : Posté le 11/03/2019 03:40 | #
I will probably put one VRAM in each. I suppose it is safer to use the top area near ac0f'0000?
The stack is used from the stack pointer to the lower address, but it is rarely used.
C.Basic uses two VRAMs from 0xAC0F0000 without problems.
I'm not sure which area you are talking about. I know that Graph 90+E with Python can have a 3 MB heap but I know of no area of 6 MB except the storage memory.
In OS 3.1x before Python, OS was not involved in this area,
OS 3.20 seems to be initialized by the OS at the start of the add-in.
Overclocking utilitaire Ftune/Ptune2/Ptune3 est également disponible.
Si vous avez des questions ou un rapport de bogue, n'hésitez pas à me le faire savoir.
Citer : Posté le 11/03/2019 21:38 | #
Thanks! I might end up putting both here.
I found out something interesting. I was getting failures when placing my VRAM in the user stack, garbage would be displayed instead of the VRAM contents. Then I remembered that the user stack is mapped to P0 RAM around address 0810'000, but the DMA does not heed for the MMU. It needs physical addresses instead.
So to use the DMA in this area, we need to restranslate addresses to physical addresses. This can be done by reading the TLB but the method is impractical. Also, it's not possible to link to the physical address because it might change between OS versions, and in fact it is already different from the user stack address on the fx-CG 10/20, and I'd like to keep some compatibility.
I'm actually interesting in using the DMA for something else: clearing the screen. This takes a lot of time to just erase 170 kB of data. We can't do it by memcpy() because it operates byte-wise and we need word-wise operations. But the DMA could save a lot of time by copying repeatedly a block of 32 bytes into the VRAM. I will consider this option.
Citer : Posté le 12/03/2019 07:32 | #
So to use the DMA in this area, we need to restranslate addresses to physical addresses. This can be done by reading the TLB but the method is impractical. Also, it's not possible to link to the physical address because it might change between OS versions, and in fact it is already different from the user stack address on the fx-CG 10/20, and I'd like to keep some compatibility.
How about using the newly area (0xAC200000-0xAC7FFFFF) at 90+E?
I'm actually interesting in using the DMA for something else: clearing the screen. This takes a lot of time to just erase 170 kB of data. We can't do it by memcpy() because it operates byte-wise and we need word-wise operations. But the DMA could save a lot of time by copying repeatedly a block of 32 bytes into the VRAM. I will consider this option.
Does it directly clear the LCD?
How fast is it?
Clearing VRAM in memory can be done somewhat faster because it can be processed in 32-bit units.
Overclocking utilitaire Ftune/Ptune2/Ptune3 est également disponible.
Si vous avez des questions ou un rapport de bogue, n'hésitez pas à me le faire savoir.
Citer : Posté le 12/03/2019 13:06 | #
It's a good idea, but I'm not sure if this area is used by Python or not. I think gint does not need it to run, so I will leave the choice of using it to my user.
How fast is it?
I'm sorry, I meant clearing the VRAM and not the display directly. Yes, clearing the VRAM can be done in 4-byte units, which is what I've always done, but using the DMA we can use 32-byte (256-bit) units!
Ajouté le 03/05/2019 à 16:10 :
Après quelques essais, gint semble fonctionner correctement sur Graph 35+E II, le seul changement requis étant le driver de l'écran.
Bientôt je supporterai toutes les Graph en circulation, c'est sympa !
Citer : Posté le 06/05/2019 09:43 | #
Tant que tu bosse dessus y'a moyen que tu finisses le makefile automatique
Et en passant, faut recréer un compte sur Gitea ou vous avez migré aussi les comptes ?
Citer : Posté le 06/05/2019 09:46 | #
On n'a pas migré les comptes, c'est pas le même Gitea, et migrer depuis Gitlab ne peut être fait automatiquement.
Il faut utiliser le pseudo que tu comptes utiliser pour la v5 (tu peux garder le même évidemment), puisqu'à terme les comptes seront liés.