Ajout d'outils pédagogique ou des explications sous forme de cours avec diagramme

[MdialloC19]

Documentation pédagogique avec diagrammes

🔍 Description

Je propose d'ajouter une documentation pédagogique détaillée au projet, incluant des diagrammes explicatifs pour visualiser l'architecture et les flux de données. Cela permettrait aux nouveaux contributeurs et utilisateurs de mieux comprendre le fonctionnement interne d'un LLM construit from scratch.

📝 Proposition

J'ai créé un exemple de documentation comprenant :

• Des diagrammes Mermaid pour visualiser l'architecture et les flux de données
• Des explications détaillées de chaque composant (DatasetLoader, Dataset, BPETokenizer)
• Un guide des étapes du traitement des données
• Une explication détaillée de l'algorithme BPE
• Des axes d'amélioration structurés

🌟 Bénéfices

Cette documentation :

1. Rendrait le projet plus accessible aux débutants
2. Fournirait une ressource pédagogique précieuse pour comprendre les LLM
3. Faciliterait l'onboarding de nouveaux contributeurs
4. Améliorerait la visibilité et l'adoption du projet

💻 Exemple

Voici un extrait de ce que je propose d'ajouter :

graph TD
    A[DatasetLoader] -->|Télécharge & nettoie| B[Dataset brut]
    B -->|Prétraitement| C[Dataset]
    C -->|Entrainement| D[BPETokenizer]
    D -->|Tokenization| E[Séquences de tokens]
    E -->|Préparation| F[Données d'entraînement]
    F -->|Entraînement| G[Modèle GPT]
    G -->|Inférence| H[Génération de texte]

Loading

[mrqsdf]

j'avoue que cela pourrais être pratique, cela permettrais a tout le monde de revoir les base rapidement et avoir un description de chaque fichier et comment cela fonctionne

[MdialloC19]

Voila c'est exactement l'idée derrière, je vous ferais un PR d'ici peu

[Arthur640-ctrl]

Yep, je pense que c'est une bonne idée de faire ça pour tout le projet et pour chaque fichier comme l'a dit @mrqsdf
Car j'avoue j'ai mis pas mal de temps les fonctions XD