La Mécanique Des LLM

La Mécanique des LLM

Théorie, Architecture et Pratique pour l’Ingénieur

Pourquoi ce livre ?

Ingénieur et Directeur des Systèmes d’Information, l’auteur adopte une approche d’architecture et de décision : pas seulement “ce que fait” un modèle, mais “comment” et “à quelles conditions” il s’intègre dans un système d’information.

Depuis l’émergence des Transformers, l’intelligence artificielle a subi une rupture majeure. Ce n’est plus une boîte noire mystérieuse, c’est une architecture d’ingénierie compréhensible.

Ce livre décortique les LLMs avec la même rigueur qu’une architecture informatique complexe. Pas de promesses magiques : des principes, des équations et du code exécutable, avec un regard assumé de décideur IT.

Vue d’ensemble : 15 chapitres progressifs

Partie I : Fondamentaux (Chapitres 1-3)

Les bases mathématiques et architecturales

• Ch. 1 - Introduction au Traitement du Langage Naturel

  • NLP classique vs approches modernes
  • Paradigme de prédiction de séquences

• Ch. 2 - Représentation du Texte et Modèles Séquentiels

  • Tokenisation (BPE, WordPiece, SentencePiece)
  • Embeddings et représentations vectorielles
  • Modèles RNN, LSTM, GRU

• Ch. 3 - Architecture Transformer

  • Self-attention : formule, intuition, calculs
  • Multi-head attention et ses avantages
  • Normalization (LayerNorm) et Residual connections

Partie II : Architecture & Optimisation (Chapitres 4-8)

Construire et entraîner à grande échelle

• Ch. 4 - Modèles Dérivés du Transformer

  • BERT, GPT, T5 : architectures et applications
  • Vision Transformers (ViT)

• Ch. 5 - Optimisations Architecturales

  • Attention linéaire et approximations
  • Key-Value Cache et inférence efficace

• Ch. 6 - Architecture Mixture-of-Experts (MoE)

  • Routing algorithms
  • Scaling laws avec MoE

• Ch. 7 - Pré-entraînement des LLMs

  • Objectifs de pré-entraînement
  • Données, tokenisation, et loss functions
  • Scaling laws : compute vs data vs model size

• Ch. 8 - Optimisations Entrainement

  • Gradient checkpointing et activation checkpointing
  • Distributed training : DDP, FSDP
  • Optimiseurs : Adam, AdamW, variations modernes

Partie III : Apprentissage & Alignement (Chapitres 9-12)

De modèle brut à assistant utile

• Ch. 9 - Affinage Supervisé (SFT)

  • Instruction tuning
  • LoRA et QLoRA : réduction des paramètres
  • Fine-tuning efficace en ressources

• Ch. 10 - Alignement avec les Préférences Humaines

  • RLHF (Reinforcement Learning from Human Feedback)
  • Reward models et leurs défis
  • Préférences implicites vs explicites

• Ch. 11 - Stratégies de Génération et Inférence

  • Sampling, Temperature, Top-k, Top-p
  • Beam search et guided generation
  • Logits processors et constraints

• Ch. 12 - Modèles de Raisonnement

  • Chain-of-Thought (CoT)
  • Tree-of-Thought (ToT)
  • Self-consistency et majority voting

Partie IV : Écosystème Agentique (Chapitres 13-15)

Déploiement et utilisation autonome

• Ch. 13 - Systèmes Augmentés et RAG

  • Retrieval-Augmented Generation
  • Vector databases et similarity search
  • Chunking strategies et indexing

• Ch. 14 - Protocoles Standards Agentiques (MCP)

  • Model Context Protocol
  • Tool calling et function definitions
  • Agent loops et orchestration

• Ch. 15 - Évaluation Critique des Flux Agentiques

  • Métriques de qualité (BLEU, ROUGE, BERTScore)
  • Evaluation frameworks
  • Limitations et hallucinations

Ressources incluses

9 Scripts Python Exécutables

Tous les concepts théoriques sont illustrés par du code fonctionnel :

• 01_tokenization_embeddings.py — Tokenisation et vecteurs
• 02_multihead_attention.py — Self-attention en détail
• 03_temperature_softmax.py — Sampling et température
• 04_rag_minimal.py — Pipeline RAG minimaliste
• 05_pass_at_k_evaluation.py — Évaluation de modèles
• 06_react_agent_bonus.py — Agents ReAct
• 07_llamaindex_rag_advanced.py — RAG avancé
• 08_lora_finetuning_example.py — LoRA et fine-tuning
• 09_mini_assistant_complet.py — Mini-assistant intégrateur

Tous les scripts :

• ✅ Exécutables sans API externe (mode démo/simulation)
• ✅ Documentés et expliqués ligne par ligne
• ✅ Compatibles Python 3.9+
• ✅ Disponibles gratuitement sur GitHub

Caractéristiques du livre

À qui s’adresse ce livre ?

✅ Ingénieurs voulant comprendre les LLMs au-delà d’une API
✅ Étudiants en informatique, ML, IA : un support rigoureux
✅ Data Scientists transitionnant vers les LLMs
✅ Responsables techniques devant intégrer les LLMs
✅ Chercheurs en NLP et ML cherchant une reference francophone
✅ Développeurs curieux de savoir ce qui se passe « sous le capot »

❌ Non recommandé pour : Les lecteurs cherchant juste à « utiliser ChatGPT »

Ce que le lecteur gagne

Après la lecture de ce livre, le lecteur est en mesure de :

• Expliquer comment un Transformer fonctionne réellement
• Analyser les compromis entre qualité et coût computationnel
• Justifier des choix architecturaux (nombre de couches, têtes, taille cachée)
• Évaluer un système IA de manière critique
• Implémenter les concepts clés en code
• Argumenter de manière structurée dans des discussions techniques
• Prendre des décisions informées sur l’usage des LLM dans un système d’information

Comment se procurer le livre

Disponible via l’écosystème Kindle (liseuse, tablette ou ordinateur) ou en format broché.

Ressources complémentaires

• Code et Scripts : GitHub - Mechanics of LLMs
• Blog : Articles approfondis sur l’IA et les LLMs
• Newsletter : Actualités et insights techniques
• Retour à l’accueil livres : Tous les livres →

Note de l’auteur

Ce livre est né d’un besoin récurrent observé chez les équipes techniques et les décideurs : comprendre ce qui se passe réellement derrière une API de modèle de langage, afin de décider en connaissance de cause. Il est conçu pour être lu crayon en main, en prenant le temps de suivre les raisonnements, les formules et le code.

C’est un livre d’ingénierie, orienté décision. Il vise autant celles et ceux qui construisent les systèmes que celles et ceux qui arbitrent leur usage.

Mustapha Alouani

La version anglaise est en cours de rédaction et sera publiée en 2025.