La flotte LLM Ailiance software est fine-tunée sur Apple Silicon (Mac Studio M3 Ultra, 512 Go de mémoire unifiée) avec MLX. Nous distillons les traces de raisonnement de Claude Opus dans des modèles open-source, et publions des adaptateurs traçables sous Apache-2.0 ou autres licences adaptées au modèle de base.
Stack technique
- Entraînement — MLX bf16 LoRA sur Mistral Large 123B, Qwen3.5-122B/35B, Apertus 70B, Devstral 24B, EuroLLM 22B
- Routage — embeddings MiniLM L6 v2 384d + classifier MLP (40 domaines prédits, 5 fallback) avec cache deux niveaux (L1 hash + L2 sémantique)
- Orchestration — router v0.3 Deliberation chain : auto-engagé sur
model: "ailiance"pour les domaines hardware / code, fait passer la sortie LLM dans un validator iact-bench sandboxé, retry avec feedback stderr en cas d'échec, émet NDJSON audit par chaîne - Serving — gateway FastAPI multi-worker, BF16, pool mémoire partagé
- Évaluation — Lighteval + EvalPlus + MT-Bench + iact-bench v0.2.0 (31 domaines × 23 modèles, 25 validators Docker sandboxés)
Backend portable
La gateway ailiance et la stack workers ne sont pas liées à Apple Silicon. Notre déploiement de référence tourne sur Mac Studio M3 Ultra (MLX) et macOS via MLX-LM et llama.cpp, mais le même contrat HTTP OpenAI-compatible peut être servi depuis n'importe quel runtime exposant /v1/chat/completions.
Sister projects
- ailiance — la gateway LLM elle-même (workers, router-v6, dossier EU AI Act).
- ailiance-agent — agent de code (CLI
aki+ extension VS Code) qui pointe sur cette gateway par défaut. - ailiance-bench — le harnais d'évaluation audit-grade utilisé pour scorer chaque modèle servi.
Organisation des responsabilités
Trois pôles de responsabilité, séparés au sein de l'équipe Ailiance software pour permettre la traçabilité et la séparation des contrôles attendues par l'Article 17 IA Act (Quality Management System) :
- Équipe Data — collecte, curation, audit qualité/biais/représentativité des corpus, exécution iact-bench, gestion des datasets HuggingFace
Ailiance-fr/. Responsable du bloc 3 et 5 de la démarche qualité. - Conformité & Sécurité — veille réglementaire (AI Act, RGPD, CRA), tenue du registre d'incidents ([email protected]), audit interne semestriel, publication des post-mortems. Responsable du bloc 6 de la démarche qualité et du dossier Annex IV.
- Direction technique — architecture gateway / routeur / validators, arbitrage des releases, signature des commits de provenance, validation finale des critères de release. Responsable du bloc 4 et de la chaîne de signature.
Contact direction : [email protected]
Licence
Apache-2.0, sur l'ensemble du code et des adaptateurs.