← Actualités / Benchmark · FennecBaarcha ·
Une autre orthographe.
Le même mot ?
L’essentiel, c’est de comprendre le message d’une conversation tunisienne. Derja, français et anglais peuvent changer d’orthographe et d’alphabet. Notre audit examine ce qui se cache derrière ces différences écrites.
Les taux d’erreur audités les plus bas de Fennec Avec les variantes orthographiques, d’alphabet et familières
- Taux d’erreur par mot
- 14.19%
- Taux d’erreur par caractère
- 6.44%
644 enregistrements · 50 min 11 s · Tous les extraits inclus
Avant les tolérances de variantes : 24.09% WER / 8.75% CER. Voir ce qui change ↓
Comment lire ces résultats Un audit textuel réalisé après coup sur des jeux publics de développement, avec les tolérances les plus larges testées. Ces taux mesurent l’accord avec la transcription ; la compréhension des conversations n’a pas été mesurée directement. Ce n’est pas un test à l’aveugle sur des données réservées.
01 / Lire les erreurs
Suivez le score, étape par étape.
692pénalités sur 1 684 modifications de mots retirées avec la règle de variantes la plus large
Une transcription peut employer une autre écriture d’un mot en Derja, joindre un article à un mot français ou écrire une expression anglaise reconnaissable en alphabet arabe. Le WER standard compte aussi ces différences.
Audit textuel après coup, réservé à Fennec. Ces scores ajustés ne servent pas à comparer les modèles. Les variantes ont été examinées à partir du texte, sans arbitrage à l’écoute.
Plus d’interprétation
- Taux d’erreur sur les mots
- 14.19%
- Taux d’erreur sur les caractères
- 6.44%
992 modifications de mots restantes · 692 pénalités retirées
Accepter aussi des formes familières et contractions plus larges, dont ناخذ / ناخو et على البحر / عالبحر. Cette règle demande davantage de jugement linguistique et ses résultats sont présentés séparément.
Une tolérance plus large pour les formes familières, au-delà de l’orthographe.
Voir toutes les étapes du calcul
| Règle | Modifications de mots | WER | CER |
|---|---|---|---|
| Calcul standard | 1 684 | 24.09% | 8.75% |
| Accepter les écarts d’espacement | 1 446 | 20.69% | 8.75% |
| Accepter les variantes orthographiques | 1 197 | 17.12% | 7.92% |
| Accepter une autre écriture | 1 116 | 15.97% | 6.82% |
| Accepter les formes familières | 992 | 14.19% | 6.44% |
Une petite différence peut changer le sens.
تنجم → تنجمش change la négation. عنده → عندها change le pronom. Une différence d’un seul caractère ne suffit pas à l’excuser.
Les modifications restantes sont des désaccords.
La règle la plus large laisse 992 modifications, dont 249 substitutions d’un caractère et 68 insertions possibles de mots de remplissage. Une écoute est nécessaire pour distinguer erreurs de reconnaissance, mots omis et erreurs de référence.
02 / La comparaison
Même audio. Même calcul.
Fennec obtient le WER le plus bas de ce test. Tous les modèles ci-dessous utilisent la même normalisation légère. Les tolérances propres à l’audit de Fennec sont exclues pour appliquer une seule règle de calcul à tous.
644 extraits · 6 990 mots de référence Plus bas, c’est mieux
| Modèle / configuration | Taux d’erreur sur les mots |
|---|---|
| FennecBaarcha20261008-39663 · décodeur CTC figé | |
| LinTO TunisianVosk · CPU | |
| Whisper Tunisian CodeSwitchWhisper v3 · décodage glouton / arabe | |
| MAI-Transcribe 2Mot à mot · langue automatique | |
| GPT-TranscribeLangue automatique · sans prompt | |
| Gemini 3.5 TranscribeLangue automatique · sans prompt | |
| Qwen3-ASR 1.7BBF16 · lots de 12 | |
| Whisper large-v3Décodage glouton / arabe |
Tous les modèles ont traité les mêmes extraits. Les transcriptions vides et les réponses atteignant la limite de génération restent comptées. Ces résultats décrivent les configurations testées.
03 / Vitesse de transcription
Quelques instants pour les mots.
Temps de transcription locale mesuré pour Fennec sur un NVIDIA B200, modèle déjà chargé. Un extrait à la fois, sur les 644 enregistrements.
- Médiane par extrait
- 34msLa moitié des extraits ont terminé dans ce délai.
- 95e percentile
- 80ms95 % des extraits ont terminé dans ce délai.
- Durée audio / traitement
- 115×Durée audio divisée par le temps total des appels.
50 min 11 s d’audio en 26.1 secondes d’appels de transcription cumulés. Facteur temps réel : 0.0087. Cela mesure des extraits courts, pas un flux audio continu.
Ce que le chronomètre inclut
Transcription locale de chaque extrait, modèle déjà chargé, avec traitement audio et décodage. Tous les extraits sont inclus ; aucun extrait de préchauffage n’a été exclu. Taille du lot : 1. Exclus : Chargement du modèle, Temps d’envoi et de réseau, Temps ajouté par la passerelle.
Le GPU était partagé avec d’autres tâches. Ce sont des durées d’appels observées, pas une promesse de latence du service. Les appels API incluent le réseau et le fournisseur, et les autres modèles locaux utilisent d’autres lots : leurs vitesses ne sont donc pas classées face à ces chiffres.
04 / Derrière les chiffres
La méthode, en toute transparence.
Un ensemble figé d’enregistrements, des sorties conservées et des comptes d’erreurs à l’échelle du corpus. Des implémentations indépendantes concordent sur le WER. La sortie directe de Fennec correspondait aussi à la passerelle en production sur trois extraits de développement.
- Parole mêlant plusieurs langues
- 300 extraits
- Parole tunisienne uniquement
- 344 extraits
- Version de Fennec
- 20261008-39663
Comment sont calculés le WER et le CER
Le WER est la somme des mots substitués, supprimés et insérés divisée par le nombre de mots de référence. Le CER divise les modifications de caractères par les caractères de référence, hors espaces. Nous additionnons les comptes sur le corpus plutôt que de moyenner les pourcentages par extrait. Les insertions peuvent porter le taux au-delà de 100 %.
La normalisation légère utilise NFKC, les minuscules, la suppression des voyelles arabes et du tatweel, et l’unification des formes d’alef. La ponctuation est espacée, sauf les apostrophes internes et séparateurs numériques. Les accents français, la négation, les nombres et les limites de mots sont conservés.
L’audit autorise des variantes explicites, réécrit uniquement les segments acceptés de l’hypothèse sous leur forme de référence, puis recalcule WER et CER. Les dénominateurs restent 6 990 mots et 30 060 caractères. Ces tolérances ont été choisies après examen des sorties de Fennec : appliquez cette même règle figée à tous les modèles avant de les classer avec des scores ajustés.
Configurations des modèles et limites de sortie
Fennec
FP32, TF32 désactivé ; décodeur linear_union_prefix, beam 100, alpha 0.3, beta 0.5, poids ancien/nouveau modèle de langue : 0.25/0.75.
0 transcriptions vides · 0 troncatures possibles à la limite de tokens · 0 échecs de service non résolus
LinTO Tunisian
Modèle Vosk tunisien exécuté localement ; blocs PCM standard de 4 000 octets.
12 transcriptions vides · 0 troncatures possibles à la limite de tokens · 0 échecs de service non résolus
Whisper Tunisian CodeSwitch
FP32, décodage glouton, language=ar, maximum de 440 nouveaux tokens.
0 transcriptions vides · 2 troncatures possibles à la limite de tokens · 0 échecs de service non résolus
MAI-Transcribe 2
microsoft/mai-transcribe-2 via OpenRouter ; mode amélioré Azure, transcription mot à mot, langue détectée automatiquement.
11 transcriptions vides · 0 troncatures possibles à la limite de tokens · 0 échecs de service non résolus
GPT-Transcribe
gpt-transcribe via l’API de transcription OpenAI ; sans indication de langue ni prompt.
11 transcriptions vides · 0 troncatures possibles à la limite de tokens · 0 échecs de service non résolus
Gemini 3.5 Transcribe
google/gemini-3.5-transcribe via OpenRouter ; langue automatique, sans prompt.
17 transcriptions vides · 0 troncatures possibles à la limite de tokens · 0 échecs de service non résolus
Qwen3-ASR 1.7B
Qwen3-ASR-1.7B d’origine, BF16, SDPA, remplissage à gauche, lots de 12, décodage glouton, maximum de 512 nouveaux tokens. Langue automatique.
11 transcriptions vides · 3 troncatures possibles à la limite de tokens · 0 échecs de service non résolus
Whisper large-v3
Whisper large-v3 d’origine, FP32, décodage glouton, language=ar, maximum de 440 nouveaux tokens.
0 transcriptions vides · 7 troncatures possibles à la limite de tokens · 0 échecs de service non résolus
Essais avec indications de langue
Des essais exploratoires sur le même audio. OpenAI a reçu un contexte tunisien générique et des indications d’arabe, français et anglais ; Gemini a reçu une indication d’arabe. Aucune transcription de référence n’a été fournie.
| Configuration | WER | CER |
|---|---|---|
| GPT-Transcribe · automatique | 48.73% | 25.08% |
| Gemini 3.5 Transcribe · automatique | 63.13% | 41.78% |
| GPT-Transcribe avec indications | 43.93% | 20.20% |
| Gemini avec indication de l’arabe | 93.16% | 47.02% |
Le résultat de Gemini avec indication d’arabe comprend une transcription excessive : 2 369 mots insérés pour une référence de 10 mots. Elle reste comptée et dégrade nettement le score du corpus. Deux requêtes initialement échouées ont réussi après une nouvelle tentative.
Ce que ce benchmark ne peut pas établir
- Généralisation à l’aveugle : ces jeux publics ont été consultés à plusieurs reprises pendant le développement de Fennec. La recherche de chevauchement couvrait le manifeste d’entraînement original de TunSwitch, pas toutes les données d’entraînement et du décodeur.
- Exactitude du sens : l’audit utilisait le texte, sans arbitrage humain à l’écoute. Noms, nombres et négation n’ont pas été annotés séparément.
- Vitesse isolée : les essais locaux partageaient le matériel ; les appels API incluaient le réseau. Qwen utilisait des lots de 12 ; ses tests préliminaires différaient de l’inférence individuelle sur deux extraits sur trois. Le test final conserve la même configuration de lots partout.
- Toutes les configurations possibles : Whisper utilisait un décodage glouton avec l’arabe précisé. Les alias fournisseurs peuvent évoluer et les API commerciales n’exposaient pas de versions immuables. Aucun essai de transcription Claude n’est inclus.
Emportez les chiffres.
Résultats agrégés versionnés, comptes d’erreurs et règles explicites des variantes.
Les prochaines questions
Le sens est-il passé ?
Cela mérite un test à part. Un prochain benchmark utile ferait annoter des conversations réservées par des auditeurs tunisiens, puis vérifierait si chaque transcription conserve l’intention et les faits.
Le sens et les détails essentiels
Intention, noms, dates, montants, négation et fidélité d’un résumé à ce qui a été dit. Présenter ces mesures séparément de l’accord orthographique.
Les conditions d’une vraie conversation
Bruit, voix qui se chevauchent et enregistrements plus longs. Mesurer séparément la latence de l’envoi à la transcription, les requêtes simultanées et le coût par heure audio.
Ce sont des mesures proposées ; ce test ne les établit pas. Suivez les prochains résultats dans Actualités.