← الجديد / مقارنة · FennecBaarcha ·
كتابة أخرى.
نفس الكلمة؟
المهمّ هو نفهموا الميساج من حكاية بالتونسي. التونسي، الفرنسي والإنقليزي ينجموا يتكتبوا بطرق وحروف مختلفة. التدقيق متاعنا يشوف أبعد من الفروقات في الكتابة.
أقلّ نسب أخطاء لـFennec بعد التدقيق مع قبول بدائل الكتابة، نوع الحروف والكلام اليومي
- نسبة أخطاء الكلمات
- 14.19%
- نسبة أخطاء الحروف
- 6.44%
644 تسجيل · 50 دق و11 ث · المقاطع الكل داخلة
قبل قبول البدائل: 24.09% WER / 8.75% CER. شوف شنوة يتبدّل ↓
كيفاش تقرا النتائج تدقيق للنصوص بعد التجربة، على مجموعات تطوير منشورة، وبأوسع البدائل اللي تجرّبوا. النسب هاذم يقيسوا الاتفاق مع النص المرجعي؛ فهم الحكاية ما تقاسش مباشرة. موش اختبار أعمى على تسجيلات متخبّية من قبل.
01 / نفهموا الأخطاء
تبع النتيجة، خطوة بخطوة.
692عقوبة من أصل 1.684 تعديل كلمات تنحّات مع أوسع قاعدة للبدائل
النص ينجم يكتب كلمة تونسية بطريقة أخرى، يلصق أداة التعريف بكلمة فرنسية، ولا يكتب عبارة إنقليزية مفهومة بحروف عربية. الـWER العادي يحسب الفروقات هاذم زادة.
تدقيق نصّي لـFennec وحدو، بعد التجربة. النتائج المعدّلة هاذم ما تدخلش في مقارنة الموديلات. البدائل تراجعوا من النص، من غير حسم بالسماع.
يستحقّ تفسير أكثر
- نسبة الغلط في الكلمات
- 14.19%
- نسبة الغلط في الحروف
- 6.44%
992 تغييرات في الكلمات مازالت محسوبة · 692 أغلاط ما عادتش محسوبة
نقبلوا زادة صيغ أوسع من الكلام اليومي واختصارات، كيف ناخذ / ناخو وعلى البحر / عالبحر. القاعدة هاذي تستحقّ تقدير لغوي أكثر ونتائجها معروضة وحدها.
قبول أوسع لصيغ الكلام اليومي، موش كان فرق الكتابة.
شوف مراحل الحساب الكل
| القاعدة | تعديلات الكلمات | WER | CER |
|---|---|---|---|
| الحساب العادي | 1.684 | 24.09% | 8.75% |
| نقبلوا فرق المسافات | 1.446 | 20.69% | 8.75% |
| نقبلوا اختلاف الكتابة | 1.197 | 17.12% | 7.92% |
| نقبلوا حروف من نوع آخر | 1.116 | 15.97% | 6.82% |
| نقبلوا صيغ من الكلام اليومي | 992 | 14.19% | 6.44% |
حتى تبديل صغير ينجم يبدّل المعنى.
تنجم → تنجمش يبدّل النفي. عنده → عندها يبدّل الضمير. ما نسامحوش فيهم خاطر الفرق كان حرف واحد.
التعديلات الباقية هي اختلافات.
أوسع قاعدة تخلّي 992 تعديل، منهم 249 تبديل بحرف واحد و68 زيادة محتملة لكلمات حشو. يلزم نسمعوا باش نفرّقوا بين أخطاء التعرّف، كلام ناقص في المرجع ولا غلطة فيه.
02 / المقارنة
نفس الصوت. نفس الحساب.
Fennec عندو أقلّ نسبة أخطاء كلمات في التجربة هاذي. الموديلات الكل اللي لتحت تستعمل نفس التوحيد الخفيف للنص. البدائل الخاصة بـFennec اللي الفوق موش داخلة، باش المقارنة تستعمل نفس قاعدة الحساب للكل.
644 مقطع · 6,990 كلمة في النصوص المرجعية كلّ ما تنقص، خير
| الموديل / الإعدادات | نسبة الغلط في الكلمات |
|---|---|
| Fennecمتاعنا20261008-39663 · decoder CTC ثابت من غير تبديل | |
| LinTO TunisianVosk · CPU | |
| Whisper Tunisian CodeSwitchWhisper v3 · greedy decoding / بالعربي | |
| MAI-Transcribe 2كلمة بكلمة · يتعرّف على اللغة وحدو | |
| GPT-Transcribeيتعرّف على اللغة وحدو · من غير prompt | |
| Gemini 3.5 Transcribeيتعرّف على اللغة وحدو · من غير prompt | |
| Qwen3-ASR 1.7BBF16 · دفعات من 12 | |
| Whisper large-v3Greedy decoding / بالعربي |
الموديلات الكلّ خدمت على نفس التسجيلات. التفريغات الفارغة والإجابات اللي وصلت لحدّ التوليد مازالوا محسوبين. هالنتايج تخصّ الإعدادات اللي جرّبناها.
03 / سرعة التفريغ الصوتي
شوية وقت ويظهر الكلام.
وقت التفريغ المحلي المقاس لـFennec على NVIDIA B200، والموديل محمّل من قبل. مقطع بمقطع، على التسجيلات الـ644 الكل.
- الوقت الوسيط للمقطع
- 34msنصّ المقاطع كملوا في الوقت هذا ولا أقلّ.
- المئين 95
- 80ms95% من المقاطع كملوا في الوقت هذا ولا أقلّ.
- مدّة الصوت / وقت المعالجة
- 115×مدّة الصوت مقسومة على الوقت الجملي للطلبات.
50 دق و11 ث من الصوت في 26.1 ثانية من مجموع طلبات التفريغ. معامل الوقت الحقيقي: 0.0087. هذا يقيس مقاطع قصيرة، موش صوت متواصل ولا بثّ مباشر.
شنوة يدخل في التوقيت
فرّغنا كلّ مقطع محليًّا والموديل محمّل من قبل، والوقت يحسب معالجة الصوت والـdecoding. حسبنا المقاطع الكلّ، وما نحّينا حتى مقطع متاع تسخين. حجم الدفعة: 1. ما يدخلش: تحميل الموديل, وقت رفع الملف والشبكة, الوقت اللي تزيدو الـgateway.
الـGPU كان مشترك مع خدمات أخرى. هاذم أوقات طلبات موديل تقاسوا، موش وعد بسرعة الخدمة. طلبات الـAPI فيها وقت الشبكة والمزوّد، والموديلات المحلية الأخرى استعملت دفعات مختلفة، لذلك ما نرتّبوش سرعتهم مقابل الأرقام هاذم.
04 / ورا الأرقام
الطريقة، قدّامك.
نفس مجموعة التسجيلات ثابتة، النتائج محفوظة والأخطاء محسوبة على المجموعة الكل. تطبيقات مستقلة متّفقة على الـWER. النتيجة المباشرة لـFennec طابقت زادة البوّابة الحيّة على ثلاثة مقاطع تطوير.
- كلام فيه خلط لغات
- 300 مقطع
- كلام تونسي برك
- 344 مقطع
- نسخة Fennec
- 20261008-39663
كيفاش نحسبوا WER وCER
الـWER هو مجموع الكلمات المتبدّلة، المنحّاة والمزيدة مقسوم على عدد كلمات المرجع. الـCER يحسب تعديلات الحروف مقسومة على حروف المرجع، من غير مسافات. نجمعوا الأعداد على المجموعة الكل، موش نعملوا معدّل نسب المقاطع. الزيادات تنجم تطلّع نسبة الأخطاء فوق 100%.
التوحيد الخفيف يستعمل NFKC، الحروف الصغيرة، تنحية الحركات والتطويل، وتوحيد أشكال الألف. الترقيم يتفصل بمسافات، ما عدا الفاصلة العليا داخل الكلمة وفواصل الأرقام. نحافظوا على اللكنات الفرنسية، النفي، الأرقام وحدود الكلمات.
تدقيق البدائل يسمح بصيغ محدّدة، ويعاود يكتب كان الأجزاء المقبولة من نتيجة الموديل كيما المرجع، وبعد يعاود يحسب WER وCER. المقامات تبقى 6,990 كلمة و30,060 حرف. البدائل تختاروا بعد ما شفنا نتائج Fennec؛ يلزم تطبيق نفس القاعدة الثابتة على الموديلات الكل قبل أي ترتيب معدّل.
إعدادات الموديلات وحدود النتائج
Fennec
FP32، TF32 مطفّي؛ decoder من نوع linear_union_prefix، beam 100، alpha 0.3، beta 0.5، وأوزان موديل اللغة القديم/الجديد 0.25/0.75.
0 نصوص فارغة · 0 قصّ محتمل بسبب حدّ التوكنات · 0 أعطال خدمة ما تصلحتش
LinTO Tunisian
موديل Vosk التونسي خدم محليًّا؛ الصوت تقصّ لمقاطع PCM عادية، كلّ واحد 4,000 byte.
12 نصوص فارغة · 0 قصّ محتمل بسبب حدّ التوكنات · 0 أعطال خدمة ما تصلحتش
Whisper Tunisian CodeSwitch
FP32، greedy decoding، language=ar، وبحدّ أقصى 440 token جديد.
0 نصوص فارغة · 2 قصّ محتمل بسبب حدّ التوكنات · 0 أعطال خدمة ما تصلحتش
MAI-Transcribe 2
microsoft/mai-transcribe-2 عن طريق OpenRouter؛ بالوضع المحسّن متاع Azure، تفريغ كلمة بكلمة، والموديل يتعرّف على اللغة وحدو.
11 نصوص فارغة · 0 قصّ محتمل بسبب حدّ التوكنات · 0 أعطال خدمة ما تصلحتش
GPT-Transcribe
gpt-transcribe عن طريق API التفريغ متاع OpenAI؛ من غير ما نحدّدولو اللغة ولا نعطيوه prompt.
11 نصوص فارغة · 0 قصّ محتمل بسبب حدّ التوكنات · 0 أعطال خدمة ما تصلحتش
Gemini 3.5 Transcribe
google/gemini-3.5-transcribe عن طريق OpenRouter؛ يتعرّف على اللغة وحدو، من غير prompt.
17 نصوص فارغة · 0 قصّ محتمل بسبب حدّ التوكنات · 0 أعطال خدمة ما تصلحتش
Qwen3-ASR 1.7B
Qwen3-ASR-1.7B الأصلي، BF16، SDPA، padding من اليسار، دفعات من 12، greedy decoding، وبحدّ أقصى 512 token جديد. يتعرّف على اللغة وحدو.
11 نصوص فارغة · 3 قصّ محتمل بسبب حدّ التوكنات · 0 أعطال خدمة ما تصلحتش
Whisper large-v3
Whisper large-v3 الأصلي، FP32، greedy decoding، language=ar، وبحدّ أقصى 440 token جديد.
0 نصوص فارغة · 7 قصّ محتمل بسبب حدّ التوكنات · 0 أعطال خدمة ما تصلحتش
تجارب زيادة مع تحديد اللغة
تجارب استكشافية على نفس الصوت. OpenAI خذا سياق تونسي عام وإشارات للعربي، الفرنسي والإنقليزي؛ Gemini خذا إشارة للعربي. ما عطيناش النصوص المرجعية.
| الإعداد | WER | CER |
|---|---|---|
| GPT-Transcribe · آلي | 48.73% | 25.08% |
| Gemini 3.5 Transcribe · آلي | 63.13% | 41.78% |
| GPT-Transcribe مع إشارات للّغة | 43.93% | 20.20% |
| Gemini مع تحديد العربي | 93.16% | 47.02% |
نتيجة Gemini مع إشارة للعربي فيها نص خرج على السيطرة: 2,369 كلمة زايدة مقابل مرجع من 10 كلمات. بقى محسوب وهبّط النتيجة العامة برشا. زوز طلبات فشلوا أوّلاً ونجحوا كي عاودناهم.
شنوة المقارنة هاذي ما تنجمش تثبت
- التعميم الأعمى: مجموعات البيانات المنشورة هاذم تراجعوا برشا مرّات وقت تطوير Fennec. التثبّت من التداخل غطّى قائمة تدريب TunSwitch الأصلية، موش بيانات التدريب وفكّ الترميز الكل.
- صحّة المعنى: تدقيق البدائل استعمل النصوص، موش حكم بشري بعد سماع التسجيلات. الأسامي، الأرقام والنفي ما تعلّموش وحدهم.
- سرعة معزولة: التجارب المحلية تقاسمت العتاد، وطلبات الـAPI حسبت وقت الشبكة. Qwen استعمل دفعة من 12؛ نتائج التجربة الأولية اختلفت عن خدمة مقطع وحدو في زوز من ثلاثة مقاطع. التجربة الأخيرة تستعمل نفس إعداد الدفعات من أوّلها لآخرها.
- إعدادات الموديلات الكل: Whisper استعمل greedy decoding مع تحديد العربي. أسامي النسخ عند المزوّدين تنجم تتبدّل، والـAPI التجارية ما وفّرتش نسخ ثابتة. ما فماش تجربة تفريغ بـClaude هنا.
هزّ الأرقام معاك.
نتائج مجمّعة بنسخة محدّدة، أعداد الأخطاء وقواعد البدائل بالتفصيل.
الأسئلة الجاية
المعنى وصل؟
هذا يستحقّ اختبار وحدو. مقارنة جاية تنفع يكون فيها توانسة يسمعوا حكايات متخبّية من قبل ويعلّموها، وبعد نثبّتوا كل نص حافظ على القصد والمعلومات ولا لا.
المعنى والتفاصيل المهمّة
القصد، الأسامي، التواريخ، المبالغ والنفي، وزادة الملخّص ينقل اللي تقال ولا لا. نعرضوا هاذم وحدهم، موش مع اتفاق الكتابة.
ظروف الحكايات الحقيقية
الضجيج، الناس تحكي فوق بعضها وتسجيلات أطول. نقيسوا الوقت من رفع الصوت لخروج النص، الطلبات في نفس الوقت والكلفة لكل ساعة صوت، كتجارب خدمة منفصلة.
هاذم قياسات مقترحة؛ التجربة هاذي ما تثبتهمش. تبع النتائج الجاية في الجديد.