oddadmix's picture
comparison table: add cohere-...-dialectal-v2 (0.514)
91ff7da verified
|
Raw
History Blame Contribute Delete
11.7 kB
---
language: ar
license: apache-2.0
library_name: transformers
pipeline_tag: automatic-speech-recognition
base_model: Qwen/Qwen3-ASR-0.6B-hf
datasets:
- oddadmix/lahgtna-v3-small
tags:
- automatic-speech-recognition
- arabic
- dialectal-arabic
- qwen3-asr
metrics:
- wer
- cer
---
# qwen3-asr-0.6b-arabic-dialectal-v2
**v2** — [`Qwen/Qwen3-ASR-0.6B-hf`](https://huggingface.co/Qwen/Qwen3-ASR-0.6B-hf) (0.6B) fine-tuned for
multi-dialect Arabic on the **dialect-balanced** dataset
[`oddadmix/lahgtna-v3-small`](https://huggingface.co/datasets/oddadmix/lahgtna-v3-small) (52k train / 2.6k test, **seed 42**,
undiacritized output).
> **Open weights.** This is v2, trained on the *balanced, leakage-reduced*
> data. v1 (trained on the earlier augmentation-expanded set, with the full
> cross-model comparison + bundled fine-tuning scripts) is at
> [`oddadmix/qwen3-asr-0.6b-arabic-dialectal`](https://huggingface.co/oddadmix/qwen3-asr-0.6b-arabic-dialectal).
## Results (balanced test split ~2,600 clips, `clean_text` WER/CER)
| | WER | CER |
|---|---|---|
| **This model (v2)** | **0.5514** | 0.2148 |
## Per-dialect accuracy (v3 balanced test, `clean_text`)
WER / CER on each dialect's 200 held-out clips, easiest to hardest. Gulf/Levantine transcribe best; Maghrebi (Tunisian/Algerian/Moroccan) is hardest — consistent across every model.
| Dialect | WER | CER | n |
|---|---|---|---|
| Saudi/Gulf (`sa`) | 0.322 | 0.097 | 200 |
| Egyptian (`eg`) | 0.377 | 0.136 | 200 |
| Iraqi (`iq`) | 0.378 | 0.111 | 200 |
| Palestinian (`ps`) | 0.492 | 0.184 | 200 |
| Bahraini (`bh`) | 0.521 | 0.207 | 200 |
| Lebanese (`lb`) | 0.541 | 0.216 | 200 |
| Syrian (`sy`) | 0.550 | 0.229 | 200 |
| Yemeni (`ye`) | 0.583 | 0.247 | 200 |
| Sudanese (`sd`) | 0.611 | 0.266 | 200 |
| Moroccan (`ma`) | 0.619 | 0.222 | 200 |
| Algerian (`dz`) | 0.624 | 0.234 | 200 |
| Libyan (`ly`) | 0.630 | 0.251 | 200 |
| Tunisian (`tn`) | 0.948 | 0.414 | 200 |
| **Overall** | **0.551** | **0.215** | 2600 |
## v2 comparison — all models on the balanced dataset
Same **dialect-balanced** test split (~2,600 clips, `oddadmix/lahgtna-v3-small`), same `clean_text` scoring, **seed 42**.
| Model | Params | WER | CER |
|---|---|---|---|
| whisper-large-v3-v2 | 1.54B | 0.320 | 0.120 |
| whisper-large-v3-turbo-v2 | 809M | 0.332 | 0.125 |
| whisper-medium-v2 | 769M | 0.342 | 0.128 |
| whisper-small-v2 | 244M | 0.403 | 0.153 |
| nemotron-3.5-asr-v2 (streaming) | 638M | 0.423 | 0.148 |
| qwen3-asr-1.7b-v2 | 1.7B | 0.478 | 0.182 |
| cohere-transcribe-arabic-07-2026-dialectal-v2 | 2.07B | 0.514 | 0.294 |
| qwen3-asr-0.6b-v2 | 0.6B | 0.551 | 0.215 |
`whisper-large-v3-turbo-v2` is the best; Whisper fine-tunes furthest. nemotron is the streaming option. (v1 models were trained on the earlier augmentation-expanded set.)
## Examples — base vs. fine-tuned (one clip per dialect)
13 held-out test clips, one per dialect. **Base** is [`Qwen/Qwen3-ASR-0.6B-hf`](https://huggingface.co/Qwen/Qwen3-ASR-0.6B-hf) untouched; **fine-tuned (v2)** is this model. Text is `clean_text`-normalized (undiacritized), matching the WER scoring. Press play to listen.
| Dialect | Audio | Reference | Base | Fine-tuned |
|---|---|---|---|---|
| Egyptian (`eg`) | <audio controls preload="none" src="https://huggingface.co/oddadmix/qwen3-asr-0.6b-arabic-dialectal-v2/resolve/main/samples/1.wav"></audio> | <span dir="rtl">لا، في كافيه هنا كده جنب الدار، مع أحمد خطيبها، وزمانها جاي.</span> | <span dir="rtl">لا فك في هنا كدا جنب الدور مع أحمد خطبه وزمنها جاي.</span> | <span dir="rtl">لا في كافي هنا كده جنب الدور، مع احمد خطبه وزمانها جاي.</span> |
| Lebanese (`lb`) | <audio controls preload="none" src="https://huggingface.co/oddadmix/qwen3-asr-0.6b-arabic-dialectal-v2/resolve/main/samples/2.wav"></audio> | <span dir="rtl">ما كون مأمنة حالي. ما أقدر اتحكم. امم. في عندي خوف، إيه.</span> | <span dir="rtl">ماكن مأمن حالة معدة تحكم في عندي خوف إيه</span> | <span dir="rtl">ماكن مأمني حالي، ما قدرت أتحكم. أمم. في عندي خوف إيه.</span> |
| Syrian (`sy`) | <audio controls preload="none" src="https://huggingface.co/oddadmix/qwen3-asr-0.6b-arabic-dialectal-v2/resolve/main/samples/3.wav"></audio> | <span dir="rtl">يعني إنت كان في عندك نظام فاقد الشرعية الدولية، دول ما كانت تعترف فيه. إقامة و دول</span> | <span dir="rtl">يعني أنتي كان في عندك نظام فاقض الشرعية الدولية دول ما كنت تعرف فيه ااا إقامة ودول</span> | <span dir="rtl">يعني إنت كان في عندك نظام ثاقب الشرعية الدولية الدول ما كانت تعتبر فيه. إيه إقامة ودول</span> |
| Palestinian (`ps`) | <audio controls preload="none" src="https://huggingface.co/oddadmix/qwen3-asr-0.6b-arabic-dialectal-v2/resolve/main/samples/4.wav"></audio> | <span dir="rtl">إ- إزميل أنس واستشهد والده.</span> | <span dir="rtl">زميل أناس واستشهد والده</span> | <span dir="rtl">إيه، زميل أنس، واستشهد والده.</span> |
| Iraqi (`iq`) | <audio controls preload="none" src="https://huggingface.co/oddadmix/qwen3-asr-0.6b-arabic-dialectal-v2/resolve/main/samples/5.wav"></audio> | <span dir="rtl">اشتروا كونتينر او نگدر نگول كرفان حديد، واخذوه بمنطقة بعيدة جدا ودفنوه تحت الأرض. وبعد ما انتهوا من فعلا،</span> | <span dir="rtl">اشترا وكونتiner أو نقدر نقول كرافان حديد وأخذها بمنطقة بعيدة جدا ودفنوها تحت الأرض وبعد منتهى من فعلات</span> | <span dir="rtl">اشتراو كونتينر أو نقدر نقول كرافان حديد وأخذوه بمنطقة بعيدة جدا ودفنوه تحت الأرض، وبعد ما انتهى من فعله.</span> |
| Saudi/Gulf (`sa`) | <audio controls preload="none" src="https://huggingface.co/oddadmix/qwen3-asr-0.6b-arabic-dialectal-v2/resolve/main/samples/6.wav"></audio> | <span dir="rtl">ومن نسمع إشارتك، ترانا نازلين مستميتين، ما عندنا شي نخسره.</span> | <span dir="rtl">ومن نسمع إشارتك ترى نازلين من ست ميتين ما عندنا شيء خسره</span> | <span dir="rtl">ومن نسمع إشارتك، ترى أنا نازلين من مستميتين، ما عندنا شيء نخسره.</span> |
| Bahraini (`bh`) | <audio controls preload="none" src="https://huggingface.co/oddadmix/qwen3-asr-0.6b-arabic-dialectal-v2/resolve/main/samples/7.wav"></audio> | <span dir="rtl">ولد وكل بنت، لأنه إذا يبون رب العالمين يسر لهم؟</span> | <span dir="rtl">ولد وكل بنت لأن إذا يبون رب العالمين يسر لهم</span> | <span dir="rtl">والد وكل بنت، لأنه إذا يبون رب العالمين يسر لهم.</span> |
| Yemeni (`ye`) | <audio controls preload="none" src="https://huggingface.co/oddadmix/qwen3-asr-0.6b-arabic-dialectal-v2/resolve/main/samples/8.wav"></audio> | <span dir="rtl">وهذا كان ال ال ال ال يعني تستطيع تعتبرها</span> | <span dir="rtl">وهذا كان ال ال ال ال يعني تستطيع تعتبرها</span> | <span dir="rtl">وهذا كان ال ال ال ال يعني تستطيع تعتبرها</span> |
| Libyan (`ly`) | <audio controls preload="none" src="https://huggingface.co/oddadmix/qwen3-asr-0.6b-arabic-dialectal-v2/resolve/main/samples/9.wav"></audio> | <span dir="rtl">هلبة والله يا بشرى ما ما يحضرنيش حاجة. في بلاد أو برا من البلاد؟</span> | <span dir="rtl">هل بول الله يبشره ما يحضرني شحاج؟ شبلات أو برم البلاط</span> | <span dir="rtl">شنو؟ هالبوا والله بشرى ما يحضرنيش حاجة. شن بلات أو برا من البلاد؟</span> |
| Tunisian (`tn`) | <audio controls preload="none" src="https://huggingface.co/oddadmix/qwen3-asr-0.6b-arabic-dialectal-v2/resolve/main/samples/10.wav"></audio> | <span dir="rtl">ال الإحتجاجية ما همش م مستأنسين بالأماكن المقابلة اللي هي صالونات الحكم.</span> | <span dir="rtl">الاحتجاجية مهما مش مستنسين بالامكان المقابل اللي هي صلوات الحكم</span> | <span dir="rtl">ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال ال</span> |
| Algerian (`dz`) | <audio controls preload="none" src="https://huggingface.co/oddadmix/qwen3-asr-0.6b-arabic-dialectal-v2/resolve/main/samples/11.wav"></audio> | <span dir="rtl">دو عامين. بصح وكان يبياعني أنا ندي عشر سنين ونشوفو هو يخرج أليز في بلاليبرتي.</span> | <span dir="rtl">دوامين، صح وكان يبي يعني أنا الديعشة نحن نشوفه يخرج علاز في بلاد بختي</span> | <span dir="rtl">دو عامين. صح؟ وكان يبيعني، أنا ندي عشر سنين ونشوفوا هو يخرج آلاز في بلا لي بقتي.</span> |
| Moroccan (`ma`) | <audio controls preload="none" src="https://huggingface.co/oddadmix/qwen3-asr-0.6b-arabic-dialectal-v2/resolve/main/samples/12.wav"></audio> | <span dir="rtl">ضارت، و طردت، و كاع داك الشي اللي فيها من الجن. وسكنت فيها. و الحمد لله من بعد تزوجت بفرح، و أسامة تزوج بكوثر.</span> | <span dir="rtl">و طرت وقعد كشي اللي فيها من الجن وس كنت فيها والحين دولة من بعد زوج بفرح وسمة زوج بكسر</span> | <span dir="rtl">وطرطوط، وقعد يكشي اللي فيها من الجين. وسكنت فيها، والحمد لله من بعد تزوج بفارح وسأمس تزوج بكوثر.</span> |
| Sudanese (`sd`) | <audio controls preload="none" src="https://huggingface.co/oddadmix/qwen3-asr-0.6b-arabic-dialectal-v2/resolve/main/samples/13.wav"></audio> | <span dir="rtl">آاا همارات بينزلها في الفيس، أو بعد ال هنا أقوم أحضر الخطبة بتاعة طارق الهادي. يعني</span> | <span dir="rtl">هما راديو نزيله في الفيس أو بعد ال هنا يقوم أحضر الخدبة بتاعة طارق الهادي يعني</span> | <span dir="rtl">آآه، هم رادوا ينزلوا في الفاس، أو بعد ال، هنا يقوم أحضر الخدمة بتاعت طارق الهادي. يعني</span> |
Full fine-tuning code, dependencies, and lessons are in the
[v1 repo]( https://huggingface.co/oddadmix/qwen3-asr-0.6b-arabic-dialectal) (`train.py`, `normalize.py`,
`FINETUNE.md`). This v2 uses the same recipe on the balanced dataset.