khmer-tag-recommendation_xlmr

This model is a fine-tuned version of xlm-roberta-base for automatic tag recommendation on Khmer-language documents. Given the text of a Khmer document, it predicts a set of relevant tags from a fixed vocabulary of 500 tags, using multi-label classification.

It achieves the following results on the evaluation set:

• eval_loss: 0.0074
• eval_f1_micro: 0.9404
• eval_f1_macro: 0.9518
• eval_precision_micro: 0.8877
• eval_recall_micro: 0.9998
• eval_hamming_loss: 0.0018
• eval_runtime: 400.6343
• eval_samples_per_second: 96.337
• eval_steps_per_second: 1.508
• epoch: 1.4509
• step: 14000

Model description

khmer-tag-recommendation_xlmr is a multi-label sequence classification model built on top of xlm-roberta-base, with a classification head sized to a 500-tag vocabulary (problem_type="multi_label_classification"). Given raw Khmer document text, the model outputs a probability for each of the 500 tags, indicating how likely that tag applies to the document.

The tag vocabulary was built by taking the 500 most frequent tags (each appearing at least 5 times) from the training dataset, since the raw tag space in the source dataset is effectively unbounded (many tags are near-unique per document).

Because the tags follow a long-tail distribution, the model was trained with a weighted binary cross-entropy loss (pos_weight capped at 20x) to avoid ignoring rarer tags, and per-tag decision thresholds were tuned on a held-out validation set (see thresholds.npy in this repo) rather than using a flat 0.5 cutoff for every tag.

Intended uses & limitations

Intended use: recommending tags for Khmer-language documents — e.g. government letters, certificates, mission reports, articles, and similar administrative or informational text — to assist with document organization, search, and categorization.

Limitations:

• The tag vocabulary is fixed to the 500 most frequent tags seen during training. The model cannot predict tags outside this vocabulary.
• Training data leans toward Khmer government/administrative document styles (certificates, mission letters, official reports). Performance on stylistically different content (news articles, blog posts, product descriptions, etc.) has not been rigorously validated and may vary.
• Per-tag thresholds were tuned using an unconstrained per-tag F1 search; tags with very low positive support in the validation set may have less reliable tuned thresholds. Use thresholds.npy together with judgment, and consider min_tags/max_tags bounds at inference time rather than trusting the threshold in isolation for every tag.
• This is a general-purpose classifier, not tuned or evaluated for high-stakes or safety-critical decisions.

Training and evaluation data

• Dataset: phonsobon/khmer_tag_recommendations — Khmer-language documents, each with 5–12 associated tags.
• Tag vocabulary: top 500 most frequent tags (minimum count of 5), extracted from the training split.
• Split: 80% train / 10% validation / 10% test, random split (seed 42).
• Labels: multi-label binary vectors over the 500-tag vocabulary, built with sklearn.preprocessing.MultiLabelBinarizer.

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 32
• eval_batch_size: 64
• seed: 42
• optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 0.06
• num_epochs: 5
• mixed_precision_training: Native AMP

Framework versions

• Transformers 5.13.1
• Pytorch 2.10.0+cu128
• Datasets 5.0.0
• Tokenizers 0.22.2

How to use

This repo includes the fine-tuned model, tokenizer, the 500-tag vocabulary (tag_vocab.json), and the per-tag tuned decision thresholds (thresholds.npy). The example below loads all of these from the Hub and runs adaptive tag recommendation (always returns between MIN_TAGS and MAX_TAGS tags, ranked by confidence).

import json
import numpy as np
import torch
from huggingface_hub import hf_hub_download
from transformers import AutoTokenizer, AutoModelForSequenceClassification

# ---- Config ----
HUB_MODEL_ID = "phonsobon/khmer-tag-recommendation_xlmr"
MAX_LENGTH = 256
MIN_TAGS = 4
MAX_TAGS = 12

device = "cuda" if torch.cuda.is_available() else "cpu"

# ---- Load model + tokenizer from the Hub ----
tokenizer = AutoTokenizer.from_pretrained(HUB_MODEL_ID)
model = AutoModelForSequenceClassification.from_pretrained(HUB_MODEL_ID).to(device)
model.eval()

# ---- Load tag vocab + tuned thresholds pushed alongside the model ----
tag_vocab_path = hf_hub_download(repo_id=HUB_MODEL_ID, filename="tag_vocab.json")
thresholds_path = hf_hub_download(repo_id=HUB_MODEL_ID, filename="thresholds.npy")

with open(tag_vocab_path, "r", encoding="utf-8") as f:
    tag_vocab = json.load(f)
thresholds = np.load(thresholds_path)

print(f"Loaded model with {len(tag_vocab)} tags.")

# ---- Inference function (adaptive tag count) ----
def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def recommend_tags_adaptive(text, min_tags=MIN_TAGS, max_tags=MAX_TAGS, use_tuned_thresholds=True):
    enc = tokenizer(
        text, truncation=True, padding="max_length", max_length=MAX_LENGTH, return_tensors="pt"
    ).to(device)
    with torch.no_grad():
        logits = model(**enc).logits.cpu().numpy()[0]
    probs = sigmoid(logits)

    thr = thresholds if use_tuned_thresholds else 0.5
    above_threshold = np.where(probs >= thr)[0]

    # rank everything above threshold by confidence
    ranked = sorted(above_threshold.tolist(), key=lambda i: probs[i], reverse=True)

    if len(ranked) < min_tags:
        # not enough passed the threshold -> fill up to min_tags with next-best overall
        all_ranked = np.argsort(probs)[::-1]
        for i in all_ranked:
            i = int(i)
            if i not in ranked:
                ranked.append(i)
            if len(ranked) >= min_tags:
                break
    elif len(ranked) > max_tags:
        # too many passed the threshold -> cut to the top max_tags
        ranked = ranked[:max_tags]

    return [(tag_vocab[i], float(probs[i])) for i in ranked]

# ---- Just paste your Khmer content here and run ----
content = """
ព្រះរាជាណាចក្រកម្ពុជា
ជាតិ សាសនា ព្រះមហាក្សត្រ

ក្រសួងប្រៃសណីយ៍ និងទូរគមនាគមន៍
ក្រុមការងារបរិវត្តកម្មឌីជីថល

លេខៈ ០១៨២៤ បទ/រប

រាជធានីភ្នំពេញ ថ្ងៃទី២៥ ខែសីហា ឆ្នាំ២០២៧

# របាយការណ៍បេសកកម្ម

**កម្មវត្ថុ៖** របាយការណ៍ស្តីពីការបំពេញបេសកកម្មចូលរួមសន្និសីទអន្តរជាតិស្តីពីការផ្លាស់ប្តូរបរិវត្តកម្មឌីជីថល និងការគ្រប់គ្រងទិន្នន័យសាធារណៈ នៅសាធារណរដ្ឋសិង្ហបុរី

**យោង៖**

* លិខិតអនុញ្ញាតបំពេញបេសកកម្មលេខៈ ០១៧៥៦ បទ/អប ចុះថ្ងៃទី០៥ ខែសីហា ឆ្នាំ២០២៧
* លិខិតអញ្ជើញពីគណៈកម្មាធិការរៀបចំសន្និសីទ Smart Government Summit 2027
* ផែនការអភិវឌ្ឍបរិវត្តកម្មឌីជីថល ឆ្នាំ២០២៧–២០៣១

**ជូន**

ឯកឧត្តម ប្រធានក្រុមការងារបរិវត្តកម្មឌីជីថល

## ១. សេចក្តីផ្តើម

អនុវត្តតាមលិខិតអនុញ្ញាតបំពេញបេសកកម្មខាងលើ ខ្ញុំបាទ **ផុន សុបុណ្យ** ប្រធានក្រុមការងារបញ្ញាសិប្បនិម្មិត នៃក្រុមការងារបរិវត្តកម្មឌីជីថល បានចូលរួមសន្និសីទអន្តរជាតិស្តីពី **ការផ្លាស់ប្តូរបរិវត្តកម្មឌីជីថល និងការគ្រប់គ្រងទិន្នន័យសាធារណៈ** ដែលបានរៀបចំឡើងនៅប្រទេសសិង្ហបុរី ដោយមានការចូលរួមពីមន្ត្រីរដ្ឋ អ្នកស្រាវជ្រាវ និងអ្នកជំនាញផ្នែកបច្ចេកវិទ្យាមកពីបណ្តាប្រទេសជាច្រើន។

## ២. ព័ត៌មានអំពីបេសកកម្ម

* ទីកន្លែង៖ សិង្ហបុរី
* កាលបរិច្ឆេទ៖ ថ្ងៃទី១៥ ដល់ថ្ងៃទី២០ ខែសីហា ឆ្នាំ២០២៧
* រយៈពេល៖ ៦ថ្ងៃ
* អ្នកចូលរួម៖ តំណាងក្រសួងប្រៃសណីយ៍ និងទូរគមនាគមន៍

## ៣. សកម្មភាពដែលបានអនុវត្ត

ក្នុងអំឡុងពេលបេសកកម្ម បានចូលរួមសកម្មភាពដូចខាងក្រោម៖

* ចូលរួមសន្និសីទស្តីពីយុទ្ធសាស្ត្ររដ្ឋាភិបាលឌីជីថល។
* សិក្សាការគ្រប់គ្រងទិន្នន័យជាតិ និង Data Governance។
* សិក្សាការប្រើប្រាស់បញ្ញាសិប្បនិម្មិតក្នុងការផ្តល់សេវាសាធារណៈ។
* ចូលរួមសិក្ខាសាលាអំពី Cybersecurity និងការការពារទិន្នន័យ។
* ទស្សនកិច្ចនៅមជ្ឈមណ្ឌល Smart Nation និង Government Technology Agency។
* ផ្លាស់ប្តូរបទពិសោធន៍ជាមួយអ្នកជំនាញ និងតំណាងរដ្ឋាភិបាលពីប្រទេសផ្សេងៗ។

## ៤. លទ្ធផលដែលទទួលបាន

តាមរយៈបេសកកម្មនេះ ទទួលបានលទ្ធផលសំខាន់ៗរួមមាន៖

* យល់ដឹងអំពីគោលនយោបាយ Smart Government។
* សិក្សាគំរូការគ្រប់គ្រងទិន្នន័យសាធារណៈប្រកបដោយសុវត្ថិភាព។
* ទទួលបានចំណេះដឹងអំពីការប្រើប្រាស់ AI ក្នុងការសម្រេចចិត្តផ្អែកលើទិន្នន័យ។
* ស្វែងយល់ពីការរៀបចំ Digital Identity និង Digital Public Infrastructure។
* បង្កើតបណ្តាញទំនាក់ទំនងជាមួយអ្នកជំនាញ និងស្ថាប័នអន្តរជាតិ។

## ៥. បញ្ហាប្រឈម

* ភាពខុសគ្នានៃបទប្បញ្ញត្តិ និងស្តង់ដារទិន្នន័យរវាងប្រទេស។
* តម្រូវឱ្យមានធនធានមនុស្សជំនាញបន្ថែមក្នុងវិស័យ AI និង Data Engineering។
* តម្រូវឱ្យមានការវិនិយោគលើហេដ្ឋារចនាសម្ព័ន្ធ Cloud និង GPU។

## ៦. អនុសាសន៍

ដើម្បីអនុវត្តចំណេះដឹងដែលទទួលបាន សូមស្នើអនុសាសន៍ដូចខាងក្រោម៖

* បង្កើតគម្រោងសាកល្បង AI សម្រាប់ការងាររដ្ឋបាល។
* ពង្រឹងការគ្រប់គ្រងទិន្នន័យ និង Data Governance។
* រៀបចំវគ្គបណ្តុះបណ្តាលជូនមន្ត្រីជំនាញ។
* ពង្រីកកិច្ចសហប្រតិបត្តិការជាមួយស្ថាប័នអន្តរជាតិ។
* ជំរុញការអភិវឌ្ឍសេវាសាធារណៈឌីជីថល។

## ៧. សេចក្តីសន្និដ្ឋាន

ជារួម បេសកកម្មនេះបានសម្រេចតាមគោលបំណងដែលបានកំណត់ និងបានផ្តល់នូវចំណេះដឹង បទពិសោធន៍ និងគំនិតថ្មីៗ ដែលអាចយកមកអនុវត្តក្នុងការអភិវឌ្ឍប្រព័ន្ធបច្ចេកវិទ្យាឌីជីថល ការគ្រប់គ្រងទិន្នន័យ និងការលើកកម្ពស់គុណភាពសេវាសាធារណៈរបស់ក្រសួងប្រៃសណីយ៍ និងទូរគមនាគមន៍។

សូមឯកឧត្តម មេត្តាទទួលជ្រាប។

រាជធានីភ្នំពេញ
ថ្ងៃទី២៥ ខែសីហា ឆ្នាំ២០២៧

ហត្ថលេខា

**ផុន សុបុណ្យ**

ប្រធានក្រុមការងារបញ្ញាសិប្បនិម្មិត

ក្រុមការងារបរិវត្តកម្មឌីជីថល

ចម្លងជូន៖

* នាយកដ្ឋានបុគ្គលិក សម្រាប់ជ្រាប
* ឯកសារ
"""

predicted_tags = recommend_tags_adaptive(content, min_tags=MIN_TAGS, max_tags=MAX_TAGS)

print(f"\nPredicted tags ({len(predicted_tags)}, adaptive between {MIN_TAGS}-{MAX_TAGS}):")
for tag, score in predicted_tags:
    crossed = "✓" if score >= thresholds[tag_vocab.index(tag)] else " "
    print(f"  [{crossed}] {tag}  ({score:.3f})")

Citation

If you use this model, please cite the base model and the source dataset:

Base model: xlm-roberta-base (Conneau et al., 2020)
Fine-tuning dataset: phonsobon/khmer_tag_recommendations