ai-literacy-innovation-institute/islamic_nusantara_nlp

Islamic Nusantara NLP: Mizan al-I'tidal Version (v1)

🏛 Riset & Pengembangan

Model ini merupakan proyek penelitian yang dikembangkan oleh Artificial Intelligence Literacy and Innovation Institute (ALII). Inisiatif ini berfokus pada digitalisasi dan preservasi warisan literatur Islam Nusantara menggunakan teknologi kecerdasan buatan terkini.

Untuk informasi lebih lanjut mengenai inisiatif kami, silakan kunjungi website resmi kami: 🔗 alii.uinjkt.ac.id

📌 Deskripsi Model

Model ini merupakan hasil fine-tuning dari Llama-3 8B menggunakan teknik LoRA (Low-Rank Adaptation) dengan optimasi dari Unsloth. Proyek ini bertujuan untuk menyediakan model bahasa (LLM) yang memiliki pemahaman mendalam terhadap literatur klasik Islam (Turats), khususnya dalam disiplin ilmu hadis (Ilmu al-Rijal).

Pada versi miz_idl_v1, model dikhususkan untuk mengenali, merangkum, dan menganalisis profil perawi hadis yang tercantum dalam kitab monumental Mizan al-I'tidal karya Imam Adz-Dzahabi.

🚀 Fitur Utama

• Pemahaman Kontekstual: Mampu menjelaskan biografi singkat perawi.
• Analisis Kredibilitas: Menyajikan penilaian Imam Adz-Dzahabi (Jarh wa Ta'dil).
• Bahasa Indonesia Lokal: Dioptimalkan untuk instruksi dan respon dalam Bahasa Indonesia yang formal dan akademis.

🛠 Detail Training

Eksperimen ini dilakukan dengan konfigurasi berikut:

• Base Model: unsloth/llama-3-8b-bnb-4bit
• Data Training: 16,885 entri dataset perawi hadis (Mizan al-I'tidal).
• Hardware: NVIDIA L40S (48GB VRAM) pada infrastruktur RunPod.
• Konfigurasi LoRA:
  • Rank (r): 32
  • Alpha: 32
  • Target Modules: q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj.
• Optimasi: Pelatihan 2x lebih cepat menggunakan library Unsloth.

📖 Cara Penggunaan (Inference)

Anda dapat memuat model ini menggunakan library peft dan transformers. Berikut adalah contoh cuplikan kode:

from unsloth import FastLanguageModel
import torch

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "ai-literacy-innovation-institute/islamic_nusantara_nlp",
    path_in_repo = "miz_idl_v1",
    load_in_4bit = True,
)
FastLanguageModel.for_inference(model)

# Contoh Instruksi
inputs = tokenizer(
[
    "Berikan profil perawi Aban bin Ishaq menurut kitab Mizan al-I'tidal."
], return_tensors = "pt").to("cuda")

outputs = model.generate(**inputs, max_new_tokens = 256)
print(tokenizer.batch_decode(outputs))