---
license: apache-2.0
language:
  - ko
  - en
tags:
  - pytorch
  - linux
  - function-calling
  - hybrid
  - rnn
  - attention
  - griffin
pipeline_tag: text-generation
---

# HybriKo-117M-LinuxFC-SFT-v2

**Korean Hybrid LLM fine-tuned for Linux Command Function Calling.**

> 🚀 **20초 만에 Colab에서 실행 가능!** GPU T4에서 바로 테스트해보세요.

## Architecture

<img src="Architecture.png" width="500">

**Griffin-style Hybrid Architecture** - RNN과 Attention을 2:1 비율로 결합하여 효율성과 성능을 동시에 확보합니다.

| Component | Description |
|-----------|-------------|
| **Griffin Block** | RG-LRU (Real-Gated Linear Recurrent Unit) + GeGLU FFN |
| **Attention Block** | GQA (Grouped Query Attention) + RoPE + GeGLU FFN |
| **Pattern** | Griffin → Griffin → Attention (2:1 반복) |
| **Total Layers** | 12 (Griffin 8 + Attention 4) |

## Model Details

| Spec | Value |
|------|-------|
| **Parameters** | 117.8M |
| **d_model** | 768 |
| **n_layers** | 12 |
| **n_heads** | 12 |
| **n_kv_heads** | 3 |
| **max_seq_len** | 6,144 |
| **vocab_size** | 32,000 |

## Training Results

클로드와 제미나이로 5,250개 학습 샘플을 생성하여 대폭 향상된 성능을 달성했습니다.

| Metric | Before (250 samples) | After (5K samples) |
|--------|---------------------|-------------------|
| **Train Samples** | 250 | 4,725 |
| **Eval Loss** | 0.039 | **0.0039** |
| **Action Name Accuracy** | 4% (2/50) | **100% (100/100)** |

> **결론**: 데이터 증가 (250 → 5,000)로 **4% → 100% Action Name 정확도** 달성!

### ⚠️ Known Limitations

- **Action Name**: 100% 정확 (올바른 명령어 선택)
- **Parameters**: 일부 hallucination 발생 가능
  - 파일명/경로가 다르게 생성될 수 있음 (예: `test.txt` → `test.py`)
  - Thought가 의도와 다를 수 있음

> 117M 파라미터의 소형 모델 한계입니다. 더 정확한 파라미터 생성을 위해서는 더 큰 모델과 더 많은 데이터가 필요합니다.

## Supported Commands (21)

```
ls, cd, mkdir, rm, cp, mv, find, cat, grep, head, 
tail, wc, ps, df, du, top, ping, curl, chmod, tar, Finish
```

## Quick Start (Colab)

```python
!pip install -q huggingface_hub sentencepiece
from huggingface_hub import hf_hub_download
hf_hub_download("Yaongi/HybriKo-117M-LinuxFC-SFT-v2", "demo_colab.py", local_dir=".")

!python demo_colab.py --query "디스크 사용량을 확인해줘"
!python demo_colab.py --query "test.txt 파일을 삭제해줘"
!python demo_colab.py --query "backup.tar.gz 압축 풀어줘"
!python demo_colab.py --query "현재 폴더의 파일 목록을 보여줘"
```

## Example Outputs (Actual Results)

```
Input: 디스크 사용량을 확인해줘
----------------------------------------
Thought: 디스크 용량을 확인합니다.
Action:  df_command
Input:   {"options": "-h --total"}
----------------------------------------

Input: test.txt 파일을 삭제해줘
----------------------------------------
Thought: rm 명령어로 삭제합니다.
Action:  rm_command
Input:   {"path": "test.py", "recursive": false}  ⚠️ 파일명 hallucination
----------------------------------------

Input: backup.tar.gz 압축 풀어줘
----------------------------------------
Thought: 파일들을 묶어서 압축합니다.  ⚠️ Thought 오류 (실제로는 압축 해제)
Action:  tar_command
Input:   {"options": "-xzf", "archive": "data.tar.gz"}  ⚠️ 파일명 hallucination
----------------------------------------

Input: 현재 폴더의 파일 목록을 보여줘
----------------------------------------
Thought: ls 명령어로 파일 목록을 봅니다.
Action:  ls_command
Input:   {"path": "/etc", "options": "-lS"}  ⚠️ 경로 hallucination
----------------------------------------
```

> **Note**: Action Name (df_command, rm_command, tar_command, ls_command)은 모두 정확합니다.

## Training Details

| Config | Value |
|--------|-------|
| **Hardware** | A100 x 8 (DDP) |
| **Batch Size** | 32 (1 × 8 GPUs × 4 grad accum) |
| **Learning Rate** | 5e-5 |
| **Warmup Steps** | 100 |
| **Epochs** | 15 |
| **Base Model** | HybriKo-117M (exp7_phase1) |

## Files

| File | Description |
|------|-------------|
| `pytorch_model.pt` | Model weights |
| `HybriKo_tok.model` | SentencePiece tokenizer |
| `demo_colab.py` | Colab demo script (auto-downloads all files) |
| `configuration_hybridko.py` | Model config |
| `modeling_hybridko.py` | Model implementation |

## License

Apache 2.0

## Citation

```bibtex
@misc{hybridko-linuxfc-2026,
  title={HybriKo-117M-LinuxFC-SFT-v2: Korean Hybrid LLM for Linux Function Calling},
  author={Yaongi},
  year={2026},
  publisher={HuggingFace},
  url={https://huggingface.co/Yaongi/HybriKo-117M-LinuxFC-SFT-v2}
}
```