A newer version of this model is available: unsloth/gemma-2-2b-it-bnb-4bit

You need to agree to share your contact information to access this model

This repository is publicly accessible, but you have to accept the conditions to access its files and content.

Gorani Model Card

소개 (Introduce)

이 모델은 번역을 위한 모델입니다. 한국 고유어의 정확한 번역을 생성하기 위해 한국어, 영어, 일본어의 언어 데이터를 혼합하여 unsloth/gemma-2b-it-bnb-4bit을 학습시켜 생성된 gorani-2B 입니다.
gorani는 현재 한국어, 영어, 일본어만 번역을 지원합니다.

모델 정보

개발자: taeyoon0620
모델 유형: gemma를 기반으로 하는 2B 매개변수 모델인 gorani-2B
지원 언어: 한국어, 영어, 일본어
라이센스: gemma

Training Hyperparameters

per_device_train_batch_size: 8
gradient_accumulation_steps: 4
warmup_steps: 5
learning_rate: 2e-5
fp16: not is_bfloat16_supported()
num_train_epochs: 3
weight_decay: 0.01
lr_scheduler_type: "linear"

학습 데이터

데이터셋 링크

학습 성능 비교

Step	Training Loss	Validation Loss
50	0.856900	1.243296
100	0.637300	1.080636
150	0.561300	1.015324
200	0.523100	0.972539
250	0.491600	0.951547
300	0.485000	0.942520
350	0.457100	0.928466
400	0.482600	0.913566
450	0.445000	0.915080
500	0.447300	0.900509
550	0.443200	0.896823
600	0.420800	0.898253
650	0.430200	0.888035
700	0.428700	0.884415
750	0.416400	0.875832
800	0.397400	0.877212
850	0.403800	0.878696
900	0.410400	0.873603
950	0.423900	0.876391
1000	0.412100	0.874712
1050	0.404000	0.878219
1100	0.391000	0.868475
1150	0.383800	0.867502
1200	0.388800	0.877054
1250	0.382200	0.864894
1300	0.389500	0.862716
1350	0.401100	0.857156
1400	0.364600	0.865956
1450	0.386700	0.858560
1500	0.379200	0.860608
1550	0.370000	0.864580
1600	0.367900	0.863778
1650	0.360100	0.866951
1700	0.372300	0.867361
1750	0.378400	0.867690
1800	0.371100	0.863734
1850	0.376400	0.862673
1900	0.364200	0.862987
1950	0.368000	0.865702
2000	0.374900	0.865652

Downloads last month: -

Inference Providers NEW

This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for taeyoon12321421/gorani-gemma-model-2b

Base model

unsloth/gemma-2b-it-bnb-4bit

Adapter

(14)

this model

taeyoon12321421
/

gorani-gemma-model-2b