Instructions to use c00cjz00/gemma-3-27b-it-dementia-fp16 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use c00cjz00/gemma-3-27b-it-dementia-fp16 with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("image-text-to-text", model="c00cjz00/gemma-3-27b-it-dementia-fp16")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
pipe(text=messages)

# Load model directly
from transformers import AutoProcessor, AutoModelForMultimodalLM

processor = AutoProcessor.from_pretrained("c00cjz00/gemma-3-27b-it-dementia-fp16")
model = AutoModelForMultimodalLM.from_pretrained("c00cjz00/gemma-3-27b-it-dementia-fp16")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
inputs = processor.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(processor.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use c00cjz00/gemma-3-27b-it-dementia-fp16 with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "c00cjz00/gemma-3-27b-it-dementia-fp16"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "c00cjz00/gemma-3-27b-it-dementia-fp16",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Use Docker

docker model run hf.co/c00cjz00/gemma-3-27b-it-dementia-fp16

SGLang

How to use c00cjz00/gemma-3-27b-it-dementia-fp16 with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "c00cjz00/gemma-3-27b-it-dementia-fp16" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "c00cjz00/gemma-3-27b-it-dementia-fp16",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "c00cjz00/gemma-3-27b-it-dementia-fp16" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "c00cjz00/gemma-3-27b-it-dementia-fp16",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Unsloth Studio

How to use c00cjz00/gemma-3-27b-it-dementia-fp16 with Unsloth Studio:

Install Unsloth Studio (macOS, Linux, WSL)

curl -fsSL https://unsloth.ai/install.sh | sh
# Run unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Then open http://localhost:8888 in your browser
# Search for c00cjz00/gemma-3-27b-it-dementia-fp16 to start chatting

Install Unsloth Studio (Windows)

irm https://unsloth.ai/install.ps1 | iex
# Run unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Then open http://localhost:8888 in your browser
# Search for c00cjz00/gemma-3-27b-it-dementia-fp16 to start chatting

Using HuggingFace Spaces for Unsloth

# No setup required
# Open https://huggingface.co/spaces/unsloth/studio in your browser
# Search for c00cjz00/gemma-3-27b-it-dementia-fp16 to start chatting

Load model with FastModel

pip install unsloth
from unsloth import FastModel
model, tokenizer = FastModel.from_pretrained(
    model_name="c00cjz00/gemma-3-27b-it-dementia-fp16",
    max_seq_length=2048,
)

Docker Model Runner
How to use c00cjz00/gemma-3-27b-it-dementia-fp16 with Docker Model Runner:
```
docker model run hf.co/c00cjz00/gemma-3-27b-it-dementia-fp16
```

model file

使用 vllm 安裝

https://huggingface.co/c00cjz00
- c00cjz00/gemma-3-4b-it-dementia
- c00cjz00/gemma-3-12b-it-dementia
- c00cjz00/gemma-3-27b-it-dementia
安裝

vllm serve c00cjz00/gemma-3-27b-it-dementia

範例

1. 範例回答: 我爸最近老是亂拿東西放錯地方，我該怎麼處理？

Thought for 20 seconds

> 嗯，我需要處理一個關於失智症家庭照顧者遇到的挑戰，也就是長輩拿東西放錯地方的問題。首先，我得確保理解照顧者的處境，他們可能感到挫折、無助，甚至覺得長輩故意這樣做。這時候，情緒上的支援很重要，讓他們知道自己不是孤單的。 > > 接下來，根據提供的四個策略，我需要將它們整合，並加入臺灣的在地視角。比如說，臺灣常見的家庭環境可能較小，雜物較多，或者長輩可能習慣使用傳統的收納方式，那麼問題的核心是什麼呢？可能是認知功能退化導致無法記憶物品位置，或者日常習慣改變後適應不良。 > > 策略1提到減少環境混亂，這在臺灣的公寓或華宅中可能需要重新布置，但要注意空間限制。可以建議簡化收納，留足夠的照明，確保物品擺放固定，避免長輩混淆。 > > 策略2強調溝通技巧，建議用肯定方式，例如：「阿公，這杯子放在這裡比較安全，我們一起移動好嗎？」需要用溫和的語氣，避免爭論，尤其要考慮到長輩的尊嚴。 > > 策略3建議使用貼標或記憶輔助工具，這在臺灣可能需要選擇符合當地習慣的標籤類型，如繁體中文標籤，顏色鮮明，易於辨識。此外，可以結合臺灣常見的物品，例如藥盒貼上台語拼音的標籤。 > > 策略4提到使用替代物品，但需要考慮長輩是否有特定愛好，例如喜愛看老照片，可以將照片放在容易看到的地方，而不是拿來當作雜物，減少混亂。 > > 在地視角還要注意文化因素，比如長輩可能習慣把物品放在特定的位置，比如飯廳的桌上，這可能與過去的生活習慣有關，所以需要彈性調整，而不是完全禁止。此外，臺灣的照護資源如日間照顧中心或居家服務可以作為支援，減輕照顧者的負擔。 > > 最後，要確認建議實用且可行，避免建議長輩自己去找失蹤物品，因為這可能讓他們更焦慮。需要鼓勵照顧者先嘗試觀察，比如紀錄物品常被放在哪裡，並提前調整擺放位置，以減少混亂。同時，保持耐心，讓長輩保持自主性，同時緩解照顧者的壓力。

(1) 初步理解：

您觀察到父親最近經常將物品移到錯誤位置，這可能源於失智症所造成的執行功能退化（如記憶力、空間概念喪失）。他並非故意為之，而是腦部功能無法有效處理日常記憶，導致物品混亂。此時，照顧者可能感到挫折或疲憊，需先理解這為疾病影響而非長輩的調皮行為。

(2) 因應對策：

整合臺灣在地視角的四項策略

① 簡化環境混亂：

實例：將儲物櫃拆除，改用透明收納盒標示（如「藥袋」、「衛生紙」），使用繁體中文大字標示，避免太花哨設計。
文化貼切：長輩習慣於特定位置（如飯廳桌上放鑰匙），可將鑰匙鏈掛在固定掛鉤上，避免隨意移動。

② 溫和溝通技巧：

避免衝突：當父親將茶杯放在鞋櫃時，可溫和說：「阿公，這杯子放在這裡會有水滴滴，我幫您移動到桌子好嗎？」
具體指引：改用台語「這物件是安仔放喺呢度較好，我們來搞定一下好嗎？」（安仔=家；較好=比較好）。

③ 輔助工具與習慣建立：

視覺提示：在常丟棄物品的牆壁貼上可移動白板，用馬克筆寫下「手機安」並放上手機圖案。
結合日常儀式：用餐後立即將碗筷放在固定置物架，並口頭重複：「碗仔呢度放！」

④ 替代活動與分散注意力：

善用台灣特色：將「常亂拿的寶玉（如古董）」擺放於玻璃展示櫃，減少誤拿機會。
培養替代活動：帶長輩到社區大稻埕逛廟口，透過視覺刺激降低焦躁感（注意：避免人多吵雜的地方）。

(3) 溫暖建議：

「阿公，我注意到您最近經常幫我們整理餐具，這很照顧人啊！不過可能最近記憶特別累，我們來一起改一下嗎？比如這杯水我幫您用可愛的紅色杯蓋蓋好，放桌邊好嗎？我們一起試試看，好不好？」（身體主動扶住杯子）

(4) 在地資源與實用提醒：

活用社區資源：申請「日間照顧服務」，讓專業人員協助建立固定擺放位置。
台灣常見誤判：避免指責長輩「偷」物品，可能導致他更加不安。
緊急應變技巧：若發現長輩藏入非安全物品（如金錢），可改用「轉移替代」：提供大紅色存錢筒說：「阿公，這錢放到這裡安全、又好看！」

給照顧者的提醒：
您已經做得很好了！身體和心理都需要照顧，建議每週安排喘息服務，或加入本地失智症協會的支援團體。記得在家人面前主動分享技巧，互相分擔壓力。您不是獨自的。

Downloads last month: 4

Safetensors

Model size

27B params

Tensor type

BF16

Model tree for c00cjz00/gemma-3-27b-it-dementia-fp16

Base model

google/gemma-3-27b-pt

Finetuned

google/gemma-3-27b-it

Finetuned

(424)

this model