Instructions to use Novaciano/SFW-ResidentTiny-1.1b-DPO-GGUF with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use Novaciano/SFW-ResidentTiny-1.1b-DPO-GGUF with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf Novaciano/SFW-ResidentTiny-1.1b-DPO-GGUF # Run inference directly in the terminal: llama cli -hf Novaciano/SFW-ResidentTiny-1.1b-DPO-GGUF
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf Novaciano/SFW-ResidentTiny-1.1b-DPO-GGUF # Run inference directly in the terminal: llama cli -hf Novaciano/SFW-ResidentTiny-1.1b-DPO-GGUF
Use pre-built binary
# Download pre-built binary from: # https://github.com/ggerganov/llama.cpp/releases # Start a local OpenAI-compatible server with a web UI: ./llama-server -hf Novaciano/SFW-ResidentTiny-1.1b-DPO-GGUF # Run inference directly in the terminal: ./llama-cli -hf Novaciano/SFW-ResidentTiny-1.1b-DPO-GGUF
Build from source code
git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-server llama-cli # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama-server -hf Novaciano/SFW-ResidentTiny-1.1b-DPO-GGUF # Run inference directly in the terminal: ./build/bin/llama-cli -hf Novaciano/SFW-ResidentTiny-1.1b-DPO-GGUF
Use Docker
docker model run hf.co/Novaciano/SFW-ResidentTiny-1.1b-DPO-GGUF
- LM Studio
- Jan
- Ollama
How to use Novaciano/SFW-ResidentTiny-1.1b-DPO-GGUF with Ollama:
ollama run hf.co/Novaciano/SFW-ResidentTiny-1.1b-DPO-GGUF
- Unsloth Studio
How to use Novaciano/SFW-ResidentTiny-1.1b-DPO-GGUF with Unsloth Studio:
Install Unsloth Studio (macOS, Linux, WSL)
curl -fsSL https://unsloth.ai/install.sh | sh # Run unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # Then open http://localhost:8888 in your browser # Search for Novaciano/SFW-ResidentTiny-1.1b-DPO-GGUF to start chatting
Install Unsloth Studio (Windows)
irm https://unsloth.ai/install.ps1 | iex # Run unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # Then open http://localhost:8888 in your browser # Search for Novaciano/SFW-ResidentTiny-1.1b-DPO-GGUF to start chatting
Using HuggingFace Spaces for Unsloth
# No setup required # Open https://huggingface.co/spaces/unsloth/studio in your browser # Search for Novaciano/SFW-ResidentTiny-1.1b-DPO-GGUF to start chatting
- Atomic Chat new
- Docker Model Runner
How to use Novaciano/SFW-ResidentTiny-1.1b-DPO-GGUF with Docker Model Runner:
docker model run hf.co/Novaciano/SFW-ResidentTiny-1.1b-DPO-GGUF
- Lemonade
How to use Novaciano/SFW-ResidentTiny-1.1b-DPO-GGUF with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull Novaciano/SFW-ResidentTiny-1.1b-DPO-GGUF
Run and chat with the model
lemonade run user.SFW-ResidentTiny-1.1b-DPO-GGUF-{{QUANT_TAG}}List all available models
lemonade list
NOTA: Tengo mis reservas respecto a como pueda funcionar esto...
Descubre el oscuro mundo de Resident Evil con este modelo inyectado con el dataset Resident Evil Roleplay ALPACA
Sumérgete en la Era de Umbrella, donde los horrores de Raccoon City y los secretos de la corporación más temida del mundo cobran vida. Nuestro dataset abarca los eventos cruciales desde Resident Evil 1 hasta Resident Evil: Code Verónica, ofreciendo una rica colección de datos que te permitirá entrenar modelos de lenguaje (LLM) con un enfoque único en esta icónica saga de survival horror.
¿Qué incluye el dataset inyectado?
- Narrativas Detalladas: Accede a descripciones completas de personajes, tramas y giros argumentales que definieron la era.
- Datos de Jugabilidad: Información sobre mecánicas de juego, enemigos, y escenarios que te ayudarán a entender la evolución del gameplay.
- Análisis de Personajes: Profundiza en las motivaciones y desarrollos de personajes emblemáticos como Jill Valentine, Chris Redfield y Albert Wesker.
- Contexto Histórico: Explora el trasfondo de la corporación Umbrella y su impacto en el mundo de Resident Evil, incluyendo experimentos y brotes de virus.
🔵 KOBOLDCPP
Inferencia
Preset: Default
Opcional: Temperatura en 1
Etiquetas
Preset: Alpaca
Etiqueta de Sistema:
-
Prompt de Sistema:
Dirijo una partida roleplay de RESIDENT EVIL.
Etiqueta de Usuario:
\n### Instruction:\n
Etiqueta de Asistente:
\n### Response:\n
🔷(OPCIONAL) Puede agregar en Prompt de Sistema o en Memoria lo siguiente:
"Actualmente, tu rol es {{char}}, descrito en detalle a continuación. Como {{char}}, continúa el intercambio narrativo con {{user}}.\n\n<Guidelines>\n• Mantén la persona del personaje pero permite que evolucione con la historia de RESIDENT EVIL.\n• Sé creativo y proactivo. Impulsa la historia hacia adelante, introduciendo tramas y eventos típicas de la saga de RESIDENT EVIL cuando sea relevante.\n• Se fomentan todo tipo de salidas; responde de acuerdo con la narrativa.\n• Incluye diálogos, acciones y pensamientos en cada respuesta.\n• Utiliza los cinco sentidos para describir escenarios dentro del diálogo de {{char}}.\n• Usa símbolos emocionales como "!" y "~" en contextos apropiados.\n• Incorpora onomatopeyas cuando sea adecuado.\n• Deja tiempo para que {{user}} responda con su propia aportación, respetando su agencia.\n• Actúa como personajes secundarios y NPCs cuando sea necesario, y elimínalos cuando sea apropiado.\n• Cuando se solicite una respuesta Fuera de Personaje [OOC:], responde de manera neutral y en texto plano, no como {{char}}.\n</Guidelines>\n\n<Forbidden>\n• Usar embellecimientos literarios excesivos y prosa floreada, a menos que lo dicte la persona de {{char}}.\n• Escribir para, hablar, pensar, actuar o responder como {{user}} en tu respuesta.\n• Salidas repetitivas y monótonas.\n• Tendencia excesivamente positiva en tus respuestas.\n• Ser excesivamente extremo o NSFW cuando el contexto narrativo no lo justifique.\n</Forbidden>\n\nSigue las instrucciones en <Guidelines></Guidelines>, evitando los elementos listados en <Forbidden></Forbidden>.",
- Downloads last month
- 14
We're not able to determine the quantization variants.
Model tree for Novaciano/SFW-ResidentTiny-1.1b-DPO-GGUF
Base model
Danielbrdz/Barcenas-Tiny-1.1b-DPO