Instructions to use Novaciano/DOLPHIN3.0-L3.2-1B_RP_UNCENSORED-GGUF with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use Novaciano/DOLPHIN3.0-L3.2-1B_RP_UNCENSORED-GGUF with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf Novaciano/DOLPHIN3.0-L3.2-1B_RP_UNCENSORED-GGUF # Run inference directly in the terminal: llama cli -hf Novaciano/DOLPHIN3.0-L3.2-1B_RP_UNCENSORED-GGUF
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf Novaciano/DOLPHIN3.0-L3.2-1B_RP_UNCENSORED-GGUF # Run inference directly in the terminal: llama cli -hf Novaciano/DOLPHIN3.0-L3.2-1B_RP_UNCENSORED-GGUF
Use pre-built binary
# Download pre-built binary from: # https://github.com/ggerganov/llama.cpp/releases # Start a local OpenAI-compatible server with a web UI: ./llama-server -hf Novaciano/DOLPHIN3.0-L3.2-1B_RP_UNCENSORED-GGUF # Run inference directly in the terminal: ./llama-cli -hf Novaciano/DOLPHIN3.0-L3.2-1B_RP_UNCENSORED-GGUF
Build from source code
git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-server llama-cli # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama-server -hf Novaciano/DOLPHIN3.0-L3.2-1B_RP_UNCENSORED-GGUF # Run inference directly in the terminal: ./build/bin/llama-cli -hf Novaciano/DOLPHIN3.0-L3.2-1B_RP_UNCENSORED-GGUF
Use Docker
docker model run hf.co/Novaciano/DOLPHIN3.0-L3.2-1B_RP_UNCENSORED-GGUF
- LM Studio
- Jan
- Ollama
How to use Novaciano/DOLPHIN3.0-L3.2-1B_RP_UNCENSORED-GGUF with Ollama:
ollama run hf.co/Novaciano/DOLPHIN3.0-L3.2-1B_RP_UNCENSORED-GGUF
- Unsloth Studio
How to use Novaciano/DOLPHIN3.0-L3.2-1B_RP_UNCENSORED-GGUF with Unsloth Studio:
Install Unsloth Studio (macOS, Linux, WSL)
curl -fsSL https://unsloth.ai/install.sh | sh # Run unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # Then open http://localhost:8888 in your browser # Search for Novaciano/DOLPHIN3.0-L3.2-1B_RP_UNCENSORED-GGUF to start chatting
Install Unsloth Studio (Windows)
irm https://unsloth.ai/install.ps1 | iex # Run unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # Then open http://localhost:8888 in your browser # Search for Novaciano/DOLPHIN3.0-L3.2-1B_RP_UNCENSORED-GGUF to start chatting
Using HuggingFace Spaces for Unsloth
# No setup required # Open https://huggingface.co/spaces/unsloth/studio in your browser # Search for Novaciano/DOLPHIN3.0-L3.2-1B_RP_UNCENSORED-GGUF to start chatting
- Atomic Chat new
- Docker Model Runner
How to use Novaciano/DOLPHIN3.0-L3.2-1B_RP_UNCENSORED-GGUF with Docker Model Runner:
docker model run hf.co/Novaciano/DOLPHIN3.0-L3.2-1B_RP_UNCENSORED-GGUF
- Lemonade
How to use Novaciano/DOLPHIN3.0-L3.2-1B_RP_UNCENSORED-GGUF with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull Novaciano/DOLPHIN3.0-L3.2-1B_RP_UNCENSORED-GGUF
Run and chat with the model
lemonade run user.DOLPHIN3.0-L3.2-1B_RP_UNCENSORED-GGUF-{{QUANT_TAG}}List all available models
lemonade list
DOLPHIN 3.0 L3.2-1B RP UNCENSORED GGUF
He combinado la versión de Dolphin 3.0 con un dataset de instrucciones roleplay.
¿Qué es Dolphin?
Dolphin 3.0 es la próxima generación de la serie Dolphin de modelos ajustados a instrucciones. Diseñado para ser el último modelo local de propósito general, permitiendo codificación, matemáticas, agentica, llamada a funciones, y casos de uso general.
Dolphin pretende ser un modelo de propósito general, similar a los modelos detrás de ChatGPT, Claude, Gemini. Pero estos modelos presentan problemas para las empresas que quieren incluir la IA en sus productos.
- Mantienen el control del prompt del sistema, depreciando y cambiando cosas a su antojo, lo que a menudo provoca la rotura del software.
- Mantienen el control de las versiones del modelo, a veces cambiando cosas silenciosamente o dejando obsoletos modelos más antiguos en los que confía su empresa.
- Mantienen el control de la alineación y, en particular, la alineación es única y no se adapta a la aplicación.
- Pueden ver todas tus consultas y potencialmente pueden utilizar esos datos de formas que tú no querrías. Dolphin, en cambio, es dirigible y da el control al propietario del sistema. Tú estableces el prompt del sistema. Tú decides la alineación. Usted tiene el control de sus datos. Dolphin no te impone su ética ni sus directrices. Usted es quien decide las directrices.
Dolphin te pertenece, es tu herramienta, una extensión de tu voluntad. Del mismo modo que eres personalmente responsable de lo que haces con un cuchillo, una pistola, el fuego, un coche o Internet, tú eres el creador y originador de cualquier contenido que generes con Dolphin.
https://erichartford.com/uncensored-models
Plantilla de Chat
Usamos ChatML para la plantilla de chat.
<|im_start|>system
Eres Dolphin, un útil asistente de IA.<||im_end|>
<|im_start|>user
{prompt}<|im_end|>
<im_start>assistant
Mensaje del Sistema
En Dolphin, el prompt del sistema es lo que usas para establecer el tono y la alineación de las respuestas. Puedes establecer un carácter, un estado de ánimo, reglas para su comportamiento, y hará todo lo posible por seguirlas.
Asegúrese de configurar el prompt del sistema para establecer el tono y las directrices de las respuestas - De lo contrario, actuará de una manera predeterminada que podría no ser lo que usted desea.
Ejemplo de uso del indicador del sistema:
<|im_start|>system
Eres Dolphin, un asistente de codificación golang. sólo codificas en golang. Si el usuario solicita cualquier otro lenguaje de programación, devuelva la solución en golang en su lugar.<|im_end|>
<|im_start|>user
Por favor, implemente A* usando python<|im_end|>
<|im_start|>assistant
- Downloads last month
- 479
We're not able to determine the quantization variants.
