Генерация текстов, тематика: физика
Для пользователей text-generation-webui
В инструменте поломана работа с GPT-2, GPTJ, GPT-NEO и аналогичными модлями, неверно загружается токенизер.
Ошибка такая:
eos_token_id = eos_token_id[0] IndexError: list index out of range
Исправляется легко, в файл modules/models.py в функцию load_tokenizer() надо добавить строчку
tokenizer.eos_token_id = 2
перед
return tokenizer
- Downloads last month
- 4
Install from pip and serve model
# Install vLLM from pip: pip install vllm# Start the vLLM server: vllm serve "zlsl/m_physics"# Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "zlsl/m_physics", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'