LuckyOrz/vqkv_llama3.1-8B

VQKV

The official repo of paper: VQKV: High-Fidelity and High-Ratio Cache Compression via Vector-Quantization

More details, see Github Repo.

Environment Setup

This project uses Python 3.10. You can create a conda environment and install the dependencies from requirements.txt with:

git clone https://github.com/LUMIA-Group/VQKV
cd VQKV
conda create -n vqkv python=3.10 -y
conda activate vqkv
pip install --upgrade pip
pip install -r requirements.txt

Run Inference

You can directly run:

python pred.py

This script runs inference with Llama-3.1-8B.

Future Plans

• Open-source the VQKV of Llama-3.2-3B model.
• Open-source the downstream task evaluation code.
• Open-source the codebook training code.

---

环境安装

本项目使用 Python 3.10。可以通过以下命令创建 conda 环境，并根据 requirements.txt 安装依赖：

git clone https://github.com/LUMIA-Group/VQKV
cd VQKV
conda create -n vqkv python=3.10 -y
conda activate vqkv
pip install --upgrade pip
pip install -r requirements.txt

运行方式

直接运行下面的命令即可：

python pred.py

该脚本会直接运行 Llama-3.1-8B 的推理。

后续计划

• 开源VQKV在 Llama-3.2-3B 上的模型。
• 开源下游任务测试代码。
• 开源码本训练代码。