256k大概需要多少显存才可以支持？
#2
by chaochaoli - opened
如题
用tensorRT的话，八卡能跑256k
用tensorRT的话，八卡能跑256k
你好，请问是什么样的显卡配置，谢谢
我们用的h800或者a800，单卡80G
13b 模型需要这么大的显存吗？640GB？！我运行Vicuna 13b 16k 未量化只需要30多GB啊。
我查看了65B模型的介绍页，硬件需求如下：
XVERSE-65B Inference BF16/FP16 500GB 2*A800 80G
65B模型推理只需要2张A800，为什么13B需要更多显存呢？
13b 模型需要这么大的显存吗？640GB？！我运行Vicuna 13b 16k 未量化只需要30多GB啊。
跑16K不用那么多显存，跑256K需要8卡。因为显存随着序列长度成平方倍增长
我查看了65B模型的介绍页，硬件需求如下：
XVERSE-65B Inference BF16/FP16 500GB 2*A800 80G65B模型推理只需要2张A800，为什么13B需要更多显存呢？
跑256K需要8卡，因为显存随着序列长度成平方倍增长
我查看了65B模型的介绍页，硬件需求如下：
XVERSE-65B Inference BF16/FP16 500GB 2*A800 80G65B模型推理只需要2张A800，为什么13B需要更多显存呢？
跑256K需要8卡，因为显存随着序列长度成平方倍增长
是的，非常对
chaochaoli changed discussion status to closed