Typically, the practice is to quantize both model weights and activations to INT8.
However, our analysis in Appendix REF  suggests that LLMs' activations may contain extreme outliers.
Concurrently, the emergent outliers in OPT-175B and BLOOM-176B are also discovered [1]}, which influence only about 0.1% feature dimensions and are thus solved by matrix multiplication decomposition for the outlying dimensions.

Обычно практикуют квантование как весов моделей, так и активаций к INT8.

Однако, наш анализ в приложении [REF] показывает, что активации LLM могут содержать крайние выбросы.

В то же время были обнаружены возникающие выбросы в OPT-175B и BLOOM-176B [1]}, которые влияют только на около 0,1% размерностей признаков и решаются декомпозицией матричного умножения для выбросовых размерностей.