Skip to content

低位量化学习入口 ​

量化说明已整理到05. FP8、FP4 与整数量化:先用一组数字解释 scale、舍入和分组,再比较 INT4、FP8、FP4 与 W4A16。

实际选型与实验方法见06. 怎样选择与验证精度。从零学习可从专题导读开始;显存、缓存与并发的关系见显存账本。

别急,先让缓存热一下。