2026-11-22
34美元干翻18.89GB:量化编译器正在抢推理的定价权
开源量化编译器LookAtMyQuant按"每个权重块的伤害"分配比特预算,把264亿参数的Inkling-2-Mini从18.89GB压到5.38GB本地可跑,KL散度比主流Q4_K_M低12倍,全套配方成本仅约34美元GPU时长。...
READ MORE →
共 2 篇带此标签的文章
开源量化编译器LookAtMyQuant按"每个权重块的伤害"分配比特预算,把264亿参数的Inkling-2-Mini从18.89GB压到5.38GB本地可跑,KL散度比主流Q4_K_M低12倍,全套配方成本仅约34美元GPU时长。...
1700万行Lean代码、数十人独立复现、多个独立证明检查器全部通过——喧嚣一周的黎曼猜想证明,终于被数学界盖章:为真。