显卡不够用的时候，我都是怎么凑的

我那张卡不大，本地跑模型经常卡在显存上。折腾久了攒了几个土办法，记一下。

• 量化：4bit 比半精度省一大半，代价是模型会"变笨"——简单的抽取、分类任务几乎看不出差别， 多步推理就明显了。
• 上下文别开太大：这块吃显存比想象的快，从 2K 开到 8K，多出来的占用能顶小半个模型。
• 一次只跑一个：看着还剩几百兆就想多用点，结果是两边都跑不快，不如老老实实排队。

还有个感受：显存"勉强够"和"够用"完全是两码事。前者会一直换进换出，慢得想砸电脑。

按"模型 + 长上下文的缓存 + 一点余量"来估，比只看参数量靠谱。

另外，长时间跑下来显存会碎，重启一次进程往往比继续耗着更快——这点一开始没想到。