作者: mlgbd    时间: 3 天前
用着丐版笔记本捣鼓了几天，蒸馏的模型，以qwen为基础模型蒸馏的答案和官网的比较接近，32b蒸馏模型的答案大概与官网有80%左右的相似度。以llama为基础大模型的答案和官网差距比较大，而且优化的不太好，反应比qwen的慢，不过能问比较敏感的问题，qwen的不行，可能需要引导。32b以下的模型基本没有部署的价值。这些模型都是从huggingface拉取的，好像都是个人做的。

---

作者: 一叶知秋叶原    时间: 3 天前
本地部署的，要自己训练？

---

作者: njegooh    时间: 3 天前
没有特别的本地知识库需求的话，还是用公共的或者API比较好，没几张4090一起干几乎谈不上体验，

谷歌的gemini响应很快还免费

---

作者: mlgbd    时间: 3 天前
一叶知秋叶原 发表于 2025-2-13 11:42
本地部署的，要自己训练？
训练不起来，只能通过知识库的形式，不过现在ai对知识库的rag做的不好，继续等待技术进步吧

---

作者: yanxin    时间: 3 天前
什么硬件配置？

---

作者: mlgbd    时间: 3 天前
yanxin 发表于 2025-2-13 12:42
什么硬件配置？
8845hs，44g内存，推荐huggingface上面的deepseek-r1-distill-qwen-32b-q3_k_l，一秒大概2-3个汉字

---

作者: park    时间: 3 天前
瞎折腾，有免费的不用，自己搞啥。 自己搞跑硬件，除非个人工作需要，否则没必要。真的工作需要就公司买，公司搞。 毕竟硬件也要钱的。

---

作者: vodoo    时间: 前天 08:25
不太明白，为啥要本地部署？

---

作者: phil77    时间: 前天 08:27
vodoo 发表于 2025-2-14 08:25
不太明白，为啥要本地部署？
问个问题动不动就服务器忙的时候就知道本地的好了

---

作者: 无言的痛    时间: 前天 08:37
可以用腾讯元宝的DS满血版，服务器不卡顿，政治问题也不屏蔽了

本文转载于9090社区，帖子链接：https://www.kk9090.top/thread-564842-1-1.html