关于本地化部署DeepSeek
作者: yangsir 时间: 前天 08:39
各位大佬，求教！本地化部署deepseek怎么部署？硬件资源需要啥配置？有没有啥指南呀
作者: Hakkinen 时间: 前天 08:40
解铃还须系铃人，直接把问题抛给DS问问
作者: 江湖混混 时间: 前天 08:42
不想搞瑟瑟就用在线的好了
作者: njsphinx 时间: 前天 08:46
刚问了Deepseek，16G的低配版Mac mini m4也是可以部署7b或8b版本的，下次试试。
作者: 希利 时间: 前天 09:06
直接ds问，通过docker来部署，网速快30分钟就搞定。
作者: SleeXP 时间: 前天 09:48
据说按照单5080的算力，一秒钟给你蹦4个汉字出来
作者: njalin 时间: 前天 09:49
本地部署，关键需求是可以自己喂知识
作者: 肚子上的肉 时间: 前天 09:49
gpu起码8GB，内存越大越好，要不慢的尼玛不要不要的
作者: huanghuangzym 时间: 前天 12:00
关键是gpu资源
作者: jumpfrog 时间: 前天 12:16
SleeXP 发表于 2025-2-10 09:48
据说按照单5080的算力，一秒钟给你蹦4个汉字出来
我一台2021年京东4000块的集显笔记本，跑8B的模型，一秒钟有5.9token
作者: njegooh 时间: 前天 12:19
用的4070S显卡（12G显存），内存64G，CPU 4核垃圾级，用的LM Studio软件，用的模型版本是14b，解析速度还行
作者: jumpfrog 时间: 前天 12:29
自己在家玩就是炼丹，我周围不少老杆子都在玩。我觉得冬天玩也蛮好，比较不像钓鱼那么冷，一个小时也就是几块钱电费，而且机器开起来热风吹的空调也不用开了。
我认为炼丹分为两大流派，一个是硬派，主要是尝试各种不同的配置跑不同的模型。比较省钱的玩法就是搞二手洋垃圾服务器+二手洋垃圾计算卡。内存越大越好，显卡显存越大越好。去年P40好像是650块吧，现在要2400，不值得了。现在性价比比较高的是V100 16G，950左右，或者2080Ti 魔改22G的，那个2400左右。另外一个是软派，主要是探索模型的微调，以及语料和提示词对各个模型的输出影响。
个人也玩了10来天了，体验如下
1、小模型效果欠佳，其中参数的重要性大于精度的重要性。
2、显卡加入运算可以大幅提高炼丹炉的性能，但是集显也能简单体验。
3、本地模型要联网才能有比较好的体验，比如你问唐探1900票房多少，它会告诉你这个片子还没有，联网版的就比较准确。
4、语料库用上以后，写1000字左右的材料比较好了。
5、ollama和lmstudio，我用lmstudio。因为ollama自动加载显卡，我是集成显卡，所以在ollama下面完全使用cpu，lmstudio可以配置使用gpu+cpu。
作者: pub 时间: 前天 12:48
win10 ，8G ，ollama ，chatbox ，按顺序可以基本使用。
Mac OS也是一样，2012年的电脑一样跑的很好。
作者: liuhua2007 时间: 前天 12:59
网上有一键安装包，微信公众号搜索：glen 就好
作者: MCGA 时间: 前天 13:36
ollama+anythingLLM
作者: yangzy 时间: 前天 13:53
给你一个 参考，我电脑 32G 内存 3070 8G ，运行 8B 流畅，14B 缓慢，接近人类打字速度。 32B 卡成狗。Q5能正常输出， Q8 直接输出乱码，然后记得 内存也要吃够，32B 的一起来32G 内存就吃满了，，
作者: seusz 时间: 前天 14:24
E5洋垃圾，128G内存，12G的魔改2060，14B输出超过我的阅读速度，但基本是胡说八道，32B每秒2-3个汉字，条理和逻辑好得多。
作者: 怪盗一枝梅 时间: 前天 15:01
macmini m4可以本地部署，但是呢怎么说呢，这玩意智障的很，玩玩可以，生产力就算了
英语文书写出来的贴到fakeai网站上检查全是黄标，语法逻辑我自己都看不下去，等于要我自己重写，那我要你ai有毛用。跟gpt出来的真是天壤之别，老老实实每个月继续交20刀
作者: 8849 时间: 前天 15:08
本地部署满血版，需要最新服务器，内存加到24组32GB条子，总计768GB内存，不需显卡运算就能跑。几万块钱。
作者: gisjie 时间: 前天 15:09
本地部署好了，32B，怎么知道卡不卡？
对话很流畅。微信图片_20250210150827.jpg(66.04 KB, 下载次数: 0)下载附件前天 15:08 上传
作者: njsphinx 时间: 前天 17:08
刚在MAC mini上装了一个7b版本，很流畅，还行，先玩玩再说。
作者: 唐伯虾 时间: 前天 17:15
搭了能铮钱？
作者: njsphinx 时间: 前天 17:19
唐伯虾 发表于 2025-2-10 17:15
搭了能铮钱？
随便玩玩，主要官方APP太恶心了，动不动就服务器太忙。
作者: liuhua2007 时间: 前天 17:35
8849 发表于 2025-2-10 15:08
本地部署满血版，需要最新服务器，内存加到24组32GB条子，总计768GB内存，不需显卡运算就能跑。几万块钱。 ...
县城撕裂者
作者: yanxin 时间: 前天 17:58
8849 发表于 2025-2-10 15:08
本地部署满血版，需要最新服务器，内存加到24组32GB条子，总计768GB内存，不需显卡运算就能跑。几万块钱。 ...
才看到一篇文章，老外最低花2000美元硬件部署671b模型，配置512G内存，纯CPU跑
作者: yanxin 时间: 前天 18:00
jumpfrog 发表于 2025-2-10 12:29
自己在家玩就是炼丹，我周围不少老杆子都在玩。我觉得冬天玩也蛮好，比较不像钓鱼那么冷，一个小时也就是几 ...
2080ti 22G的普遍涨价了
作者: jumpfrog 时间: 前天 18:17
MCGA 发表于 2025-2-10 13:36
ollama+anythingLLM
anythingLLM自己都可以下载模型跑。不讲究的话，就这一个软件也就能玩了。
作者: jumpfrog 时间: 前天 18:20
seusz 发表于 2025-2-10 14:24
E5洋垃圾，128G内存，12G的魔改2060，14B输出超过我的阅读速度，但基本是胡说八道，32B每秒2-3个汉字，条理 ...
32B比14B好多了，普通人也就到这个模型了。
作者: 飘落云边的雨 时间: 前天 18:25
个人玩本地没意思。
除非你是公司部署对隐私有要求
作者: oceanjack 时间: 前天 18:29
ollama+chatbox
各位大佬，求教！本地化部署deepseek怎么部署？硬件资源需要啥配置？有没有啥指南呀
作者: Hakkinen 时间: 前天 08:40
解铃还须系铃人，直接把问题抛给DS问问
作者: 江湖混混 时间: 前天 08:42
不想搞瑟瑟就用在线的好了
作者: njsphinx 时间: 前天 08:46
刚问了Deepseek，16G的低配版Mac mini m4也是可以部署7b或8b版本的，下次试试。
作者: 希利 时间: 前天 09:06
直接ds问，通过docker来部署，网速快30分钟就搞定。
作者: SleeXP 时间: 前天 09:48
据说按照单5080的算力，一秒钟给你蹦4个汉字出来
作者: njalin 时间: 前天 09:49
本地部署，关键需求是可以自己喂知识
作者: 肚子上的肉 时间: 前天 09:49
gpu起码8GB，内存越大越好，要不慢的尼玛不要不要的
作者: huanghuangzym 时间: 前天 12:00
关键是gpu资源
作者: jumpfrog 时间: 前天 12:16
SleeXP 发表于 2025-2-10 09:48
据说按照单5080的算力，一秒钟给你蹦4个汉字出来
我一台2021年京东4000块的集显笔记本，跑8B的模型，一秒钟有5.9token
作者: njegooh 时间: 前天 12:19
用的4070S显卡（12G显存），内存64G，CPU 4核垃圾级，用的LM Studio软件，用的模型版本是14b，解析速度还行
作者: jumpfrog 时间: 前天 12:29
自己在家玩就是炼丹，我周围不少老杆子都在玩。我觉得冬天玩也蛮好，比较不像钓鱼那么冷，一个小时也就是几块钱电费，而且机器开起来热风吹的空调也不用开了。
我认为炼丹分为两大流派，一个是硬派，主要是尝试各种不同的配置跑不同的模型。比较省钱的玩法就是搞二手洋垃圾服务器+二手洋垃圾计算卡。内存越大越好，显卡显存越大越好。去年P40好像是650块吧，现在要2400，不值得了。现在性价比比较高的是V100 16G，950左右，或者2080Ti 魔改22G的，那个2400左右。另外一个是软派，主要是探索模型的微调，以及语料和提示词对各个模型的输出影响。
个人也玩了10来天了，体验如下
1、小模型效果欠佳，其中参数的重要性大于精度的重要性。
2、显卡加入运算可以大幅提高炼丹炉的性能，但是集显也能简单体验。
3、本地模型要联网才能有比较好的体验，比如你问唐探1900票房多少，它会告诉你这个片子还没有，联网版的就比较准确。
4、语料库用上以后，写1000字左右的材料比较好了。
5、ollama和lmstudio，我用lmstudio。因为ollama自动加载显卡，我是集成显卡，所以在ollama下面完全使用cpu，lmstudio可以配置使用gpu+cpu。
作者: pub 时间: 前天 12:48
win10 ，8G ，ollama ，chatbox ，按顺序可以基本使用。
Mac OS也是一样，2012年的电脑一样跑的很好。
作者: liuhua2007 时间: 前天 12:59
网上有一键安装包，微信公众号搜索：glen 就好
作者: MCGA 时间: 前天 13:36
ollama+anythingLLM
作者: yangzy 时间: 前天 13:53
给你一个 参考，我电脑 32G 内存 3070 8G ，运行 8B 流畅，14B 缓慢，接近人类打字速度。 32B 卡成狗。Q5能正常输出， Q8 直接输出乱码，然后记得 内存也要吃够，32B 的一起来32G 内存就吃满了，，
作者: seusz 时间: 前天 14:24
E5洋垃圾，128G内存，12G的魔改2060，14B输出超过我的阅读速度，但基本是胡说八道，32B每秒2-3个汉字，条理和逻辑好得多。
作者: 怪盗一枝梅 时间: 前天 15:01
macmini m4可以本地部署，但是呢怎么说呢，这玩意智障的很，玩玩可以，生产力就算了
英语文书写出来的贴到fakeai网站上检查全是黄标，语法逻辑我自己都看不下去，等于要我自己重写，那我要你ai有毛用。跟gpt出来的真是天壤之别，老老实实每个月继续交20刀
作者: 8849 时间: 前天 15:08
本地部署满血版，需要最新服务器，内存加到24组32GB条子，总计768GB内存，不需显卡运算就能跑。几万块钱。
作者: gisjie 时间: 前天 15:09
本地部署好了，32B，怎么知道卡不卡？
对话很流畅。微信图片_20250210150827.jpg(66.04 KB, 下载次数: 0)下载附件前天 15:08 上传
作者: njsphinx 时间: 前天 17:08
刚在MAC mini上装了一个7b版本，很流畅，还行，先玩玩再说。
作者: 唐伯虾 时间: 前天 17:15
搭了能铮钱？
作者: njsphinx 时间: 前天 17:19
唐伯虾 发表于 2025-2-10 17:15
搭了能铮钱？
随便玩玩，主要官方APP太恶心了，动不动就服务器太忙。
作者: liuhua2007 时间: 前天 17:35
8849 发表于 2025-2-10 15:08
本地部署满血版，需要最新服务器，内存加到24组32GB条子，总计768GB内存，不需显卡运算就能跑。几万块钱。 ...
县城撕裂者
作者: yanxin 时间: 前天 17:58
8849 发表于 2025-2-10 15:08
本地部署满血版，需要最新服务器，内存加到24组32GB条子，总计768GB内存，不需显卡运算就能跑。几万块钱。 ...
才看到一篇文章，老外最低花2000美元硬件部署671b模型，配置512G内存，纯CPU跑
作者: yanxin 时间: 前天 18:00
jumpfrog 发表于 2025-2-10 12:29
自己在家玩就是炼丹，我周围不少老杆子都在玩。我觉得冬天玩也蛮好，比较不像钓鱼那么冷，一个小时也就是几 ...
2080ti 22G的普遍涨价了
作者: jumpfrog 时间: 前天 18:17
MCGA 发表于 2025-2-10 13:36
ollama+anythingLLM
anythingLLM自己都可以下载模型跑。不讲究的话，就这一个软件也就能玩了。
作者: jumpfrog 时间: 前天 18:20
seusz 发表于 2025-2-10 14:24
E5洋垃圾，128G内存，12G的魔改2060，14B输出超过我的阅读速度，但基本是胡说八道，32B每秒2-3个汉字，条理 ...
32B比14B好多了，普通人也就到这个模型了。
作者: 飘落云边的雨 时间: 前天 18:25
个人玩本地没意思。
除非你是公司部署对隐私有要求
作者: oceanjack 时间: 前天 18:29
ollama+chatbox
本文转载于9090社区，帖子链接：https://www.kk9090.top/thread-564482-1-1.html