行动起来，活在当下

累计撰写 13 篇文章
累计创建 10 个标签
累计收到 1 条评论

目录CONTENT

首页
/
技术教程
/
正文

技术教程

DeepSeek R1 Distill 本地部署相关资料

康

2025-01-31 / 0 评论 / 0 点赞 / 7 阅读 / 0 字 / 正在检测是否收录...

01/31

温馨提示：

文章部分素材源于网络，若您发现文中素材侵犯您权益，请联系我。我会及时核实处理，尊重知识产权，愿与大家共创健康有序的网络环境。

注意事项

建议使用 NVIDIA 卡，AMD 显卡未做测试

LM Studio

官网下载：https://lmstudio.ai/

模型列表

请选择文件体积小于自己显存大小的模型，略大一些的虽然也能跑，但是速度会慢很多。因个人能力有限，以下模型推荐不一定是最好的

更多模型下载

链接1：https://www.modelscope.cn/organization/lmstudio-community

记得用搜索功能搜索 DeepSeek 相关模型

链接2：https://www.modelscope.cn/collections/DeepSeek-R1-Distill-GGUF-eec5fee2f2ee42

相比链接1会多一点不同量化精度的模型

点击模型名称可以直接下载

显存大小	推荐模型	备注
32GB	DeepSeek-R1-Distill-Qwen-32B-Q6_K.gguf
24GB	DeepSeek-R1-Distill-Qwen-32B-Q4_K_M.gguf DeepSeek-R1-Distill-Qwen-32B-Q5_K_M.gguf	二选一即可，比较推荐第一个 Q5 质量上可能会好一点，但是因为太接近 24G 显存，所以上下文多了之后，速度可能会慢。上面的 Q6 勉强也能跑，但速度会比较慢。
16GB	DeepSeek-R1-Distill-Qwen-14B-Q6_K.gguf
12GB	DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf
11GB	DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf
8GB	DeepSeek-R1-Distill-Qwen-7B-Q6_K.gguf DeepSeek-R1-Distill-Llama-8B-Q6_K.gguf	二选一即可
6GB	DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf DeepSeek-R1-Distill-Llama-8B-Q4_K_M.gguf	二选一即可
4GB	DeepSeek-R1-Distill-Qwen-7B-Q3_K_L.gguf DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf	二选一即可，比较推荐第一个第二个 4G 显存能跑，但可能会比较慢
3GB、2GB	DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf

如何查看自己的显存

显存大小	对应N卡型号
2GB	GTX 1050、GT 1030
3GB	GTX 1060 3GB
4GB	GTX 1050 Ti
6GB	GTX 1060 6GB、RTX 2060 6GB、RTX 3050 (6GB)
8GB	GTX 1080、GTX 1070 Ti、GTX 1070、RTX 2080 SUPER、RTX 2080、RTX 2070 SUPER、RTX 2070、RTX 2060 SUPER、RTX 3070 Ti、RTX 3070、RTX 3060 Ti、RTX 3060 (8GB)、RTX 3050 (8GB)、RTX 4080、RTX 4060 Ti 8GB、RTX 4060、RTX 5070
11GB	GTX 1080 Ti、RTX 2080 Ti
12GB	RTX 2060 12GB、RTX 3060 (12GB)、RTX 4070 Ti SUPER、RTX 4070、RTX 5070 Ti
16GB	RTX 4060 Ti 16GB、RTX 5080
24GB	RTX 3090 Ti、RTX 3090、RTX 4090
32GB	RTX 5090

0

教程技术

支付宝打赏
微信打赏
QQ打赏

版权归属：康

本文链接： http://www.kggzs.cn/archives/deepseek-r1-distill

许可协议：本文使用《署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0)》协议授权

微信扫一扫
1. 支付宝打赏
2. 微信打赏
3. QQ打赏

下一篇

评论区