mu0y09

Z Highlights

01 DeepSeek的简单介绍

DeepSeek-R1及其蒸馏版本模型突破了AI Reasoning和大规模AI性能的新基准，其中DeepSeek-R1-Zero和DeepSeek-R1，已经在推理和问题求解上树立了新的标准。本次研究聚焦于如何利用已有的机器进行模型部署，使用这些先进的模型进行开发和研究。

DeepSeek不同模型版本和显存占用情况

在部署之前，首先要根据自己设备的显存大小选择合适的DeepSeek模型版本。模型的参数规模、量化技术直接影响模型部署的显存要求，以下表格列举了DeepSeek-R1及其蒸馏模型的显存需求，以及推荐的GPU：

得益于量化技术（GPTQ、AWQ）、推理框架优化（vLLM、TensorRT），DeepSeek的显存需求相比其他大模型可降低约30～70%。因此相比Qwen和Llama等开源模型，DeepSeek对本地部署是更加友好的。

如何选择不同版本的模型部署

除了671B是基础大模型外，其余的1.5B、7B、8B、14B、32B、70B均是蒸馏后的小模型，根据资源的开销和性能的表现，也具有不同的使用场景。

模型参数量越多，能存储和表示的知识内容越丰富，也会具有更强的逻辑推理能力和语义理解能力。

DeepSeek客观指标评估

DeepSeek R1与V3 是基于混合专家（MoE）架构的大型语言模型，拥有6710亿参数，但每次推理仅激活370亿参数。在数学、代码和自然语言推理任务中，R1的表现已与闭源模型OpenAI o1相当，部分基准已经超越OpenAI-o1-mini模型。

DeepSeek-R1模型评估

量化版本模型评估

DeepSeek-R1的技术创新点

DeepSeek-R1是一个开源模型，和OpenAI o1一样具备反思推理，模型整体结构是以Transformer为主的MOE架构。R1模型并不是从头开始训练，而是以DeepSeek-V3作为基础模型，该模型使用14.8万亿高质量token训练，提供了非常强大的基础模型能力。R1的主要训练过程如下：

DeepSeek-R1的训练起点是Deepseek-v3-base模型，作为基础模型训练，为后续的推理优化奠定基础。其核心组件和流程如下：

1、DeepSeek-R1-Zero（中间推理模型）：无需SFT（Supervised Fine-Tuning，有监督微调），仅通过强化学习（Reinforcement Learning, RL）得到DeepSeek-R1-Zero，验证了仅需强化学习就能让模型具备自我验证、反思和生成长思维链（CoT）等推理行为。用于生成高质量数据，包括大量长链式思维（Chain-of-Thought, CoT）示例，为R1冷启动（cold start）提供数据源。

R1-Zero模型通过以规则驱动的（rule-based）大规模强化学习，通过准确率奖励和格式奖励的训练范式，得到一个纯粹通过强化学习来增强的强推理模型，论证了无需数据标注和监督微调阶段，也能提升模型的反思推理能力，且部分能力达到OpenAI-o1水平，但面临着诸如可读性差和语言混杂等挑战。比如模型生成出的格式不是完整的Markdown格式，或者会生成中英文混杂的思考。

2、R1训练的开始：冷启动与面向推理的强化学习

1）冷启动训练：以DeepSeek-v3-base 为起点，使用少量高质量的CoT数据微调（数千个样本，其中一些是从R1-Zero中生成并过滤），用来防止训练的早期不稳定问题，让模型通过示例学习并开始模仿这种分步推理风格。通过冷启动SFT，得到中间态的推理模型，为后续的SFT提供数据

2）面向推理的强化学习RL-1：在冷启动模型基础上进行RL训练，重点提升模型在推理任务上的性能。借助R1-Zero 有时会对语言感到困惑的经验，引入语言一致性奖励：根据思维链中目标语言单词的比例计算，减少推理中语言混合的问题；最终将推理任务的准确性和语言一致性奖励相加，形成综合的奖励函数，对微调后的模型进行强化训练，增强模型能生成反思和验证步骤的详细答案。

3、R1训练的中期：拒绝采样与监督微调

1）拒绝采样与监督微调：利用上一阶段 RL 1模型：（当RL训练接近收敛，使用中间的checkpoint来采样监督微调数据）进行拒绝采样，生成高质量的推理和非推理数据，并用这些数据对模型进行两轮微调。

•一轮为推理数据（约60w精炼数据）：从上阶段RL模型进行拒绝采样，生成推理轨迹；增加其他数据来丰富数据集，其中部分数据采用生成奖励模型，评估生成的正确性和推理的可读性。同时，为提升数据质量，过滤混合语言、长段落和代码块的思维链，对于每个提示，采样多个响应，保留正确响应。

•另一轮为非推理数据（约20w训练样本）：使用DeepSeek-V3 SFT数据集的一部分。对于简单的query，如“你好”，不使用思维链作为回答。经过筛选和整理，最终收集了大约20万个与推理无关的训练样本，用于一般技能，如写作、问答、翻译等。

4、R1训练的终极：通用场景的强化学习

在经过SFT的两阶段训练后，模型在推理准确率、可读性上得到提升，但为确保模型在全场景使用，还需进一步保证输出内容的有用性和无害性，对齐人类的偏好行为，因此还需强化学习来进一步确保R1的安全。

•训练：对于推理任务，采用基于规则的奖励来进行指导，进一步提升模型的思维能力；对于通用场景，采用有用和安全性奖励模型来对齐人类偏好；数据主要由通用QA提示、多样化的推理问题组成。

5、模型蒸馏：多样化部署

利用上述的SFT DeepSeek-R1的80万数据，对Qwen和Llama等开源模型进行了微调（只做了SFT，不包含RL）发现：

1）大模型在RL阶段会出现很多高阶推理模式，而小模型因为容量和表示能力有限，很难在无监督或纯RL情境下学到类似水平；

2）蒸馏能将大模型的推理轨迹，即思考方式转移到小模型，只需进行模仿也能远胜于自身独立强化学习的效果。

02 使用Ollama进行DeepSeek的本地部署

最近DeekSeek官方的服务器不是很稳定，总是出现“服务器繁忙，无法响应”的情况。但由于DeekSeek-R1是开源模型，其实我们都可以在本地部署该模型，从而可以不受限制地使用该模型。以下是使用Ollama + ChatBox进行本地部署的流程：

1、首先下载指定操作系统的Ollama安装包，并进行安装，然后根据当前电脑的运行显存或内存，选择合适的Ollama版本，复制Ollama的运行命令。（https://ollama.com/download）

2、Ollama运行（运行指定版本模型，会自动下载）