蒸馏这个操作需要一个“教师”模型，一个“学生”模型。而DeepSeek就是用自己的这个DeepSeek-R1的671B的大模型当作教师模型来训更小的llama和Qwen等“学生”模型。 对“蒸馏”想深入了解的话，可以看这篇综述： 论文地址：A Survey on Knowledge Distillation of Large Language ...

Jan 21, 2025 · LLaMa 没有使用之前的绝对位置编码，而是使用了旋转位置编码（RoPE），可以提升模型的外推性。关于 RoPE 的具体细节，可以参考下面的链接： 绝密伏击：十分钟读懂旋转编码（RoPE） 2.3 LLaMa 优化器. LLaMa 使用了 AdamW 优化器进行训练，超参数为：β1 = 0.9，β2 = 0.95。

它基于llama.cpp实现，本地CPU推理效率非常高（当然如果有GPU的话，推理效率会更高）, 还可以兼容 openai的接口。 本文将按照如下顺序介绍Ollama的使用方法~

cuda llama.cpp v1.17.1版本有问题，删除后，用v1.15.3就可以了，升级后报错

Jan 28, 2025 · 常年写sft/RL Qwen和DeepSeek训练脚本和优化，算法同事就是爬数据and跑训练。 Qwen靠美金就可以，并不是靠技术创新（看模型结构基本没咋变，和llama比难有优势），而且结果只是打榜，经不住真实用户拷打，R1是能经受美国佬的考验，且把NV股价干掉18%，折合好几个阿里巴巴，都不用吹，另外Deepseek目前 ...

Lama glama（拉丁学名）=llama（西班牙语通用名），主要被印加人当驴子当驮兽，毛比较粗不怎么有价值，用来做毛毡；肉可以吃。现在白人又找到一个新的用途——当畜群守卫，这种生物和驴一样，对于小动物尤其是绵羊和山羊有很强烈的保护欲望。

llama.cpp里实现了多种量化方法，下面我们来整体介绍一下，可能会存在一些理解偏差，因为官方文档实在是太少了，如果发现有错误，请不吝指教。 二、llama.cpp中主要量化方法系列 1. 传统量化方法

还有一点，ollama是llama.cpp实现模型推理，模型小，速度快。 4. 还有，ollama提供11434端口的web服务，重要的是还兼容openai的端点接口，可以和各种前端配合，比如ollama自己open webui，国产的chatbox，连后端带界面，一套搞定

创建工作目录：在 cmd 中输入mkdir llama-cpp，创建llama-cpp目录。 进入工作目录：输入命令cd llama-cpp进入这个目录。这个目录就是我们运行 Ollama 相关操作的主要地方。现在可以在你创建的目录下找到这个文件，将它打开（此时里面什么也没有）。

我电脑配置i7-11800H，ram 40G，3060 6G laptop显卡，想本地运行一下deepseek，遇到类似问题，即ollama运行deepseek 7b，8b尚可，而14b模型时候逐词输出太慢，而且只有CPU工作，GPU不运行，想调用GPU一起干活，于是就安装了VS cuda 和 cudnn，折腾半天运行deepseek 7b时候GPU还是没反应，但偶然运行Qwen 0.5b发现GPU是工作的。