寻饭小窝平淡是真

这是"AI 小知识系列"的第三篇，前两篇分别是《大模型需要多少内存》和《AI 缓存是什么》。我分享一些自己的学习笔记，用来理清对于 AI 技术的理解。我尽量写得通俗，希望对大家有用。今天谈一个基本问题：AI 为什么能够回答我们的提问，它怎么会知道答案？你可以找到很多这方面的论文和书籍，详细解释大模型的运作，通常非常难懂。但是，对于非专业人士，只要简单知道 AI 的三个机制，就可以了。（1）参数机制在宏观层面，所有大模型都是对人类知识的建模。它建立了一个数学模型，用来描述所有的人类知识。怎么描述呢？它使用的是一种参数机制，将知识分解成一个个"词元"（tok...

自己在家运行 AI 模型，可以选择两种硬件。一种是独立显卡，目前最顶级的消费级显卡是英伟达的 RTX 5090，带有 32GB 显存，售价3万元人民币左右。另一种是采用板载芯片组（CPU + 板载显卡 + 板载内存）的家用电脑，比如采用 AMD 公司 Strix Halo 芯片组（具体型号 Ryzen AI Max+ 395）的迷你电脑，自带 128GB 内存，售价2万元人民币左右。我问大家，哪种硬件更好？大部分人可能不假思索，就会选择独立显卡，毕竟独立显卡的算力远大于板载芯片组。根据我查到的资料，下面是两者的单精度32位浮点数算力（FP32）。独立显卡（RTX 5090）：104.8 TFL...

程序员这个职业，将来会怎样？现在有很多说法。一些人认为，将来的代码都是 AI 生成，市场不需要那么多程序员。极端情况下，程序员职业可能会消失。另一些人认为，不必杞人忧天，AI 不过替代一部分手工编码，替代不了人类的判断。AI 让世界需要更多的代码，程序员职业不仅不会萎缩，反而继续兴旺下去。我最近看到一个老外对程序员职业的预测，觉得比较靠谱，分享给大家。他不是主观臆断，而是依据行业的内在逻辑，分析接下来最可能的发展。他说，大家要记住，大多数的商业软件开发是一个工业流程，而非手工流程。所谓"工业流程"，就是软件生产必须符合工业化的要求，也就是提高效率、降低成本、保证可靠性和稳定...

大模型的价格，主要是 Token 的输入价格和输出价格，这个很容易理解。但是，还有一项"输入 Token 的缓存命中价格"，这是什么东西？上图是 DeepSeek V4 Flash 模型的定价，可以看到缓存命中的输入价格只有2分钱，足足是未命中的输入价格的五十分之一！为什么相差这些大？我们能不能充分利用缓存，来降低费用呢？我对于这些问题，以前也不是很了解，最近看了一篇文章，终于理清了思路，今天就来分享。（1）模型输入的收费原因大家知道，使用大模型的时候，需要先有提示词。大模型会将提示词分解成 Token，再将 Token 转成向量值，然后计算所有 Token 之间的注意力关...