你需要知道的AI内存知识

日期:2026-08-22 14:18:05 作者:lixunfan 栏目:好玩的 评论(0)
自己在家运行 AI 模型,可以选择两种硬件。一种是独立显卡,目前最顶级的消费级显卡是英伟达的 RTX 5090,带有 32GB 显存,售价3万元人民币左右。另一种是采用板载芯片组(CPU + 板载显卡 + 板载内存)的家用电脑,比如采用 AMD 公司 Strix Halo 芯片组(具体型号 Ryzen AI Max+ 395)的迷你电脑,自带 128GB 内存,售价2万元人民币左右。我问大家,哪种硬件更好?大部分人可能不假思索,就会选择独立显卡,毕竟独立显卡的算力远大于板载芯片组。根据我查到的资料,下面是两者的单精度32位浮点数算力(FP32)。独立显卡(RTX 5090):104.8 TFL...

程序员的职业未来

日期:2026-08-21 14:16:21 作者:lixunfan 栏目:好玩的 评论(0)
程序员这个职业,将来会怎样?现在有很多说法。一些人认为,将来的代码都是 AI 生成,市场不需要那么多程序员。极端情况下,程序员职业可能会消失。另一些人认为,不必杞人忧天,AI 不过替代一部分手工编码,替代不了人类的判断。AI 让世界需要更多的代码,程序员职业不仅不会萎缩,反而继续兴旺下去。我最近看到一个老外对程序员职业的预测,觉得比较靠谱,分享给大家。他不是主观臆断,而是依据行业的内在逻辑,分析接下来最可能的发展。他说,大家要记住,大多数的商业软件开发是一个工业流程,而非手工流程。所谓"工业流程",就是软件生产必须符合工业化的要求,也就是提高效率、降低成本、保证可靠性和稳定...

你需要知道的AI缓存知识

日期:2026-08-19 11:18:26 作者:lixunfan 栏目:好玩的 评论(0)
大模型的价格,主要是 Token 的输入价格和输出价格,这个很容易理解。但是,还有一项"输入 Token 的缓存命中价格",这是什么东西?上图是 DeepSeek V4 Flash 模型的定价,可以看到缓存命中的输入价格只有2分钱,足足是未命中的输入价格的五十分之一!为什么相差这些大?我们能不能充分利用缓存,来降低费用呢?我对于这些问题,以前也不是很了解,最近看了一篇文章,终于理清了思路,今天就来分享。(1)模型输入的收费原因大家知道,使用大模型的时候,需要先有提示词。大模型会将提示词分解成 Token,再将 Token 转成向量值,然后计算所有 Token 之间的注意力关...

您是本站第163842名访客 今日有14篇新文章/评论