运行大模型要多大GPU？一分钟教会你！
经常有朋友问一个问题，怎么快速估算一个大语言模型究竟需要多大的 GPU 才能跑起来？其实这事儿很简单，记住个公式就行。大模型推理的显存主要靠模型参数和占其 20% 左右的 自注意力 KV Cache，通用估算公式就是推理显存 = 模型参数量 × 精度字节数 ×1.2，多乘的 0.2 就是给 KV Cache留的空间…
微信赞赏
相关推荐
2026-01-06
Grok 4.2 杀到！编程能力爆表！
马斯克的 Grok 除了前两天以搞黄色的负面消息冒了个泡，已经好长时间没有走入我们的视野了。但就在大家以为它要掉队时，代号为 Obsidian 的 Grok 4.2 早期测试版正在悄悄惊艳所有人。这次升级最让大家咂舌的不是它搞黄色，而是它的“审美”和“代码力”竟然双双爆表，简直像从一个叛逆少年变成了全能的设计师加程序员…
2025-11-14
李飞飞世界模型免费用！Marble初体验！
上一个视频我们聊了大语言模型存在的问题以及为什么杨立昆、李飞飞等行业领军人物都认为世界模型才是未来，今天呢，我们来看下李飞飞世界模型的落地产品 Marble。 现在大家可以免费上去玩的，千万不要错过… 访问入口
2026-01-06
Claude Skills vs Codebuddy Skills vs MCP
这一集呢，想聊一下腾讯的code buddy的skill，以及和claude skill以及MCP的差别。并且通过一个示例来在code buddy中创建一个skill并使用起来。首先，大家还记得前一段时间跟大家聊过的Claude Skills的工作原理吧，一言以蔽之… 访问入口
2026-02-16
Minimax M2.5 Agent 测评！免费用户怎么选？
前一个视频我们测评了GLM 5 的Agent能力，发现写PPT和Excel都存在点问题，但胜在免费，每个小时都会给我们几次免费的Agent使用额度。这一集准备同样测试下最新的Minimax M 2.5 的Agent能力，同样我也是用免费账号测，因为minimax是每天提供200个积分的，应该足够的了… 访问入口
2025-03-08
Lightning AI：免费微调DeepSeek r1
这可能是最简单的用自己数据微调出自己的DeepSeek r1的方法了。今天淘到的这个AI工具叫做lightning ai，它让我们只需要简单几步就能微调出自己的DeepSeek r1. 而它每月提供免费的GPU额度给我们用，足够我们一般人玩耍了。废话不多说，我们立刻看Demo… 访问入口
2025-03-26
DeepSeek V3.1 + Cline：最强AI编程组合？
今天早上被DeepSeek v3.1的数学能力和编程能力惊艳到了，所以今天赶紧在cline上用起来！如果大家已经用上的，可以忽略这个视频。我们首先打开vscode，去到插件扩展这里找到cline，没有安装的安装上…
