运行大模型要多大GPU？一分钟教会你！
经常有朋友问一个问题，怎么快速估算一个大语言模型究竟需要多大的 GPU 才能跑起来？其实这事儿很简单，记住个公式就行。大模型推理的显存主要靠模型参数和占其 20% 左右的 自注意力 KV Cache，通用估算公式就是推理显存 = 模型参数量 × 精度字节数 ×1.2，多乘的 0.2 就是给 KV Cache留的空间…
微信赞赏
相关推荐
2025-12-12
OpenAI红色警报深度解读！
OpenAI的Sam Altman前两天发出了最高级别的“红色警报”！这消息一出，圈内瞬间炸了锅。但你仔细品品，这哪是危机预警，分明是AI王冠易主的信号…
2025-11-07
手把手教你写AI智能体！Function Calling版
最近想花点时间重新熟悉一下Agent构建框架LangChain，其实如果大家记得的话，我两年多前ChatGPT和LangChain刚出来的时候我就分享过不少LangChain的编程知识。但时隔多年，很多功能都已经改变了。现在他们主要的功能编程AI智能体Agent的开发了。如果有长期关注我的，应该知道，我们不用LangChain，直接通过大语言模型的function calling也能做Agent啊，为什么非要用它呢？其实我们还真不是非要用。我们知道框架和库的作用其实就是帮我们做好了封装，让我们用起来更容易而已。今天，我们先试下直接用nodejs来写一个简单的取天气的智能体，让大家先了解下智能体开发的基础流程，然后再下一个视频再用LangChain来做同样事情，大家就会很清楚LangChain带给我们的好处了。我这里用的是DeepSeek的API来实现的。大家先看下… 代码: 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455...
2026-01-06
Claude Skills vs Codebuddy Skills vs MCP
这一集呢，想聊一下腾讯的code buddy的skill，以及和claude skill以及MCP的差别。并且通过一个示例来在code buddy中创建一个skill并使用起来。首先，大家还记得前一段时间跟大家聊过的Claude Skills的工作原理吧，一言以蔽之… 访问入口
2026-04-27
小米MiMo V2.5 Pro！真的能打吗？真实测评报告！
小米MiMo V2.5 Pro的独立真实测评报告！相比于V2 Pro版本，V2.5 Pro在推理能力、多模态理解和编程能力方面都有升级。本视频通过大量实际测试用例，系统评估V2.5 Pro在各项任务上的真实表现。与其他国产顶级模型（DeepSeek、GLM、Qwen等）以及海外模型进行横向对比，帮助用户客观了解这款小米旗舰模型的实力。 访问入口
2025-03-16
Gemini2.0：免费AI版PhotoShop!
第一款能编辑图片的大语言模型免费用啊！AI修图我们见得多了，但是通过对话就能进行修图的大语言模型估计大家没有见过吧，这就是这一集视频想快速跟大家分享的谷歌的这个Gemini 2.0 flash版本。废话不多说，赶紧demo下… 访问入口
2025-04-02
DeepSite：免费AI小应用编程工具
快速分享个刚淘到的免费AI工具，叫做deepsite，基于最新的deepseek 3.1，可以快速生成一些小工具小游戏的APP， deepseek 3.1的编程能力我之前已经测试过了，确实接近甚至超越claude 3.7的水平。 好废话不多说，赶紧去demo下… 访问入口
