试下用最简单的例子解析前向传播和反向传播
发表于|更新于|学习
前向传播(Forward Propagation)和反向传播(Backpropagation)是神经网络训练的两个核心过程。前向传播简单来说就是数据从输入层经过隐藏层最终到达输出层的计算过程——就像工厂流水线,原材料从入口进入,经过各道工序加工,最终产出成品。计算出结果后,将模型预测值与真实值进行比较得到误差,然后反向传播从输出层出发,逆向逐层计算每个参数对总误差的”贡献度”,并据此调整参数以减小误差。本视频用一个超级简单的实例,手把手带你理解这两个过程的具体计算步骤,让你真正明白神经网络是如何”学习”的。
相关推荐
2024-11-29
n-grams:大语言模型的起源
N-grams(N元语法模型)是大语言模型发展的”始祖”技术,理解它是理解现代LLM演进的重要基础。N-grams是一种基于统计的语言模型,它通过计算文本中连续的N个词出现的概率来预测下一个词。例如,2-gram(二元模型)会统计”我→爱”这个组合出现的频率。虽然N-grams模型简单、资源消耗大,但它奠定了现代语言模型的核心思想——根据上文预测下文。从N-grams到基于Transformer的GPT模型,本视频带你追溯语言模型的发展历程。
2024-11-29
神经网络入门之监督学习 vs 非监督学习
监督学习和非监督学习是机器学习的两大基本范式,理解它们的区别是入门AI的第一步。简单来说:监督学习使用带标签的数据进行训练——就像老师拿着标准答案教学生,输入图片并告诉模型”这是猫”、”这是狗”,模型学习输入到输出的映射关系。而非监督学习则使用没有标签的数据,让模型自己发现数据中的结构和模式——就像让学生自己分类一堆没有标签的动物图片,模型可能会根据颜色、大小等特征自动聚类。监督学习适用于分类、回归等任务;非监督学习适用于聚类、降维、异常检测等场景。本视频用生动实例帮你快速理解这两种学习方式的本质区别和各自应用场景。
2024-11-29
通俗理解大语言模型word embeddings
Word Embeddings(词嵌入)是大语言模型理解语言的第一步,也是最重要的一步。简单来说,词嵌入就是将人类语言中的单词转换成计算机能够处理的 numerical vectors(数值向量)。通过这种转换,语义相似的词在向量空间中的距离更近——比如”国王”和”女王”的向量距离会比”国王”和”苹果”更近。更神奇的是,词嵌入还能捕捉到类比关系,例如”国王-男人+女人≈女王”。本视频用生动直观的方式,带你理解词嵌入的核心原理、训练方式(如Word2Vec、GloVe),以及它是如何让大模型真正”理解”语言含义的。
2024-11-29
定制大语言模型LLM用RAG还是微调?
这是每个AI应用开发者都会面临的核心问题:想要让大语言模型适应特定领域,应该选择RAG(检索增强生成)还是微调(Fine-tuning)?本视频从技术原理、实现成本、应用场景和维护复杂度等多个维度进行对比分析。RAG适合需要动态知识更新和检索外部信息的场景,微调适合需要模型学习特定输出风格和格式的场景。视频通过实际案例帮助你做出最合适的技术选型。
2024-11-29
通俗解读大语言模型的Self Attention
Self-Attention(自注意力机制)是Transformer架构的核心创新,也是GPT、BERT等所有主流大语言模型的基础。通俗理解,Self-Attention让模型在处理一个词时能”关注”到句子中所有其他词,学习它们之间的关系和重要性权重。例如在”这只猫没吃鱼因为它饱了”这句话中,Self-Attention能让模型明白”它”指代的是”猫”而非”鱼”。这种动态关注上下文的能力,让大模型能够理解复杂的语义关系、长距离依赖和歧义表达,是ChatGPT能够生成流畅且连贯文本的关键所在。
2024-11-29
ChatGPT常见的One-shot,few-shot是什么鬼
One-shot(单样本学习)和Few-shot(少样本学习)是让大语言模型快速适应新任务的关键技术。简单来说,就是在不进行微调(Fine-tuning)的情况下,通过在提示词中提供少量示例来引导模型理解任务。One-shot是给1个示例,Few-shot是给2-5个示例。例如你想让模型用特定格式输出,只需在提示词中给2-3个正确格式的例子,模型就会自动模仿这种格式。本视频通俗讲解这些概念的原理、使用场景和最佳实践。
公告





