神经网络的训练本质上是一个优化问题：我们希望找到一组参数，使得损失函数尽可能小。上一篇文章介绍了梯度下降的基本思想：沿着梯度方向更新参数。本文将从最简单的SGD开始，逐步介绍各种优化算法，并延伸到2024-2025年大模型训练中最新、最常用的优化器。
优化算法的统一框架
在开始之前，先用一个统一的视角来理解所有优化算法。无论算法多么复杂，它们的核心思想都可以归结为解决两个问题：
123456789101112131415┌─────────────────────────────────────────────────────────────┐│ 优...
大模型、深度学习、人工智能……这些词我们经常听到，但它们背后的核心是什么？答案是：神经网络。神经网络是现代 AI 的基础。从手机上的语音助手，到 AlphaGo 战胜围棋世界冠军，再到 ChatGPT 能写诗、编程、回答问题，背后都是神经网络在"思考"。那么，神经网络到底是什么？它是如何"学习"的？这篇文章将用一个生活中的例子——预测孩子身高，带你从零开始理解神经网络的核心概念：
神经网络：一个由简单计算单元组成的"大脑"
梯度：告诉模型"该往哪个方向调整"的信号
反向传播：高效计算梯度的巧妙算法
不需要...
1. 何为激活函数
1.1 定义与核心角色
激活函数是神经网络中引入非线性的核心组件，本质是将神经元的加权输入总和映射到特定输出范围。在多层神经网络中，若没有激活函数，无论网络多深，其整体表达仍等价于单一线性变换，无法拟合复杂的非线性模式。对于神经网络中的神经元 iii，其输出为 ai=f(∑jwijxj+bi)a_i = f(\sum_{j} w_{ij} x_j + b_i)ai=f(∑jwijxj+bi)，其中 f(⋅)f(\cdot)f(⋅) 为激活函数，wijw_{ij}wij 为权重，bib_ibi 为偏置。激活函数决定了神经元的输出强度、信息传递方式以及模型的...
近年来，大模型在人工智能领域取得了显著进展。从 ChatGPT 的横空出世到 DeepSeek 的迅速崛起，AI 正在重塑各行各业的未来。其中，DeepSeek凭借低成本、高性能以及开源策略，迅速成为行业焦点。随着其广泛应用，DeepSeek成功破圈，进入更大众的视野，使AI技术逐渐平民化。
然而，即便是强如DeepSeek这样的通用大模型，虽然在广泛的任务中表现出色，但在一些特定领域落地应用中，仍面临诸多挑战。例如，在医疗、法律、游戏等高度专业化的领域，通用模型可能无法充分理解复杂的领域知识或满足严格的合规要求，从而限制了其提供更深层次服务的能力。
因此，为了在特定场景中实现更好的效果...
大模型产品
国外大模型产品
在前篇文章中，通俗地介绍了大模型的概念原理，本篇将介绍大模型的应用实践。在开始之前，先简单汇总下国内外的大模型产品。目前国外的大模型龙头企业主要有美国的OpenAI，Google，Anthropic和X AI，以及欧洲的Mistral AI。
其中，Open AI是全世界最早做出大模型的公司，当前的产品类型也覆盖最广，除了有全球最优的综合类大模型ChatGPT系列外，在图片、音频和视频等领域也都有相应的头部产品。
Anthropic是由部分从Open AI离职的人创建的，旗下的大模型产品Claude 4.0 Opus，在数学和科学领域超越了人类专家水平。其首创...
大模型的爆火
近年来，大模型在人工智能领域取得了显著进展。从 ChatGPT 的横空出世到 DeepSeek 的迅速崛起，AI 正在重塑各行各业的未来。其中，DeepSeek凭借低成本、高性能以及开源策略，迅速成为行业焦点。随着其广泛应用，DeepSeek成功破圈，进入更大众的视野，使AI技术逐渐平民化。
现在去网上搜索与大模型相关的报道，会发现大模型好像无所不能。大模型既可以当医生，也可以开发游戏赚钱，还可以做数据分析和音乐生成，好像是一个全能型选手。然而，实际去使用大模型，又会发现它其实是有所不能的。比如图中画了一个五环，问大模型有几个圆圈，他会数成6个，让他再确认，也还是6个。这里...