PyTorch从零开始

欢迎来到 PyTorch 的世界如果你正准备踏入深度学习的大门PyTorch 是你绕不开的工具。别被它看似高深的名字吓到其实它非常 Pythonic符合 Python 的编程风格上手难度并不高。这篇文章将带你从零开始理解 PyTorch 的核心概念。一、为什么学PyTorchPyTorch 是目前最流行的深度学习框架简单易用、动态图机制、Python 原生风格对新手极其友好。学习 PyTorch 第一步先掌握核心数据结构 —— 张量Tensor它就是 PyTorch 里的 “数组”所有运算都围绕它展开。二、环境准备1. 安装 PyTorch最稳妥的方法是去 PyTorch 官网获取适合你系统的命令。如果你是初学者且没有 NVIDIA 显卡或者不想折腾 CUDA先安装 CPU 版本即可pipinstalltorch torchvision torchaudio2. 验证安装打开你的 Python 编辑器如 Jupyter Notebook 或 PyCharm输入以下代码。如果没报错并输出了版本号恭喜你第一步成功了importtorch print(fPyTorch 版本: {torch.__version__})# 检查是否有可用的 GPU (如果没有显卡这里会输出 False)print(fCUDA 是否可用: {torch.cuda.is_available()})三、PyTorch 核心基础张量Tensor1. 什么是张量在 PyTorch 中张量Tensor是绝对的主角。你可以把它简单理解为多维数组。0 维张量标量一个数字比如5。1 维张量向量一排数字比如[1, 2, 3]。2 维张量矩阵一个表格比如[[1, 2], [3, 4]]。3 维及以上可以想象成一个“数据块”比如 RGB 彩色图片就是一个 3 维张量长 × 宽 × 3个颜色通道。张量 PyTorch 中存储和运算的基本单位2. 创建张量最常用方法importtorch# 1. 从 Python 列表创建data[[1,2],[3,4]]x_datatorch.tensor(data)# 2. 创建全 0 或全 1 的张量 (常用于初始化)zerostorch.zeros(2,3)# 2行3列的全0矩阵onestorch.ones(2,3)# 2行3列的全1矩阵# 3. 创建随机数 (神经网络初始化常用)randtorch.rand(2,3)# 0到1之间的随机数print(x_data.shape)# 查看形状输出: torch.Size([2, 2])print(x_data.dtype)# 查看数据类型输出: torch.int643. 张量的数据类型新手常用两种torch.float32浮点型训练模型默认torch.int64整型标签常用xtorch.tensor([1,2,3])x_floatx.float()# 转浮点型x_intx.long()# 转整型4. 张量索引与切片基础索引PyTorch 的索引规则与 Python 原生的列表以及 NumPy 数组非常相似。对于一维张量你可以直接使用方括号和数字来访问元素。需要注意的是索引是从 0 开始的同时也支持负数索引-1 代表最后一个元素。importtorch# 创建一个一维张量xtorch.tensor([10,20,30,40,50])# 访问第一个元素print(x[0])# 输出: tensor(10)# 访问最后一个元素 (负数索引)print(x[-1])# 输出: tensor(50)当我们将目光转向二维张量矩阵时索引变得更加有趣。我们需要同时指定“行”和“列”。虽然你可以使用链式方括号如x[0][1]但在 PyTorch 中更推荐且高效的做法是在一个方括号内用逗号分隔行列索引即x[行, 列]。importtorch# 创建一个 3x3 的矩阵matrixtorch.tensor([[1,2,3],[4,5,6],[7,8,9]])# 访问第 1 行索引0第 2 列索引1的元素 - 数字 2print(matrix[0,1])# 输出: tensor(2)# 访问第 2 行索引1的所有元素# 使用冒号 : 表示“所有”print(matrix[1,:])# 输出: tensor([4, 5, 6])切片操作如果说基础索引是“点”的访问那么切片就是“线”或“面”的提取。切片允许我们提取张量的一部分而不是单个元素。其核心语法是start:stop:step起始:结束:步长。这里有一个新手常犯的错误切片是左闭右开的。这意味着当你写0:2时你取到的是索引 0 和 1 的元素不包含索引 2。importtorch# 创建一个 1 到 10 的张量xtorch.arange(1,11)# [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]# 获取前三个元素 (索引 0, 1, 2)print(x[0:3])# 输出: tensor([1, 2, 3])# 获取中间的元素 (从索引 3 到 7不包含 7)print(x[3:7])# 输出: tensor([4, 5, 6, 7])# 步长切片每隔一个取一个 (从索引 0 开始步长为 2)print(x[::2])# 输出: tensor([1, 3, 5, 7, 9])易踩坑点PyTorch 的原生切片操作不支持负步长Negative Step。如果你习惯了 Python 中[::-1]这种优雅的倒序写法在 PyTorch 中直接使用会直接报错ValueError: step must be greater than zero。错误示范importtorch# 创建一个一维张量xtorch.tensor([1,2,3,4,5])# 尝试使用负步长倒序try:print(x[::-1])exceptValueErrorase:print(f报错啦:{e})# 输出: 报错啦: step must be greater than zero既然不能用[::-1]我们该怎么实现倒序翻转呢PyTorch 提供了专门的函数和高级索引方法。使用专用函数这是最规范、最高效的写法。PyTorch 提供了torch.flip()函数你可以指定沿着哪个维度进行翻转。importtorch# 创建一个一维张量xtorch.tensor([1,2,3,4,5])# dims[0] 表示沿着第0个维度也就是唯一的那个维度翻转reversed_xtorch.flip(x,dims[0])printPyTorch 禁止在切片中使用负步长主要是为了维护内存视图的简单性和计算效率因为反向切片会破坏内存的连续性布局导致实现复杂且性能下降因此官方推荐使用专门的torch.flip()函数来实现翻转操作。负索引切片可以使用负索引来从张量尾部进行切片importtorch# 创建一个一维张量xtorch.tensor([1,2,3,4,5])# 使用负索引slice_1x[-3:]# 获取最后三项 补全是从[-3::1] 也就是从-3位置取到末尾步长为1print(slice_1)# 输出tensor([3,4,5])# 使用负索引切片slice_2x[-5:-2]# 获取倒数第五到倒数第二的元素print(slice_2)# 输出tensor([1,2,3])四、PyTorch 基础运算PyTorch 的运算操作和 NumPy 非常像但 PyTorch 可以在 GPU 上加速运算。张量运算和 Python 数学运算几乎一致直接用符号即可无需复杂语法。1. 逐元素运算这些是**逐元素Element-wise**的操作即对应位置的数字进行计算。xtorch.tensor([1,2,3])ytorch.tensor([4,5,6])# 加法print(xy)# 减法print(x-y)# 乘法print(x*y)# 除法print(x/y)# 幂运算print(x**2)2. 矩阵乘法神经网络的核心就是矩阵乘法。在 PyTorch 中我们有两种主要方式\*逐元素相乘上面讲过了。或torch.matmul()真正的矩阵乘法。# 矩阵乘法示例# 规则前一个矩阵的列数必须等于后一个矩阵的行数mat_atorch.tensor([[1,2],[3,4]])# 2x2mat_btorch.tensor([[5,6],[7,8]])# 2x2resultmat_a mat_b# 计算过程第一行乘第一列 1*5 2*7 19print(result)3. 聚合运算维度的“轴”在深度学习中我们经常需要将一堆数据汇总成一个数值或者沿着某个方向进行汇总。什么是dim这是PyTorch中最容易让人晕头转向的概念。请记住一句话dim指的是“消失”的那个维度当我们在执行聚合运算如sum,mean,max时我们需要告诉PyTorch沿着哪个方向 “挤压” 数据。dim0沿着第 0 维行挤压。结果是行没了剩下列的统计值。dim1沿着第 1 维列挤压。结果是列没了剩下行的统计值。importtorch# 创建一个 2x3 的矩阵# [[1, 2, 3],# [4, 5, 6]]xtorch.tensor([[1,2,3],[4,5,6]],dtypetorch.float)# 1. 全局聚合把所有数字压成一个数print(f总和:{x.sum()})# 21.0# 2. 按列聚合 (dim0)把行“拍扁”计算每一列的和# [14, 25, 36] - [5, 7, 9]print(f按列求和 (dim0):{x.sum(dim0)})# 3. 按行聚合 (dim1)把列“拍扁”计算每一行的和# [123, 456] - [6, 15]print(f按行求和 (dim1):{x.sum(dim1)})常见的聚合函数xtorch.tensor([[1,2,3],[4,5,6]])# 总和print(x.sum())# 均值print(x.float().mean())# 最大值print(x.max())# 按维度求和dim0 列dim1 行print(x.sum(dim0))Softmax与Argmax在分类任务中有两个函数出镜率极高它们也是聚合运算的一种特殊形式。Softmax将数值转化为概率神经网络的输出通常是任意范围的实数比如[-2.0, 5.0, 1.3]我们无法直接判断它属于哪一类。Softmax 的作用就是把这些数值“压缩”到 (0, 1) 之间并且让它们的和为 1从而变成概率分布。关键点Softmax 也是依赖dim的。通常在分类任务中我们对特征维度通常是dim1做 Softmax。# 假设这是模型输出的原始分数 (logits)logitstorch.tensor([[2.0,1.0,0.1]])# 沿着 dim1 进行 Softmaxprobstorch.softmax(logits,dim1)print(probs)# 输出类似: tensor([[0.6590, 0.2424, 0.0986]])# 和为 1表示属于第0类的概率最大Argmax寻找最大值的索引如果我们不关心概率具体是多少只关心**“到底是哪一类”**我们就用argmax。它会返回最大值的下标。# 接着上面的例子predictiontorch.argmax(probs,dim1)print(prediction)# 输出: tensor([0])# 表示模型预测这是第 0 类Item从张量到 Python 数值用于提取张量中的单个元素将其转换为标准的 Python 数值float 或 int。losstorch.tensor(2.56789)# 直接打印张量print(fLoss张量:{loss})# 输出: Loss张量: 2.5679 (依然带有tensor的属性)# 提取为Python数值loss_valueloss.item()print(fLoss数值:{loss_value:.2f})# 输出: Loss数值: 2.57 (现在它是纯粹的浮点数了)注意.item()只能用于只有一个元素的张量。如果张量里有多个数字如[1, 2]调用.item()会报错。五、嵌套与解套这是新手最容易晕的地方。在深度学习中数据经常需要改变形状才能送入网络层。我们常说的“嵌套”通常指增加维度“解套”指减少维度。1. 改变形状Reshape/View如果你有一批数据形状是(2, 3)2行3列你想把它拉平成(1, 6)1行6列可以使用view()或reshape()。tensortorch.tensor([[1,2,3],[4,5,6]])# 形状 (2, 3)# 把它变成 (3, 2)reshapedtensor.view(3,2)print(reshaped)2. 增加维度Unsqueeze——“嵌套”假设你有一张图片形状是(3, 224, 224)通道, 高, 宽。但是神经网络通常要求输入是一个“批次Batch”即使你只有一张图也要变成(1, 3, 224, 224)。这时就需要unsqueeze。xtorch.tensor([1,2,3])# 1维向量形状 (3,)print(x.shape)# 在第 0 维增加一个维度变成行向量yx.unsqueeze(0)print(y.shape)# 输出: torch.Size([1, 3])变成了 [[1, 2, 3]]# 在第 1 维增加一个维度变成列向量zx.unsqueeze(1)print(z.shape)# 输出: torch.Size([3, 1])变成了 [[1], [2], [3]]3. 去除维度Squeeze——“解套”反过来如果你的数据形状是(1, 3)你想把它变回(3,)就用squeeze。它会去除所有长度为 1 的维度。xtorch.tensor([[1,2,3]])# 形状 (1, 3)print(x.shape)# 去除长度为1的维度yx.squeeze()print(y.shape)# 输出: torch.Size([3])print(y)# 输出: tensor([1, 2, 3])小贴士如果维度长度不是 1比如(2, 3)squeeze是不会改变形状的。优化节省内存原地操作在深度学习中数据量往往非常大。如果我们每做一次加法就开辟一块新内存显存很快就会爆掉。为什么 Y Y X 很慢在 Python 中Y Y X的执行过程是这样的计算Y X的结果申请一块新的内存来存储这个结果。把变量名Y指向这块新内存。把旧的Y扔给垃圾回收机制去清理。这不仅慢还浪费内存。原地操作为了解决这个问题PyTorch 提供了“原地操作”。这些函数通常带有一个下划线后缀_例如add_,copy_,zero_。它们直接在原有的内存地址上修改数据不申请新内存。Xtorch.arange(10)Ytorch.arange(10)# 记录 Y 的原始内存地址id_beforeid(Y)# 方式一非原地操作 (Y Y X)# 这会改变 Y 的内存地址YYXprint(f新地址:{id(Y)})print(f地址变了吗?{id_before!id(Y)})# True# 方式二原地操作 (Y.add_(X))# 重置一下 Y 用于演示Ytorch.arange(10)id_beforeid(Y)Y.add_(X)# 等价于 Y Xprint(f原地操作后的地址:{id(Y)})print(f地址变了吗?{id_before!id(Y)})# False地址没变建议在训练循环中尽量利用原地操作或者像optimizer.step()这种封装好的机制来节省宝贵的显存资源。