本文已收录于Pytorch系列专栏: Pytorch入门与实践 专栏旨在详解Pytorch,精炼地总结重点,面向入门学习者,掌握Pytorch框架,为数据分析,机器学习及深度学习的代码能力打下坚实的基础。免费订阅,持续更新。
认识张量
张量是一个多维数组 ,它是标量、向量、矩阵的高维拓展。
比如说对于一张图片,它是3维张量,其中RGB就是其第三维张量。
Tensor与 Variable
Variable是Pytorch的0.4.0版本之前的一个重要的数据结构,但是从0.4.0开始,它已经并入了Tensor中了。
Variable是 torch.autograd 中的数据类型,主要用于封装Tensor ,进行自动求导。
- data: 被包装的 Tensor
- grad: data 的梯度
- grad_fn: 创建 Tensor 的 Function ,是自动求导的关键。比如说是加法还是乘法之类的。
- requires_grad: 指示是否需要梯度,有些不需要梯度,设置为false可以节省内存。
- is_leaf: 指示是否是叶子结点(张量)
Tensor
PyTorch0.4.0版开始, Variable 并入 Tensor
- dtype: 张量的数据类型,如 torch.FloatTensor FloatTensor, torch.cuda.FloatTensor(cuda表示数据放在了GPU上)
- shape: 张量的形状,如 (64, 3, 224, 224)
- device: 张量所在设备, GPU/CPU ,是加速的关键
张量的创建
一、直接创建
torch.tensor()
功能:从data 创建 tensor
- data : 数据 , 可以是 list, numpy
- dtype : 数据类型,默认与 data 的一致
- device 所在设备 , cuda cpu
- requires_grad :是否需要梯度
- pin_memory :是否存于锁页内存
实例如下:
其中,cuda表示采用了gpu,0是gpu的标号,由于只有一个gpu,因此是0。
torch.from_numpy(ndarray)
功能:从numpy 创建 tensor
注意事项:从 torch.from_numpy 创建的 tensor 于原 ndarray 共享内存 ,当修改其中一个的数据,另外一个也将会被改动。
实例代码:
通过结果可见,指向相同。
二、依据数值创建
2.1 torch.zeros()
功能:依size 创建全 0 张量
- size : 张量的形状 , 如 (3,3),(3,224,224)
- out : 输出的张量
- layout 内存中布局形式 , 有strided(默认), sparse_coo(这个通常稀疏矩阵时设置,提高读取效率) 等
- device 所在设备 , gpu cpu
- requires_grad :是否需要梯度
code:
可见,该out的值与t相同,因此out是一个输出的作用,将张量生成的数据赋值给另一个变量。
2.2 torch.zeros_like()
功能:依据input 形状创建全 0 张量
- intput : 创建与 input 同形状的全 0 张量
- dtype : 数据类型
- layout 内存中布局形式
2.3 torch. ones()
2.4 torch. ones_like()
功能:input 形状创建全 1 张量
其他参数一样同上。
2.5 torch. full()
2.6 torch.full_like()
功能:依据input 形状创建指定数据的张量
- size : 张量的形状 , 如 (3,3)
- fill_value : 张量的值
code
2.7 torch. arange
功能:创建等差的1 维张量
注意事项:数值区间为[start,end)
- start : 数列起始值
- end : 数列“结束值”
- step : 数列公差,默认为 1
code
2.8 torch. linspace
功能:创建均分的1 维张量
注意事项:数值区间为[start,end)
- start : 数列起始值
- end : 数列结束值
- steps : 数列长度,注意是长度。
它的步长就是(end – start)/ steps。
2.9 torch. logspace
功能:创建对数均分的1 维张量
注意事项:长度为steps, 底为 base
- start : 数列起始值
- end : 数列结束值
- steps : 数列长度
- base : 对数函数的底,默认为 10
2.10 torch. eye()
功能:创建单位对角矩阵(2 维张量)
注意事项:默认为方阵
- n : 矩阵行数
- m : 矩阵列数
三、依概率分布创建张量
3.1 torch. normal()
功能:生成正态分布(高斯分布)
- mean : 均值
- std : 标准差
四种模式: mean为标量, std为标量 mean为标量, std为张量 mean为张量, std为标量 mean为张量, std为张量
后三种基本用法相同,都是根据不同的维数进行
code:
由结果可知,其生成的tensor是上面每一维度的参数生成的。
需要注意的是,对于mean和std都是标量的情况下,需要指定生成的size。
3.2 torch. randn ()
3.3 torch. randn_like ()
功能:生成标准正态分布(均值为0,方差为1)
size : 张量的形状。
3.4 torch. rand()
3.5 torch. rand_like
功能:在区间[0,1) 上,生成均匀分布
3.6 torch. randint ()
3.7 torch. randint_like ()
功能:区间[low, high) 生成整数均匀分布
size : 张量的形状
3.8 torch. randperm ()
功能:生成生成从0 到 n-1 的随机排列
n : 张量的长度
3.9 torch. bernoulli ()
功能 :以 input 为概率,生成伯努力分布(0 1 分布,两点分布)
input : 概率值