卷积操作中的矩阵乘法(gemm)—— 为什么矩阵乘法是深度学习的核心所在

首先给大家推荐一下我老师大神的人工智能教学网站。教学不仅零基础,通俗易懂,而且非常风趣幽默,还时不时有内涵黄段子!点这里可以跳转到网站

1. 全连接

这里写图片描述
  • 个输入;
  • 个神经元;
    • 每个神经元都会学到一组权值向量,以和输入进行内积运算;
  • 个输出;

2. 卷积

卷积操作对于高维(多个平面)的输入,单个卷积核的深度应和输入的深度(depth)保持一致:

这里写图片描述

3 维卷积运算执行完毕,得一个 2 维的平面:

这里写图片描述

注, 个3维卷积核以得到 个 feature maps;

3. 卷积操作中的矩阵乘法

  • 按 [kernel_height, kernel_width, kernel_depth] ⇒ 将输入分成 3 维的 patch,并将其展成一维向量;

  • 此时的卷积操作就可转化为矩阵乘法:

references

点这里可以跳转到人工智能网站

发表评论