自然:来自FortranAlexNet的代码改自科学界，选自《自然》作者:JeffreyM。Perkel Machine Heart编译Machine Heart编辑部2019年，“事件视界望远镜”团队拍摄了第一张黑洞照片，lenet网络第一卷积层的卷积核大小为5*5，终于，在沉寂了14年之后的2012年，AlexNet在ImageNet挑战赛中一骑绝尘，让卷积神经网络再次成为研究热点。
LeNet5模型在CNN的应用中，字符识别系统中使用的LeNet5模型是非常经典的模型。LeNet5模型是由YannLeCun教授于1998年提出的。它是第一个大规模成功应用于手写数字识别的卷积神经网络，在MNIST数据集上的正确率可以达到99.2%。下面详细介绍LeNet5模型的工作原理。LeNet5模型有七层，每层都包含很多参数，也就是卷积神经网络中的参数。
几何代数中定义的2、张量和卷积神经网络
张量是基于向量和矩阵的推广。用更一般的方式，我们可以把标量看成一个零阶张量，把向量看成一阶张量，那么矩阵就是二阶张量。设A是m*p的矩阵，B是p*n的矩阵，那么设m*n的矩阵C是矩阵A和B的乘积，记为CAB， 其中矩阵C中的行元素和列元素可以表示为:m*n矩阵A和m*n矩阵B的Hadamard积为a * B .其元素定义为两个矩阵对应元素的积:Kronecker积是任意大小的两个矩阵之间的运算，CNN也称为直积或张量积，是一种具有深度结构的前馈神经网络，包含卷积计算，是深度学习的代表性算法之一。
Weight压缩:ConvolutionalNeuralNetwork (CNN)特别适用于目标识别、分类、检测和图像分割等计算机视觉应用。典型模型参数数百万，计算量大；比如AlexNet有6100万个参数(浮点权重占用249MB存储空间)，对一张图片进行分类需要15亿次高精度运算。因此，为了减小CNN的规模和利用资源，有两种方法:模型剪枝(去掉值较小的权重)和权重压缩(用几个比特量化权重)。
LeNet、AlexNet和VGG在设计上的共同点是由卷积层组成的模块充分提取空间特征，然后由全连通层组成的模块输出分类结果。其中，AlexNet和VGG对LeNet的改进主要在于如何拓宽(增加频道数量)和深化这两个模块。在本节中，我们介绍网络中的网络(NiN)。它提出了另一种思路，即把几个由卷积层和“全连通”层组成的小网络串联起来，构建一个深度网络。
如果要在全连接层之后连接卷积层，需要将全连接层的输出转换成四维。1×1卷积层可视为全连通层，其中空间维度(高度和宽度)中的每个元素相当于一个样本，通道相当于一个特征。因此，NiN使用1×1卷积层，而不是全连接层，这样空间信息可以自然地转移到后面的层。下图比较了NiN与AlexNet和VGG等网络之间的主要结构差异。NiN模型NiN是在AlexNet问世后不久提出的。
转自:受限于硬件的弱势，上个世纪深度学习的发展一直不温不火。直到2012年，Alexnet诞生，深度学习开始了前所未有的发展。随着技术的发展，卷积神经网络逐渐取代了以前的全连接神经网络，成为深度学习领域的主流算法。卷积神经网络的优点是可以更好地提取特征和共享权重。从Alexnet开始，VGG就提出了神经网络越深入，效果越好的观点。
这时有人提出了盗梦模型，这是人们第一次关注网络除深度之外的时间复杂度和空间复杂度。图1如图1所示，是Inceptionv1的模型。该模型主要利用1x1卷积进行降维，从而达到减少网络参数和计算量的效果。在接下来的改进中，Inception提出了用两层3x3网络取代5x5网络的奇思妙想，进一步降低了网络复杂度。
哈哈，遇到一个适合回答的问题。你问为什么看到很多模型都是在这些模型上修改的，雷勃说的很清楚，基本模型的进化方案。我想从我在这个行业一年多的角度补充几点，原因如下:1。那是因为你看到的大部分论文都是公开的，而公开的论文需要一个标准的基线和在基线上的改进比较，所以大家都会基于一个公认的基线开始实验，才会更加信服。
5*5 .LeNet是由2019年图灵奖得主、深度学习三大牛人中的两位YannLeCun和YoshuaBengio于1998年提出的。它也被认为是最早的卷积神经网络模型。然而，由于计算能力和数据集的限制，卷积神经网络自提出以来一直受到传统目标识别算法(特征提取分类器)的抑制。终于，在沉寂了14年之后的2012年，AlexNet在ImageNet挑战赛中一骑绝尘，让卷积神经网络再次成为研究热点。
选自《自然》作者:JeffreyM。Perkel Machine Heart编译Machine Heart编辑部2019年，“事件视界望远镜”团队拍摄了第一张黑洞照片。这张照片不是传统的照片，而是对美国、墨西哥、智利、西班牙和南极洲的射电望远镜捕捉到的数据进行了计算数学转换。该团队将代码提供给科学界，并在此基础上进行进一步的探索。而这也逐渐成为一种普遍的模式。
斯坦福大学计算生物学家、2013年诺贝尔化学奖得主迈克尔·莱维特(MichaelLevitt)表示，目前的笔记本电脑在内存和时钟速度方面比其1967年的实验室电脑快1万倍。“今天，我们拥有强大的计算能力，但问题是，它仍然需要人类的思考。没有能够处理研究问题的软件，没有懂得如何编写和使用软件的研究人员，计算机是没有用的，”现在研究和软件密切相关，已经渗透到科研的方方面面。