以深度学习为代表的机器学习技术，已经在很大程度颠覆了传统学科的研究方法。然后，对于传统学科的研究人员，机器学习算法繁杂多样，到底哪种方法更适合自己的研究问题，常常是一大困扰。
从年到年，这15年内，深度学习经历了发展期、爆发期，期间诞生了许多算法原理，众多神经网络也在多项人类任务上都表现优异。例如，年，Hinton课题组为了证明深度学习的潜力，首次参加ImageNet图像识别比赛，其通过构建的CNN网络AlexNet一举夺得冠军，且碾压第二名（SVM方法）的分类性能。
、、、年，通过ImageNet图像识别比赛，DL的网络结构，训练方法，GPU硬件的不断进步，促使其在其他领域也在不断的征服战场。
尤其是年3月，由谷歌旗下DeepMind公司开发的AlphaGo与围棋世界冠军、职业九段棋手李世石进行围棋人机大战，以4比1的总比分获胜之后，更是掀起了一阵深度学习高潮。
爆发之后回归平静，算法井喷之后，目前更多的是需求是面向产品，如何将算法集成起来包装成产品？如何落地？如何促进其他领域的科学研究？能够回答这样的问题，才能更多增加AI价值。
更加具体一些，此类问题可以衍生为：在什么场景下，该应用什么样的深度算法？或者，这些深度学习算法的特点适合什么领域的科学研究？
标准神经网络模型和任务
关于标准的神经网络，普遍认为包括用于图像预测和变换的卷积神经网络、用于化学领域的图神经网络、专长于序列数据的transformer......最基本的深度神经网络当属多层感知器，模型设置非常简单，只有一堆非线性函数组成的全连接层。
虽然简单，但是对付数据可能由一组截然不同的特征组成的问题很有用，例如表格数据。这个模型比逻辑回归和线性回归有更强的表达能力。但是在用的时候，需要对数据进行预处理，选择一些特征集进行计算，并将其用作输入。最近的一项研究是用在了药物开发上面，研究机构是中药质量研究国家重点实验室。
卷积神经网络
多层感知机只是简单的深度网络，在它的基础上，卷积神经网络发展了起来，成为了最广为人知的神经网络家族，其特有的卷积层允许许神经网络在图像的不同空间位置重复使用参数。作为一种对图像数据非常有用的归纳偏差，能够帮助更加有效地学习一些好特征以应用层面来分，卷积神经网络派生了图像分类、目标检测、语义分割和实例分割、图像超分辨率、图像配准、姿势估计......
其中四个的分类的区别大致可以用上图表示他们之间的区别可以大致用上图表示，在分类的时候整个图像只有一个气球标签，而在目标检测中，每个气球都用一个边界框进行定位。而在语义分割中，算法识别的是气球对应的所有像素，在实例分割中分别识别每个单独的气球。
简单来看，图像分类是经过一个函数，输入一个图形，输出一个类别。在医学上将胸部X图片映射到二进制疾病标签，就是图像分类的应用。
常见的用于图像分类的神经网络有：VGG，这个模型在多个迁移学习任务中的表现要优于googLeNet，缺点在于参数量有M之多，需要更大的存储空间；Resnet，能够对付梯度消失和梯度爆炸问题；DenseNet，其特色在于能够通过特征在channel上的连接来实现特征重用；还有最新的ResNeXt和EfficientNets，其能够对网络深度、宽度和输入图像的空间分辨率有单独的缩放系数。图像分类算法已经应用于了许多不同的科学项目，例如分析低温电子显微镜技术，但主要还是在医学上应用广泛，因为从眼科到放射科都需要通过图像预测疾病标签。
如果说图像分类是对图像做一个大致的总结，那么目标检测就深入到图像的一些细节中了。例如给定一张户外图片，里面有树、人、狗，目标检测算法的任务是分别同时识别出这三个物体，并用“圈圈”标记他们。
有很多卷积框架在目标检测方向表现优异，包括最早期的FasterR-CNN，后来在他基础上改进的MaskR-CNN斩获了ICCV年的最佳论文，在实例分割、目标检测、人体关键点检测三个任务都取得了很好的效果。除此之外，很多改进的模型例如，YOLOv3、EfficientDets以及刚刚开源的YOLOv4也是做目标检测的很好选择。
目标检测也是医学方向大爱，在跨模式的肿瘤细胞识别，放射学中的骨折判断都已经有相关研究发布。如果更加深入到图像的底层细节，对图像的像素进行分类，那么这就涉及到语义分割技术了。如果有一张街道图片，里面有道路、车辆、行人等，语义分割算法的目的是确定图片中像素的归属，即是属于车辆，还是属于道路，亦或者属于行人。而实例分割则更加复杂，它要弄明白的是这个像素是属于行人一，还是行人二，还是行人三。
综上，分割模型需要对每个像素进行分类，所以它们输出的不是单个类别的标签和边界框，而是完整的图像。设计分割模型时要求算法能够保存图片的空间信息。当前比较常用的架构是U-net，主要由卷积层、最大池化层（下采样）、反卷积层（上采样）以及ReLU非线性激活函数组成。
FCN，此架构不含全连接层的全卷积网络，可适应任意尺寸输入；增大数据尺寸的反卷积层，能够输出精细的结果；结合不同深度层结果的skip结构，同时确保鲁棒性和精确性。
此外，还有Segnet模型，它在FCN的语义分割任务基础上，搭建编码器-解码器对称结构，实现端到端的像素级别图像分割。
最后，做实例分割，首选MaskR-CNN和最近的Detectron2框架。值得一提的是Detectron2与其他框架不同，其还包含了全景分割这一任务。
分割任务在医学界应用也非常广泛，分割大脑MR图像，识别不同组织中细胞的关键区域，甚至研究骨骼结构等方向已经发表了许多论文。
除了上述四个，图像超分辨率也是卷积神经网络的一个分支应用。对于低分辨率图像，传统的解决方案是想法办在图片上思佳一些约束条件，如稀疏度等。卷积神经网络家族中的SRCNN找到了稀疏编码和卷积神经网络之间的对应关系。RDN网络已经成为实现超分辨率的流行方法。此外，预测滤波流（PredictiveFilterFlow）在图像去噪和去模糊化方向也非常棒。
图像配准是数字图像处理的一种重要应用，用于对齐两幅或多幅相同场景的图片。图像配准需要输入图像与参考图像。输入图像是我们希望变换的图像，参考图像是想要配准输入图像的图像。
这种需要让两幅图像对齐的技术核心是卷积神经网络，通常需要的是编码器-解码器结构的神经网络，例如U-net。
姿势估计也能看做卷积神经网络的应用，重点在于图片中人物的关键节点，例如膝盖、手肘、头部等。2D的姿势估计是计算机的核心问题，此类的数据集和卷积架构也比较多，早期的堆叠沙漏网络结构衍生的各种变种算法，牢牢占据了姿态检测的半壁江山。
最近的网络HRNet，能够通过并行连接高分辨率到低分辨率卷积来保持高分辨率表示，并通过重复跨并行卷积执行多尺度融合来增强高分辨率表示。另外，卡内基梅陇大学也提供了端到端的多人姿势检测系统，用自监督学习实现了人类3D动作追踪。值得一提的是，姿势估计已经在助力动物行为研究的相关项目了。
图神经网络
图是一种非常神奇的表示方式，生活中绝大多数的现象或情境都能用图来表示，例如人际关系网、道路交通网、信息互联网等等。相比于传统的图模型，图网络最大的优势在于它不只可以对一个节点进行语义表示。
可以把图神经网络看做将深度学习技术应用到符号表示的图数据上，或者说是从非结构化数据扩展到了结构化数据。应用特点：数据具有固有的图形结构特点，能够在图结构上学习到一些函数，无论是某些顶点，还是全局都可以。
对随时间演变的图结构执行预测可以使用时空图神经网络。技术参考：大多数图神经网络遵循从顶点邻域聚集信息并使用这些信息来更新特征向量的高级结构。
当前也有一些结构变体与其他的神经网络模型相联系，例如卷积神经网络和递归模型，还有时空图网络已经用来解决视频中动作识别问题。有两篇文章做了很好的总结，第一篇总结了早期的一些流程方法，第二篇对不同类型的架构、问题、基准数据集和开源资料进行了整理。
文章1：JustinGilmer,SamuelSSchoenholz,PatrickFRiley,OriolVinyals,andGeorgeEDahl.Neuralmessagepassingforquantumchemistry.InProceedingsofthe34thInternationalConferenceonMachineLearningVolume70,pages–.JMLR.org,.
文章2：ZonghanWu,ShiruiPan,FengwenChen,GuodongLong,ChengqiZhang,andPhilipSYu.A
转载请注明：http://www.0431gb208.com/sjszjzl/3464.html
