基于神经网络的深度学习专利分析

摘要：深度学习是基于神经网络发展起来的技术。深度学习以神经网络为主要模型，一开始用来解决机器学习中的表示学习问题。由于其强大的能力，深度学习越来越多地用来解决一些通用人工智能问题，比如推理、决策等。目前，深度学习技术在学术界和工业界取得了广泛的成功，受到高度重视，并掀起新一轮的人工智能热潮。本文利用incopat平台对利用神经网络的深度学习进行了专利检索，并对申请趋势、申请地域分布、重要申请人及其专利价值度等维度进行分析。

关键词：神经网络;深度学习;专利分析

引言

深度学习算法模型从应用层面来讲，主要分为卷积神经网络（Convolutional Neural Network，CNN）、循环神经网络（Recurrent Neural Network， RNN）和生成式對抗网络[1][2]。卷积神经网络[3]是一种前馈神经网络，它由若干卷积层和池化层组成，尤其在图像处理方面CNN的表现十分出色，例如：图像分类、目标检测及人脸识别等。循环神经网络[4]的独特价值在于：它能有效的处理序列数据。比如：文章内容、语音音频、股票价格走势等。之所以他能处理序列数据，是因为在序列中前面的输入也会影响到后面的输出，相当于有了“记忆功能”。但是循环神经网络存在严重的短期记忆问题，长期的数据影响很小。于是基于循环神经网络出现了长短期记忆网络（long short-term memory， LSTM）和门控循环神经网络（Gate Recurrent Unit， GRU）等变种算法。生成对抗网络（Generative Adversarial Network，简称GAN）[5]是无监督学习的一种方法，通过让两个神经网络相互博弈的方式进行学习。生成式对抗网络由生成器和判别器构成。生成对抗网络的核心目的是训练生成器。生成器的目的是生成与真实样本尽可能相似的“假样本”，判别器的目的是尽可能区分出给定样本是真实样本还是生成的“假样本”。二者目的相悖，在不断博弈的过程中相互提高，最终在判别器判别能力足够可靠的前提下仍无法区分给定样本是真实样本还是生成样本。生成式对抗网络主要应用为：提高原始图像的分辨率，生成高画质的影像等。除此之外，深度学习网络还包括图神经网络、强化学习、元学习、自动化积极学习方面的算法和模型。本文仅对深度学习算法模型中的卷积神经网络、循环神经网络和生成式对抗网络进行检索，并对检索结果进行分析。

1申请量分析

图1中是对国内外神经网络深度学习技术年增量的统计，从图1中可以看出，在2014年以前该技术的申请量一直缓慢增长，从2014-2019年之间增长量呈“J”型，并于2019年达到顶峰，年申请量为20742件。从2020年-2021年申请量出现了断崖式下跌，2021年的申请量仅为10104，比2019年的申请量减少了一半多。

深度学习的申请量大增，这与市场需求以及数据量、计算机的计算能力是分不开的。目前，我们已经进入数字化时代，可以采集到更多的数据，计算机软硬件的快速发展，使得计算机的计算能力大幅度提高，这为深度学习的发展奠定了基础。市场需求方面：例如语音识别、自动驾驶、自动机器翻译、即时视觉翻译、调用遗传变异、癌症检测、X 射线 CT 重建、机器人、对话智能体、视频动作识别等，并取得了显著成果。

市场需求促使科研人员的投入，从而使得学术研究重点发生了转移：近年来计算机相关的各大学术会议在制定学术方向时，已然偏向了神经网络深度学习领域，例如：国际表示学习会议（International Conference on Learning Representations， ICLR） ：主要聚焦于深度学习。国际机器学习会议（International Conference on Machine Learning，ICML）：机器学习顶级会议，深度学习作为近年来的热点，也占据了 ICML的 很大比例。美国人工智能协会年会3（AAAI Conference on Artificial Intelligence，AAAI）：人工智能领域的顶级会议，近年来和深度学习相关的论文也越来越多。

国内的研究方向一般与国际相吻合，从2015-2017年在有关深度学习的国家自然基金项目的扶持下，使各大高校纷纷投入到深度学习的研究中，这些国家自然基金的项目的周期均在2-3年之间，这也就解释全球的深度学习的专利申请会什么会在2019年达到顶峰。

在政策以及市场一片大好的情况下，2020年关于深度学习的申请量为什么会下降，这与深度学习发展的成熟度及遇到的技术瓶颈是分不开的。

在2010年计算机视觉奠基者之一，约翰霍普金斯大学教授Alan Yuille指出深度学习在计算机视觉领域的瓶颈已至，Yuille指出，深度学习虽然优于其他技术，但它不是通用的，经过数年的发展，它的瓶颈已经凸显出来，主要有三个：需要大量标注数据;过度拟合基准数据;对图像过度敏感。

2申请地域分布及申请人排行榜

由图2.1为神经网络深度学习国际申请量分布情况，从图中可以看出截止2021年，中国在神经网络深度学习领域的申请量位居第一，美国的申请量位居第二，中国在神经网络深度学习方面的申请量远大于美国，是美国申请量的4倍之多。世界知识产权组织在神经网络深度学习方面的申请量位居第三，韩国的申请量排名第四。

从前十五名的申请人可以看出，中国的大专院校占了9个;其中电子科技大学和华南理工大学分别位于第一和二位。中国科学院自动化研究所位于第十五位。前十五名中只有五个公司，其中中国的公司占了两个，分别是平安科技（深圳）有限公司和腾讯科技（深圳）有限公司。其余三个公司为韩国的三星电子公司，位居第9位，专利申请量为519件;美国的IBM公司和谷歌公司分别位于第十二和十三位。

国内的研究方向一般与国际相吻合，近年来在有关深度学习的国家自然基金项目的扶持下，使各大高校纷纷投入到深度学习的研究中，并产出了大量的科研成果。

3专利成果转化

专利转化为成果可以通过专利出资、专利融资、专利实施许可、专利权转让方式进行。本文统计了专利实施许可和专利权转让数量。

从图1和图3.1可知专利转让量与专利申请量的变化趋势相吻合，并随着专利申请量的大增，专利转让量也呈现了“J”型增长趋势。专利转让量并于2019年达到顶峰，专利转让量为3037件，到2021年的专利转让量下降到1595件。

从图3.2中可以看出转让人前十名中，中国的申请人只用两个，分别是阿里巴巴和先进创新技术有限公司，其余均为国外的公司。图3.2转让人排名与图2.2申请人排行榜形成了鲜明的对比。图2.2中申请人排名前十中中国的大专院校占了七个，但专利转让人排名的前十中，居然没有中国大专院校的身影。足以说明中国大专院校的专利申请量之大，但专利成果转化率之低。

从图3.4可知，从2015-2018年之间专利许可量仅为3件，从2018-2021年虽然呈现增长趋势，但专利许可的增长量显著，但专利许可量有限，2021年的专利许可量仅为48件，截至到2021年专利许可量的总件数为100件。

通过专利转让进行专利转化的成果还是很显然的，通过专利许可进行专利转化的成果虽然不高，但是依然是上升的趋势。在神经网络深度学习领域，中国的大专院校的申请量在中国是很多的，但是没有很好的进行成果转化。

专利成果转化有助于将技术渗透到产品制造及产业运行的各个环节，可以整体提升产业运行效率及产业竞争力，国家也认识到这一问题，先后颁布了促进专利成果转化的政策。希望国家和政府能落实好政策，鼓励和促进企业及高校的专利进行成果转化。

5结语

本文从神经网络深度学习的三个网络模型入手，进行了专利检索和分析，通过分析可知，全球都致力于神经网络深度学习的研究中，中国的对于神经网络深度学习的申请量是很大的。但是成果转化率却很低，希望中国的高校和企业重视专利成果的转化。

参考文献

[1]余凯，贾磊，陈雨强，等. 深度学习的昨天，今天和明天[J].计算机研究与发展，2013，50（ 9） ： 1799 - 1804.

[2]Goodfellow I，Bengio Y，Courville A. Deep learning[M].Cambridge，USA： MIT Press，2016.

[3] 周飞燕，金林鹏，董军.卷积神经网络研究综述[J].计算机学报，2017，40（ 6） ： 1229-1251.Zhou F Y，Jin L P，Dong J.Review of convolutional neural network[J].Chinese Journal of Computers，2017，40（ 6） ： 1229-1251.

[4]刘礼文;俞弦;循环神经网络（RNN）及应用研究[J];、科技世界;2019年第32期.

[5]FashionGAN： Display your fashion design using Conditional Generative Adversarial Nets[J] . Y. R. Cui，Q. Liu，C. Y. Gao，Z. Su.  Computer Graphics Forum . 2018 （7）.

姓名：赵翠翠，工作单位：国家知识产权局专利局专利审查协作天津中心，天津 300304，出生年月：1988年3月14日，學历：硕士研究生，职称：中级职称，研究方向：模式识别。