基于Sentence-BERT的专利技术主题聚类研究——以人工智能领域为例

[研究目的]将Sentence-BERT模型应用于专利技术主题聚类,解决专利文献为突出新颖性,常使用独特技术术语造成词汇向量语义特征稀疏的问题。[研究方法]以人工智能领域2015年-2019年的22370篇专利为实验数据。首先,采用Sentence-BERT算法对专利文献摘要文本进行向量化表示;其次,对向量化矩阵进行数据降维,利用HDBSCAN方式寻找原始数据中的高密度簇;最后,识别类簇文本集合中的主题特征,并完成主题呈现。[研究结论]对比LDA主题模型、K-means、doc2vec等方法,本文的实验结果提高了主题划分的细粒度和精确度,获得了较好的主题一致性。如何采用fine-tune策略进一步提升模型的效果,是未来该方法进一步深入探索的方向。     

基于SAO结构语义挖掘的新兴技术演化轨迹研究

如何揭示具有颠覆性潜力的新兴技术形成过程中的技术性能渐进变化脉络和技术演化轨迹所具有的规律性特征,对于企业或国家来说是至关重要的研发战略议题。针对目前在新兴技术演化轨迹研究中存在的不足,即专利引文信息存在的滞后性且未反映专利文献中的非结构化文本内容,以及关键词不能深入反映专利文献表达的技术主题和揭示技术主题之间的关联关系等问题,在改进Subject-Action-Object(SAO)结构语义挖掘方法的基础上,提出基于SAO结构语义挖掘的新兴技术演化轨迹分析方法。该分析方法首先以专利文献为数据来源,利用文本挖掘方法抽取专利摘要中的SAO结构,构建基于SAO结构的"问题与解决方案"模型挖掘新兴技术专利文本中的语义信息;其次利用语义相似度算法对专利文本进行聚类,通过对新兴技术不同专利技术主题的SAO结构相似性来分析技术的形成与发展轨迹,揭示新兴技术形成过程中的技术性能渐进变化脉络和技术演化轨迹所具有的规律性特征。最后,用钙钛矿太阳能电池作为实证进行了研究,验证了该模型的可行性和有效性。     

LDA模型在专利文本分类中的应用

对传统专利文本自动分类方法中,使用向量空间模型文本表示方法存在的问题,提出一种基于LDA模型专利文本分类方法。该方法利用LDA主题模型对专利文本语料库建模,提取专利文本的文档-主题和主题-特征词矩阵,达到降维目的和提取文档间的语义联系,引入类的类-主题矩阵,为类进行主题语义拓展,使用主题相似度构造层次分类,小类采用KNN分类方法。实验结果：与基于向量空间文本表示模型的KNN专利文本分类方法对比,此方法能够获得更高的分类评估指数。     

基于SAO结构和词向量的专利技术功效图自动构建研究

[目的/意义]针对技术功效图构建过程中的主要问题和薄弱环节,提出了一种基于SAO结构和词向量的专利技术功效图构建方法。[方法/过程]利用Python程序获取专利摘要中的SAO结构,从中识别技术词和功效词;结合领域词典与专利领域语料库,运用Word2Vec和WordNet计算词语间的语义相似度;利用基于网络关系的主题聚类算法实现主题的自动标引;采用基于SAO结构的共现关系构建技术功效矩阵。[结果/结论]实现了基于SAO结构和词向量的技术功效图自动构建,该构建方法提高了构建技术功效主题的合理性和专利分类标注的准确性,为技术功效图的自动化构建提供新的思路。     

基于LDA模型和分类号的专利技术演化研究

[目的/意义] 运用概率主题模型全面研究专利文献主题演化,分析专利技术发展过程及趋势。[方法/过程] LDA模型按时间窗口对专利文本建模,困惑度确定最优主题数,按专利文本结构特性提取主题向量,采用JS散度度量主题之间的关联,引入IPC分类号度量技术主题强度,最后实现主题强度、主题内容和技术主题强度3方面的演化研究。[结果/结论] 实验结果表明：该方法能够深入挖掘专利文献的主题,可以较好地分析专利技术随时间的演化规律,帮助相关从业人员了解专利技术的演化过程及趋势。     

产业链视角下专利新兴技术主题识别

[研究目的]专利是技术信息的载体,以专利数据为研究对象,在产业链视角下进行技术主题提取及识别,从专利数据中识别新兴技术可以有助于把握新兴技术的发展动态。[研究方法]首先,根据产业链的概念和专利IPC分类号构建出产业链各个层级对应的专利集;然后,结合专利文本的特点提出EW-LDA主题模型,从词汇权重和语境两个角度对LDA主题模型进行改进,使用EW-LDA模型提取出产业链的各个层级中得技术主题;最后,根据专利文本及新兴技术的特点,从新颖度、热点度、关注度和增长率四个方面入手构建新兴技术主题识别指标,将技术主题分为新兴、热点、潜在、衰退和噪音五类。并在人工智能领域的专利数据上进行实验。[研究结论]结果表明,提出的EW-LDA主题模型具有更好的主题建模效果,产业链视角下的新兴技术主题识别方法可以有效的识别出新兴技术。     

基于SAO结构的专利技术功效图构建研究

SAO三元结构具有易于理解和表达的语义关系,将其作为挖掘分析的基本单元,深度分析专利文本蕴含的技术语义有助于揭示技术功效关系。从SAO结构的定义及特征出发,提出了基于SAO结构的专利技术功效图构建的思路、流程及方法,采用基于SAO结构的共现关系构建技术功效矩阵,探讨了基于SAO结构的技术主题、功效主题分析方法。通过石墨烯传感器领域为例的实证研究验证了方法的有效性。     

基于专利文本语义距离的跨领域关键共性技术识别方法研究

[研究目的]跨领域关键共性技术强调技术的跨领域关联与主导作用,对其识别将为政府推动跨产业跨领域创新、提前布局相关技术领域提供决策支持。[研究方法]首先,运用GloVe模型向量化专利文本,按照专利与技术领域的语义接近程度划分专利所属领域;其次,基于GMM算法提取各领域技术主题,依据技术主题之间的语义距离,构建技术主题关联网络;最后,利用漏斗模型,依据技术主题的共性指标、跨领域指标、关键性指标筛选出跨领域关键共性技术。[研究结论]运用养老科技领域专利数据进行实证研究,结果显示“智能控制辅助技术”“无接触式躯体感知技术”“沟通与信息辅助技术”“适用性技术”为跨领域关键共性技术,通过比对国家相关政策内容,验证了方法的有效性。     

基于专利的技术机会识别：深度学习领域的案例分析

为及时有效地识别潜在技术机会,采用文本挖掘和异常值检测的方法,提出一种基于专利文本的技术机会识别方法.首先采用文本表示模型Doc2vec技术对专利摘要进行建模,以更深层表征文本语义信息;然后利用基于密度的离群值检测算法,识别出具有潜在技术机会的专利方向;最后以深度学习领域潜在技术识别为例,构建专利检索式并收集458条专利文献作为数据集.实证结果总结出4类主题共10个潜在的技术机会,验证了该基于专利的技术机会识别方法的有效性,可为企业相应技术应用、研发和创新提供参考.     

专利视角下的数据加密技术分析

本文以探究数据安全领域技术发展现状、预测未来发展趋势为研究目的,以数据加密技术专利为研究对象,运用了专利分析的研究方法,从发展趋势、地域分布、IPC构成、高价值专利技术主题和申请人分布等角度研究全球数据加密技术的发展状况,通过可视化方法展示该领域的创新情况和研发态势.结果表明:数据加密技术专利申请主要集中在中国和美国,...     

融合词向量语义增强和DTM模型的公共政策文本时序建模与演化分析——以“大数据领域”为例

【目的/意义】探测特定领域政策文本语义主题,揭示我国政策部署领域与未来发展趋势。【方法/过程】提出 一种融合词向量语义增强和DTM模型的公共政策文本时序建模与可视化方法,采用DTM模型实现政策文本的时 序切割和主题建模,利用深度学习Word2vec算法中Skip-gram词嵌入技术可以对上下文词汇进行有效预测,增强 其语义表达性和政策解释性,以更为准确地揭示我国公共政策的部署重点。【结果/结论】实验表明本文提出的方法 对于公共政策主题识别和政策文本量化具有更好的知识抽取和语义表达能力,对我国公共政策挖掘和信息揭示具 有良好的揭示。【创新/局限】提出融合词向量语义增强和DTM模型的公共政策文本时序建模方法,一定程度上提 升了政策文本的主题语义表达,未来考虑利用深度学习技术如LSTM算法、BERT模型等识别政策中的领域知识单 元和语法结构。     

基于图神经网络的专利关键词提取算法研究

[目的/意义]专利关键词提取是专利挖掘任务中非常重要的前置子任务,基于图模型的关键词提取是目前最有效的算法。传统图模型只考虑了单词的局部上下文信息,为了捕获单词的全局信息,提出一种基于图神经网络的专利关键词提取算法,结合词向量与图模型实现专利关键词的提取。[方法/过程]首先,用专利数据集构建异构网络,以专利分类号为标签,训练图神经网络模型,使得同一主题下的单词具有相似的向量表示,获取包含主题信息的词向量;然后,根据专利摘要在滑动窗口内的单词共现关系和词向量相似度,构建融合了单词主题信息的文本图,利用词向量中的主题信息捕获单词的全局联系;最后,在文本图上使用PageRank算法,获取关键节点,构成专利的关键词。[结果/结论]与基线方法相比,该算法在提取专利关键词时,能够检测到新颖性与准确性更高的关键词。     

基于多文本分析的领域关键技术问题挖掘方法研究

[目的/意义]关键技术问题研究对于辅助各创新主体把握创新突破方向、攻克关键核心技术、推进技术创新具有重要意义。[方法/过程]针对目前技术关键问题挖掘领域识别样本、流程、方法上的不足,提出多文本分析的领域关键技术问题挖掘框架,以专利说明书技术背景为主,综述性论文结束语和技术需求文档为辅,从数据获取及转化、技术问题提取、技术问题主题识别、关键技术问题发现4个环节展开分析。[结果/结论]对石墨烯领域案例研究证明了多文本分析的领域关键技术问题识别框架的有效性;专利说明书技术背景、综述论文结束语与技术需求文档在挖掘技术问题上的表现、描述极性、结果上具有不同的解释力度,可互相佐证补充。     

金融科技专利技术分类及识别方法研究

[目的/意义]金融科技包括的技术主题及范围边界并不清晰,使得“IPC分类号+关键词”的传统专利检索和分类方法效果不佳,需要针对跨领域专利数据的分类及识别流程进行研究。[方法/过程]构建了一套结合文本挖掘、层次聚类、置信学习和自然语言处理等技术的方法流程,能够直接从专利说明书中获取分类体系并形成相应分类模型。[结果/结论 ]提出一种构建跨领域专利分类体系及自动识别方法的流程框架,形成了较为全面、客观的金融科技专利技术分类体系,以及较为准确高效的分类模型,并对国内金融科技专利的发展情况进行了分析。[创新/局限]未来可基于Bert等大规模预训练模型的Prompt Tuning方法,进一步降低人工参与成本并提升效率。     

融合专利类别与语义信息的企业潜在技术关系测算方法研究

[目的/意义]识别潜在技术关系对企业寻找竞合对象、提升创新能力具有重要意义。研究提出一种融合专利类别与语义信息的企业潜在技术关系测算方法,有助于判断企业之间的技术重叠、补充和匹配程度。[方法/过程]首先,建立企业—IPC—专利文本三层映射矩阵,统计企业之间的IPC交集、补集等数据;其次,基于IPC和专利文本分别计算企业在类别和语义维度上的指标,实现在相同层级上计算企业的技术相似度和互补度;最后,计算技术匹配度,建立企业技术匹配度矩阵,进行可视化展示。[结果/结论]对24家上市公司进行实证分析,结果表明,该方法优于单一维度的测算方法,可用于判断企业之间的技术匹配情况。后续将纳入科研院校等机构类型,深入挖掘机构之间的技术相似点、互补点,利用复杂网络等工具展示互补的方向性,并考虑扩展应用场景,进一步提升该方法的情报价值。     

基于专利词频和信息可视化的特定竞争对手分析——以通用风力发电技术为例

以中国专利信息数据库收录的美国通用电气公司风能发电领域技术专利数据为研究样本,采用词频分析和信息可视化方法,对其专利技术发展趋势、IPC技术分布与关联、微观技术主题关联及其变化趋势进行分析预测,旨在揭示该国内特定竞争对手在风能发电领域的技术研发情况和竞争力水平。     

基于特征知识元的专利语义引用识别方法研究——以量子计算领域为例

[目的/意义]专利引文分析是专利分析研究的重要内容。传统专利引文分析仅分析专利文献中明确标示的物理引用专利数据,不能够准确真实反映专利之间的引用关系,难以准确揭示专利之间的技术相似度。专利语义引用识别有利于准确真实揭示专利间的潜在语义联系,为专利的继承与创新评价提供参考,有助于专利授权前的专利审核和专利授权后的专利评价。[方法/过程]首先,基于规则和句法分析抽取了专利的特征知识元;其次,利用Sentence-BERT和Word2Vec对专利特征知识元及专利标题摘要文本进行向量化表示;再次,根据余弦相似度计算专利的特征相似度和整体相似度,结合专利申请日期的先后顺序得到专利的语义引用专利集;最后,采用量子计算领域专利数据进行了实验研究。[结果/结论]该专利语义引用识别方法能够实现语义引用专利的有效识别,有利于评价专利的技术新颖性、创造性和实用性,为专利审核和专利价值评估工作提供支持。     

学术APP用户在线评论主题语义关联研究

【目的/意义】针对学术APP评论数据特征，挖掘用户评论语义关联关系，为平台运营者和开发者高效获取 用户需求和关注点提供思路和指导方法。【方法/过程】首先，基于LDA主题模型和GloVe 词向量模型构建学术APP 用户在线评论主题语义关联研究框架，然后，采集超星移动图书馆APP在线评论作为样本数据，通过主题识别获取 用户评论主题并基于词向量相似性得到主题语义关联，最后构建出语义关联主题图谱。【结果/结论】实验结果表明 运用文章提出的思路方法能够有效发现用户评论主题和主题间关联关系并得到主题关联图谱，从而为学术APP平 台运营者完善平台功能提供参考和借鉴。     

基于主题强度突变检测的颠覆性技术识别

[研究目的]改进或丰富现有的颠覆性技术识别方法和相关实证研究,对于区域和企业创新战略规划,以及相关科技政策制定均具有积极的决策参考意义。[研究方法]在已有的颠覆性技术识别量化分析方法基础上,导入专利文本主题强度概念,通过主题强度变化来辅助识别技术演进中的热点主题,然后根据不同年份的时间序列数据,引入在水文和气象监测领域的BUT(Buishand U test)突变检测方法,并结合专利文本主题演进模式区分,提出了一个较新颖的颠覆性技术分析框架。[研究结论]在实证分析部分,将专利文本主题强度突变检测应用到了工业互联网领域,并识别出部分具有颠覆性潜力的技术主题,从而进一步丰富了当前有关颠覆性技术识别的方法体系。     

快递物流领域技术热点研究——基于专利文本和网络文本的分析

以快递物流龙头企业的专利文本和网络文本为研究对象,对专利文本经过LDA模型提取主题,并依据主题划分结果归类为4个大的技术领域,将每个主题与网络文本进行相似度计算,得出与主题相关性较高的文本,从而对4个技术领域的发展进一步分析,研究分析得出了国内快递物流行业技术领域的发展趋势、热点和方向。