面向科技文献的多模态语义关联特征提取与表达体系研究

科技文献资源是一种多模态数据,除文本信息外,还包含丰富的图像、表格、公式、音频、视频等多种模态的信息,有利于用户充分理解科技文献资源中的知识。该文把多模态思想引入科技文献的语义表示方面,对科技文献中的图像、表格和公式信息进行语义分析,与文本信息共同表示文献语义内容,通过科技文献中多种模态信息的语义表示及相互关系完善科技文献内容的语义化表示,发展刻画科技文献对象多态性的表达体系。     

基于层次搜索的潜在语义索引方法研究

针对潜在语义索引(Latent Semantic Indexing，LSI)计算成本很大，不利于扩展信息检索领域的特点，提出引进图论中的层次搜索方法(Level Search Scheme，LS)，设计出一种针对多主题数据集、融合信息检索和信息过滤的新型算法。该方法能够在信息过滤阶段保持高的查全率，在信息检索阶段保证高的查准率，从而最后达到很好的检索效果。 〔关键词〕 潜在语义索引　层次搜索　奇异值分解(SVD)     

多模态信息融合的知识服务

本文概述了大数据环境下多模态信息融合的开发和利用,揭示了大数据背景下多模态信息的内涵、多模态 信息融合的定义及其实现知识服务新的增值点,阐述了关于多模态信息融合向知识服务细化延伸的几点思考,进一步 剖析了基于多模态信息融合的知识服务在满足用户深层次信息需求、实现知识服务创新与推动信息服务机构进一步发 展的意义。     

数字视频信息的索引研究*

视频信息的分析、索引和检索是多媒体信息检索研究领域的难点和热点问题之一。本文分析了视频信息的索引对象、内容建模、索引结构和索引模型，并在此基础上对视频信息的结构化、视频文档的组织和索引中存在的问题进行了探讨。     

探讨WWW信息智能检索系统的设计方法

ＷＷＷ（Ｗｏｒｌｄｗｉｄｅｗｅｂ）是一种网络化的信息服务,它基于Ｉｎｔｅｒｎｅｔ提供一个超文本多媒体信息检索系统,它以一种快速,强大,一致,易用的方式提供不同格式显示信息的方法,本文介绍了目前著名的网上信息检索系统,探讨了针对某种领域的,面向对象的智能化信息检索系统的设计方法。     

多媒体信息检索中的关键技术

一、关键技术 多媒体信息检索是指根据用户的要求,对图形、图像、文本、声音、动画等多媒体信息进行识别和获取所需信息的过程。但多媒体信息检索系统并不是简单地对多种媒体进行检索,它必须既能对以文本信息为代表的离散媒体进行检索,也能对以图像、声音等为代表的连续媒体的内容进行检索。因此多媒体信息检索必须解决一些特殊的技术问题,涉及信息模型和表示、检索技术、信息压缩和恢复、信息存储管理和多媒体同步技术。 1． 信息模型和表示 目前,多媒体信息模型的研究工作已多有报道,有的是扩充的面向对象的模型,有的是对象——…     

基于语义的WWW图像检索*

图像检索是多媒体信息检索的一个重要研究分支。本文给出了从WWW网页中提取图像的文字信息和利用图像分析获取图像视觉特征的方法以及基于图像知识库整合图像的文字信息和视觉特征，获取图像语义的方法。基于此方法，建立了一个基于语义的WWW图像检索系统。初步实验表明，该系统具有较高的图像检索准确率。     

多模态内容资源编目及知识表示研究

在多模态信息资源体量快速增长的环境下,为更有效地对内容资源开展编目及知识表示工作,本文从多模态的角度出发,探讨在“实体-属性-关系”结构下多模态资源编目可行性,提出一种适用于多模态资源的编目框架M-RDA、梳理内容资源模态归一化方法。本文重点扩展编目框架中的多模态属性与关系类目,从4个模态维度出发,挖掘多种资源间的描述补充关系,在著录资源的同时对其模态特征及关系进行标注。此外,为实现编目规则下知识的组织和表达过程,本文从事件描述的原因、对象、地点、时间、人员、方法6个方面提出一种基于5W1H的多模态知识表示方法,实现多模态资源从标签获取、编目到知识表示的完整过程,为多模态资源的编目自动化提供理论参考和实践案例。     

基于深度迁移学习的地方志多模态命名实体识别研究

地方志作为中华文化的组成部分,是建设文化强国的重要一环,对其进行挖掘研究具有重要意义;同时,有效识别实体对地方志知识组织和知识图谱构建有着重要影响。当前地方志命名实体识别研究主要基于文本,缺乏文本对应的图片,而图片中的内容能够为识别文本中的实体提供额外的信息,从而提升模型识别实体的性能,并且实体识别还面临着已标注语料匮乏的问题。基于此,本文提出了利用深度迁移学习方法,结合地方志中的文本和图片进行多模态命名实体识别。首先,基于人民日报语料库和中文推特多模态数据集,分别预训练结合了自注意力机制的BiLSTM-attention-CRF模型和自适应联合注意力模型,利用基于神经网络的深度迁移学习方法将权重迁移至地方志多模态命名识别模型中,使模型获得提取文本和图片语义特征的能力;然后,结合过滤门对多模态融合特征去噪;最后,将融合后的多模态特征输入CRF (conditional random fields)层进行解码。本文将提出的模型在地方志多模态数据中进行了实证研究,并同相关基线模型作对比,实验结果表明,本文所提出的模型具有一定优势。     

多模态话语分析视角下的标语传播研究

在新时代,话语以多模态形式存在。多模态的选择和统整使用形成一股合力,可以引导受众更好地把握话语的深意。现代化的技术手段拓展了语义表现的形式,破除了常规媒体的单一性。图像、文字、色彩、字体等多种符号的交互作用,有助于观众理解标语设计者所要传达的所有信息。