多模态信息融合的知识服务

本文概述了大数据环境下多模态信息融合的开发和利用,揭示了大数据背景下多模态信息的内涵、多模态 信息融合的定义及其实现知识服务新的增值点,阐述了关于多模态信息融合向知识服务细化延伸的几点思考,进一步 剖析了基于多模态信息融合的知识服务在满足用户深层次信息需求、实现知识服务创新与推动信息服务机构进一步发 展的意义。     

高校图书馆教育语篇资源的多模态构建与研究

多模态是目前最有影响力的信息传播媒介之一.本文在研究和分析“多模态”的理论特征和应用现状的基础上,探讨高校图书馆教育语篇信息资源的多模态管理模式构建及其意义,以期帮助提高高校学生的多模态识读能力,促进学科知识的掌握.     

多模态档案知识服务平台的基本特征与价值取向——基于国内外20个案例的分析

多模态档案知识服务体现出档案资源形态演进和档案利用工作数字转型的时代特色。通过案例分析法对20个典型的多模态档案知识服务项目展开网络调研,从资源维、技术维、设计维、目标维4个方面建立分析框架,归纳总结出多模态档案知识服务平台的基本特征与价值取向,为提升档案开发利用水平和改善档案信息服务手段提供参考。分析发现：多模态档案知识服务平台具有基于核心模态向外围延伸、由面向机器趋于面向人机、立足需求打通服务全流程的基本特征,其价值取向包括跨模态留存历史记录、多维度建构数字记忆、宽口径实现知识增值和分众式满足利用需求。     

数字人文视域下多模态红色记忆资源知识聚合与开发

文章在梳理与分析红色记忆资源多模态特性与开发现状的基础上,构建由资源层、数据层、知识层、价值层组成的多模态红色记忆资源知识聚合与开发模式。进而以宝塔山革命旧址为实证研究对象,提出由多元化采集和建构红色记忆资源、细粒度描述和整合红色记忆数据、多模态聚合和开发红色记忆知识到情境化转化与重构红色记忆价值的渐进式实现路径,同时建议在意识形态把控、协同开发机制、知识开发尺度、保护与开发博弈等方面做好保障工作。     

新四军苏浙军区多模态红色文献资源知识聚合模式研究

知识聚合是数智时代文献资源开发利用的模式转向和创新路径。本文通过实地调研发现,新四军苏浙军区红色文献资源呈现分层、分块的多模态繁荣格局,而主体多元、标准不一、关联融合不充分、线上与线下交互不足等问题则制约其整体记忆价值与文化价值的实现。为此,本文结合红色文献以“时间—空间—事件或人物”为主的资源结构,从资源采集与加工、本体建构、关联聚合、知识挖掘四个层次设计基于语义关联的多模态红色文献资源知识聚合模式,并以粟裕将军及其事迹为例,进行元数据设计、本体模型构建、生平事迹GIS可视化等实证研究,以期为数智时代多模态红色文献资源面向知识发现与服务的深度开发提供参考。     

基于深度迁移学习的地方志多模态命名实体识别研究

地方志作为中华文化的组成部分,是建设文化强国的重要一环,对其进行挖掘研究具有重要意义;同时,有效识别实体对地方志知识组织和知识图谱构建有着重要影响。当前地方志命名实体识别研究主要基于文本,缺乏文本对应的图片,而图片中的内容能够为识别文本中的实体提供额外的信息,从而提升模型识别实体的性能,并且实体识别还面临着已标注语料匮乏的问题。基于此,本文提出了利用深度迁移学习方法,结合地方志中的文本和图片进行多模态命名实体识别。首先,基于人民日报语料库和中文推特多模态数据集,分别预训练结合了自注意力机制的BiLSTM-attention-CRF模型和自适应联合注意力模型,利用基于神经网络的深度迁移学习方法将权重迁移至地方志多模态命名识别模型中,使模型获得提取文本和图片语义特征的能力;然后,结合过滤门对多模态融合特征去噪;最后,将融合后的多模态特征输入CRF (conditional random fields)层进行解码。本文将提出的模型在地方志多模态数据中进行了实证研究,并同相关基线模型作对比,实验结果表明,本文所提出的模型具有一定优势。     

术语知识库信息资源建设的多模态发展——以短视频为例

语言基础设施是数字时代新媒体和网络支撑下的信息、知识传播与承载的集成体,是语言数据、工具、技术整合和信息化建设的标志,术语知识库即为语言基础设施的典型代表。结合当前社会表达“视频化”的数字时代现状,提出术语知识库作为特定领域术语、概念、知识的系统化、可视化呈现,其未来将向多模态信息资源建设发展,如使用短视频的呈现形式,即利用语言、视觉、听觉、姿势、空间等多模态符号资源再现术语概念相关知识。术语知识库的短视频多模态信息资源将为特定行业领域如翻译的科研、教学和实践提供重要支持。     

ChatGPT与知识生产和复用：赋能、挑战与治理

大型语言模型GPT经历了多次迭代,具有多模态文本生成、推理能力强和多领域通用等优势。ChatGPT及其迭代版本多模态GPT-4的发布,颠覆了人类对人工智能生成内容（Artificial Intelligence Generated Content,AIGC）的认知,打破了只有部分人类能够生产知识的局面,促进了多元知识的融合,催生了人机双向赋能的新型知识生产方式,提升了知识搜索和知识评估的效率和质量,扩展了知识要素重新组合的空间和选择,为知识生产和复用方式提供了新的工具和手段,对人类知识生产和复用过程产生了变革性的影响。然而,技术的进步也会带来学术伦理规范争议,知识权威性降低和话语权力不平衡加剧等挑战。面对新一轮挑战,应进一步建立健全知识产权保障体系、减少对AIGC的过度依赖、加强AIGC治理、突出人类在知识生产与复用中的核心作用,以避免潜在的风险和威胁。     

双重视角下新闻漫画的多模态话语分析——以“一则贸易战”漫画为例

相比传统语篇,多模态语篇更为复杂。为充分挖掘多模态语篇的意义潜势及动态生成过程,以视觉语法和多模态隐喻为基础,对一则新闻漫画进行多模态话语分析。研究发现,文字、图画等多模态资源共同参与了漫画意义的建构。此外,漫画的再现意义、互动意义及构图意义融为一体,共同传达社会意义,战争隐喻用于建构微观的认知意义。融合二者的互补性话语分析模式有助于识解新闻漫画的多模态意义。     

多模态技术赋能智能化内容创作

【目的】近年来,随着自然语言处理、计算机视觉、深度学习等技术的不断突破,人工智能的发展正在进入多模态时代。人工智能要想更接近人类智慧,多模态是其必由之路。【方法】通过对国内、外各类人工智能研究机构关于多模态技术的最新研究成果追踪,对多模态背后技术逻辑的剖析。【结果】文章试图探索多模态与智能化内容创作相结合的更多场景,及面临的机遇与挑战,进而指导多模态技术在新闻内容创作领域的研究与实践。【结论】多模态技术作为人工智能领域的新热点,必将为智能化新闻内容创作带来无限可能。