GPT-4对多模态大模型在多模态理解、生成、交互上的启发

对话式聊天机器人ChatGPT以近乎摧枯拉朽的气势席卷社会,拨开了通用人工智能的曙光。ChatGPT的升级版GPT-4是个多模态大模型,它从单调的文本交互,升级为可以接受文本与图像组合的多模态输入,相比传统的单模态大模型,多模态大模型更加符合人类的多渠道感认知方式,能够应对更加复杂丰富的环境、场景和任务。GPT-4表明在多模态大模型中引入基于人类知识的自然语言理解与生成能力能够带来模型在多模态理解、生成、交互能力上的巨大提升。本文将介绍多模态大模型的概念、关键技术、近期进展和应用场景、GPT-4的技术特性,并重点探讨以GPT-4为代表的大语言模型对构建多模态大模型的几点启发。具体而言,将讨论如何充分利用大语言模型的语言能力,在多模态大模型的构建中,借助语言的帮助更好地感知理解世界、创作生成内容、与人和环境交互。     

多模态话语分析研究——以一则公益广告为例

多模态话语分析认为话语分析不应只以自然语言为研究对象．还应关注图像、颜色、声音和动作等其他构成意义的符号系统。Kress＆Leeuwen根据Halliday系统功能语法中的三大纯理功能,提出了第一个系统全面的视觉语法分析框架,从再现意义、互动意义和构图意义讨论多模态语篇图像的意义表达方式。通过深入分析可以得出结论：视觉语法对分析多模态语篇的图像意义具有很强的可行性和可操作性,它不仅拓展了多模态话语分析的领域,提高读者的话语识读能力,而且还可以帮助设计者科学地选择和协调各种模态,从而达到最佳设计效果。     

从ChatGPT到多模态大模型：现状与未来

2022年底,OpenAI发布的ChatGPT聊天机器人将人工智能对通用自然语言任务的理解与生成能力提升到新的高度,引发各界广泛关注。当前ChatGPT仅支持文本模态的交互,而真实世界的感知则依赖于图像、文本、视频、音频等多个模态的协同处理。如何借鉴人脑的跨模态处理特性,跨越视觉、语言、听觉等不同感官信息实现对真实世界的感知和认知,是提升模型通用感知和交互能力、实现通用人工智能的关键。本文从ChatGPT的核心技术出发,分析ChatGPT在文本单模态限制下所面临的问题,并介绍ChatGPT与多模态分析技术结合的部分代表性工作,最后从多模态预训练、数据—知识双轮驱动等角度对ChatGPT多模态化的未来研究方向进行展望。     

多模态视角下城市公益广告语篇研究

“多模态语篇”指的是除了文本之外,还带有图像、声音或者动作等符号系统的且通过多种符号系统之间的互动来实现意义的复合文本。本文把多模态研究应用到城市公益广告语篇中,阐述了城市公益广告语篇中语言和图像等符号模态是如何实现互动意义构建的。     

多模态教学模式及其学生多元识读能力的培养

随着教学改革的深入,越来越多的新教学理念被引入到了教学当中,传统的训导方式已经不再适应现代教学发展需要,更应该以学生作为中心,使得学生可以在多模态教学模式下进行学习,能够通过多模态模式提升教学效果。多模态的教学模式要想取得较好的效果就要提升学生们的多元识读能力,所以培养学生们的多元识读能力已经成为了信息化社会发展急切需要解决的问题。本文主要阐述多模态教学模态以及对学生多元识读能力培养等相关内容,对于提升现代教学效果具有重要意义。     

多模态教学模式在高校英语教学中的运用

多模态的教学模式是提高学生综合素质的必要手段。在英语教学的模态选择过程中,教师一定要在选择模态主导因素的基础上,处理好不同模态之间的协同关系,通过多种途径建立一个合适的多模态教学模式。     

社交网络舆情多模态知识图谱构建框架研究

[研究目的]信息技术的发展丰富了社交媒体用户的沟通交流方式，研究社交网络舆情多模态知识图谱的构建对网络舆情治理具有重要的现实意义。[研究方法]基于多模态数据的语义互补，讨论了实体属性关联、图像(视频)文字描述、图像(视频)属性、图像(视频)关联等多种异构数据融合方式。在此基础上，提出社交网络舆情多模态知识图谱的构建框架，并分析了在多模态语义理解、多模态实体对齐、多模态知识表示等方面存在的问题与挑战。[研究结论]提出基于多模态知识融合的社交网络舆情多模态知识图谱构建框架，为交互方式日趋丰富的社交网络舆情治理提供有益参考。     

科技新闻

<正>中山大学开发出用于健康监测的高性能多模态智能纺织品纺织材料已广泛应用在柔性传感器中,然而,能够区分多种刺激的多模态智能纺织传感器仍然存在挑战。近期,中山大学科研团队开发出能够同时实时测量温度和脉冲/触摸的多模态智能纺织品。研究成果发表在《Nano Energy》期刊,论文的标题为“Highperformance multimodal smart textile forartificialsensationandhealth monitoring”。该研究提出的多模态智能纺织品可以同时输出两个独立变量,作为摩擦电纳米发电机(triboelectric nanogenerator, TENG)检测脉冲/触摸,其核心热敏性微/纳米多孔纤维束(也是TENG的工作电极)检测温度。     

基于Micro PET平台的多模态成像质控体模设计

多模态成像,以及具有分子影像功能的多模态成像系统,是医学影像发展的方向,现有的单一功能的测试体模已不能满足大型成像设备性能测试需求。随着医学成像技术的发展,多模态成像已经成为医学成像的热点问题。本文针对PET/MRI,PET/CT,MRI/CT或MRI/US等多模态成像设备,研制基于Micro PET平台的多模态成像质控体模,满足多模态复合成像系统性能测试需求。     

多模态符号学理论下多模态意义建构中模态间的并协与互补——一个大学校徽图案的视觉语法分析

我们已进入信息化和数字化时代,多模态化已成为语篇世界的一个发展趋势。在多模态语篇中,图像、声音、视频动作等模态形式和语言符号一样都成为了意义建构的符号资源。作为大学形象建构的一种媒介,校徽以其独具的特点成为了多模态意义建构的典型载体。本文以多模态符号学和视觉语法为理论框架,对河南财经政法大学校徽进行了多模态语篇分析,此项研究还有助于提高人们对多模态语篇的识读能力,促进大众对校徽文化内涵的理解。     

浅谈信息化时代高职英语多模态教学模式的重要性

信息技术的高速发展和信息化手段的日益增多对传统单一语言模态和传统的外语课堂教学模式形成了巨大的冲击。而多模态话语分析理论运用于高职高专英语教学是近年来教学改革的一个重要趋势。本文将以多模态话语分析理论及高职英语教学要求为切合点,基于教学实践,进而探讨将多模态教学运用于高职英语教学中,使高职英语教学能够适应教育信息化发展需要的重要性。     

多模态商务英语教学研究

在新媒体时代背景下,以多模态理论为基础进行商务英语教学,能优化教学效果、提高学生自主学习能力和职业素养。在商务英语多模态教学模式中,教师应有效地选择、设计多模态课堂教学内容及方法,并建立起多模态评价和考核体系。     

多模态赋能史学通识教育的思政导引模式

该文探讨了多模态在史学通识课程中的赋能原理和实施模式,分析了基于多模态信息的供给、推理、构建和合并过程。与传统依托文本的课程思政教育不同,多模态资源本身具有开放性、互动性和多样性等特点。因此,课程思政的引导重点在于利用多模态信息资源加深学生对史实价值的认识,提供深度互动和自主推理、构建和整合的学习环境,强调问题意识和实践导向。     

新闻漫画中的多模态隐喻解读

新闻漫画中的隐喻是多模态隐喻的重要语类之一。本文以《半月谈》中的漫画为例,探讨多模态隐喻中源域、目标域及其映射实现方式,为漫画中的多模态隐喻作出解读。本文通过分析多模态隐喻,有利于人们客观准确地理解新闻漫画,有助于隐喻思维的发展,提高多模态识读能力。     

高校多模态教学与多媒体语音实验室

本文简要介绍了多媒体语音实验室具备了有丰富的视、听、说、练的资源,以及能够实现课堂互动的特点,符合了多模态教学要求多种模态互补的要求,由此提出了高校教师可以借助多媒体语音实验室实现多模态教学。     

元宇宙多模态、跨模态内容时代的科技出版理论探讨与实践研究

【目的】探讨元宇宙技术背景下科技出版面临的挑战与机遇,探索以人工智能(AI)技术为核心元宇宙多模态、跨模态内容大爆发带来的科技期刊行业的范式创新和高质量发展路径。【方法】对元宇宙AI多模态、跨模态内容的相关概念、理念、特点、工具、应用场景等进行理论探讨,以《实用临床医药杂志》多模态数智内容融合出版实践范例为模板,剖析科技期刊元宇宙出版与传播的可能路径。【结果】借助多语种即时交互技术,科学共同体可实现“母语化创作,母语化阅读”,即科技期刊从以语种为焦点逐渐向以元宇宙多模态、跨模态学术内容的生产、组织、审核、评价、确权、传播、存储和应用为核心转移。AI赋能的“多模态数智内容编辑器”可解决元宇宙多模态内容的碎片化与孤岛化问题,是编辑与传播多模态内容的利器。【结论】元宇宙为科学共同体引入全新变量,多模态、跨模态传播生态让全球科技出版面临全新的发展格局,科学研究进入第五范式“元宇宙科学范式”,科技期刊发展进入元宇宙多模态、跨模态内容时期。《实用临床医药杂志》实践案例表明“多模态数智内容编辑器”可以解决元宇宙多模态、跨模态碎片化与孤岛化问题。     

多模态广告语篇的概念再现

广告作为一种重要的语篇研究形式,融合了包括文字、图像、声音等多种模态。迄今为止对其研究主要体现在文体、修辞、词汇等语言研究上,而往往忽略了其他模式。本文试图运用社会符号学的多模态来分析广告,重点放在多模态语篇的概念再现意义上,着力探究分类过程、分析过程和象征过程在广告再现意义上的构成和作用,帮助读者了解图像作为社会符号和语言作为符号如何共同作用构成意义,同时提高人们运用多模态理论解读多模态语篇的能力。     

基于多模态融合的突发事件分类研究

[目的/意义]针对突发事件分类研究中模态单一或缺失、分类效果不理想等问题，本文提出结合文本和图片特征信息，以多模态融合的方式对突发事件进行分类。[方法/过程]本文提出一种基于多模态融合的突发事件分类模型(Emergency Classification Model with Hybrid Fusion, ECMHF),由BERT联动BiLSTM构成的文本特征抽取分类模型、VGG19为基础的图像特征抽取分类模型、融合文本描述特征和视觉语义特征的多模态融合层加上预测类别输出层组成的多模态分类模型3部分构成主体框架，最后将所有模型的决策层输出分配权重后再融合。[结果/结论]以收集的突发事件新闻数据为实验样本进行实证研究。结果表明，ECMHF模型在所有模型中性能最佳，F1值达到最高的99.072%,比次优模型高出0.51%。加入混合融合策略的ECMHF模型能够有效地识别出突发事件的类别。未来将在更为广泛和多元的突发事件多模态数据集中进行验证。     

话语分析的新发展——多模态话语

多模态话语视角当中,认为话语分析不能仅仅停留在语言的阶层,还要对其他的符号资源进行考虑,进而在这个过程之中话语分析提成了新的理论以及实践的要求。本文笔者主要对多模态以及多模态话语进行分析,进而延伸到多模态话语流派与发展之中,由此分析在现代社会发展中多模态话语分析的发展前景以及面对的挑战。     

面向知识服务的多模态资源知识重组研究

[目的/意义]多模态资源虽类型丰富但分散无序,挖掘多模态资源间隐含的知识关联进而实现跨模态、多角度的知识重组,对于多模态资源的智能管理与深层服务都具有重要的价值。[方法/过程]文章立足知识服务的特点与需求,结合多模态资源的特征,探讨多模态资源的知识挖掘方案,并基于此方案探讨可通用的多维度知识重组方案。在此基础上,以多模态红色资源为代表,通过对红色人物陈毅相关多模态资源的获取与处理,实现相关文本、图像、视频资源的知识重组,开发了可视化知识服务平台“陈年毅事”,并从时间、地点、人物、主题等不同维度探讨了可视化知识服务的实现路径。[结果/结论]通过实证研究,验证所提出知识重组方案的适用性与可行性,可以为多模态资源的深度挖掘、多维组织与服务应用提供一定的借鉴与参考。[局限]图像及视频资源有待更深层的挖掘;知识关联方式还有待补充。