基于Python的网络爬虫技术研究

计算机网络不断发展的今天,网络用户越来越多,人们在生活中也越来越依赖网络,通过网络获取各类信息,借助网络来搜索自己想要的资料和信息,通过网络来浏览各类平台,其中,网络爬虫是一种比较常见的获取信息的方法。网络爬虫还有另外一个称呼,即网络机器人,在编程过程中所使用的语言主要为Python,对浏览器中的各类信息进行搜索与获得,常见的有URL地址以及HTTP超文本协议等信息,在信息获取的过程中,不必作业人员持续工作,只需要网络自动爬取即可。对此,本文就Python的网络爬虫进行探讨,以期为相关研究提供参考。     

新媒体环境下高校负面网络舆情传播特征和路径研究

【目的/意义】高校网络舆情是高校人员通过互联网表达个人思想、诉求个人利益所表现的网络行为,是网 络舆情在高校的延申和体现。然而,网络上的不良信息包括网络暴力、网络过度娱乐、网络谣言等可能对高校师生 产生负面影响,影响社会稳定。【方法/过程】以微博数据为数据源,使用网络爬虫采集以网络谣言、网络暴力等及大 学生为关键词的微博转发和评论内容作为实验样本,通过文本挖掘分析高校负面网络舆情传播特征和路径,并提 出引导建议。【结果/结论】网民在讨论高校负面网络舆情信息传播过程中,较关注这些负面信息对线下生活的影 响;核心传播网民的平均中心度最高,其次是核心传播媒体,核心传播机构的中心度最低;新媒体环境下高校负面 网络舆情传播呈突发裂变式,信息传播状态不稳定,波动性较大。     

基于双重失衡环境的网络舆情演化机理与治理策略研究

[研究目的]网络信息的快捷性、非理性加剧了网络舆情生态的失衡与恶性发展。厘清网络舆情传播的影响因素和动态演化机理,为辅助政府相关部门防范化解舆情风险提供理论依据。[研究方法]基于信息生态视角,通过分析信息、信息人和信息环境三要素,将舆情系统划分为事件、网民、媒体和政府子系统,构建信息供需、情绪态势双重失衡环境下的系统动力学舆情演化模型,并利用Vensim PLE软件进行模拟仿真。[研究结论]结果表明：事件、网民、媒体和政府四个作用主体与网络舆情风险存在相互作用关系,在双重失衡环境下事件危害程度、网络媒体的涉利程度、网民参与约束、意见领袖作用、政府信息公开程度等因素对网络舆情风险影响程度较大。最后,从网民主体信息溯源、形成心理震慑效应、发挥主流媒体影响力、抨击处罚恶意营销媒体、强化网民媒体自我约束、加大问责监管力度防范化解舆情危机,为网络舆情治理提供一定参考。     

基于超网络的舆情信息传播机制分析

通过对网络舆情的分析,将舆情系统映射为舆情事件网络和网民社会网络构成的超网络体系。利用网络链接分析法,就舆情事件网络、网民社会关系网络和事件—网民网络对舆情事件信息传播的机制进行系统分析,从舆情事件链接预测、网络意见领袖的传播影响、网络信息推荐方式等方面,提出了网络舆情信息传播控制的建议。     

爬虫技术在大数据领域中的应用分析

在物联网技术迅速发展的背景下,网络数据呈现出爆炸式增长,对数据的应用需要在大量数据中记性挖掘搜索,搜索引擎结合这一需求就应运而生,不只是搜索数据信息,还要帮助人们找到需要的结果被人们所应用。信息数据的处理就需要爬虫技术加以应用来收集网络信息,基于此,本文先就爬虫技术的类型和发展趋势加以阐述,然后就大数据领域中爬虫技术实际应用方法详细探究,希望能从理论的研究下,为爬虫技术的应用推广起到促进作用。     

面向网络舆情的检索系统设计研究

网络舆情具有自由发布、传播和隐蔽等特点,这使得传统的信息检索技术很难直接应用到网络舆情监测系统中。通过深入研究网络舆情的相关技术,提出了网络舆情监测系统框架。围绕着论坛爬虫这一核心技术,分析了论坛网站的结构特点,并构建了论坛网站的层次模型,实现了对不同论坛网站的抓取。这种基于层次模型的爬虫技术兼顾了舆情信息采集的广泛性与特殊性,实验结果表明,该方法能够提高论坛爬虫的效率。     

网络舆情监测系统的研究与实现

网络舆情作为一种重要的舆情形式,具有形成速度快,受众人群广等特点,对国家和社会的影响越来越重大。互联网用户可以自由地在微博、论坛、博客等中发表有关社会中各类现实问题的态度和意见。监测网络舆情的主要手段就是利用网络爬虫对目标网络的页面数据进行挖掘,然后对挖掘的数据进行分类处理,并科学地统计舆情信息。本文主要分析网络舆情的特征和处理对策,并利用网络爬虫、全文检索、关键词评分、以及科学数理统计等手段对网络舆情监测系统的原理进行探索与系统实现。     

区块链环境下网络舆情传播影响因素模型研究

[目的/意义]区块链环境下网络舆情传播过程及影响因素模型分析，可更好地保证网络虚假信息传播的可追溯性，对实现网络舆情治理和打造网络舆情生态空间具有积极作用。[方法/过程]本文基于信息传播理论和信息生态理论，分析了区块链环境下网络舆情的传播过程，构建了区块链环境下网络舆情传播影响因素模型。采用网络爬虫获取Minds平台社交媒体数据对提出的模型及假设进行验证。[结果/结论]研究结果表明，区块链环境热度、区块链信息偏好、区块链技术偏好和信息人影响力是影响区块链环境下网络舆情传播的重要因素。其中，区块链环境热度、区块链信息偏好、区块链技术偏好和信息人影响力对区块链网络舆情传播态势有正向影响，图片信息上链偏好和视频信息上链偏好对区块链信息偏好有正向影响，信息上链偏好同区块链信息偏好呈负相关，区块链信息偏好对区块链技术偏好有正向影响，区块链信息偏好对区块链环境热度有正向影响；上链粉丝用户数量、上链关注用户数量对信息人影响力有正向影响。研究丰富了区块链环境下网络舆情传播过程的理论和算法，从网络舆情传播影响因素的视角出发提出了治理区块链环境下网络舆情空间生态的对策建议。     

藏语文信息监测关键技术初探

藏语文信息监测与发布关键技术难点主要包括网络爬虫算法设计、藏文自动分词及词性标注和藏文命名实体识别。文章围绕以上三个方面分别探索了网络爬虫技术、藏文自动分词及词性标注规则算法和藏文命名实体识别构思,致力于形成与舆情、安全相关的藏语文信息监测技术方案。     

棱镜折射：网络舆情的生成逻辑与内容层次 ——基于 “出租车罢运事件”的扎根理论分析

【目的/意义】针对频繁爆发的网络舆情,深度梳理网络舆情的内容层次,挖掘网络舆情的生成逻辑,为政府 网络舆情治理提供可行路径。【方法/过程】以“2015年初出租车罢运事件”作为研究案例,通过网络数据抓取软件收 集“财经网”相关微博下的评论信息,按照扎根理论的编码程序逐步抽象形成网络舆情的“棱镜折射”生成逻辑和 “情绪—态度—意见、行为取向”的内容层次。【结论/结果】研究结果显示,网络舆情的基本层次是网民情绪,网络舆 情的生成由公共事件的相关新闻信息触发,并取决于网民的生活经历、角色定位、思维方式、信息处理等个人特 征。因此,政府的网络舆情治理应重点关注网民情绪,并强化与网民的对话沟通和信息普及。     

突发事件网络舆情“片面化呈现”的形成机理——基于网民的视角

分析网民在舆情形成、传播、接受和评判环节选择性发布、协同过滤、被动性接纳、个人发挥等行为,可较好解释网民如何促成了网络舆情片面化呈现.为避免网络舆情片面化呈现,需引导和影响网民行为,而多维度呈现信息、设置舆情专题平台、鼓励舆情多元化、权威力量介入网络等是改变网民行为进而避免网络舆情片面化呈现的有效措施.     

网民规模和结构对网络舆情的驱动影响

随着互联网普及率的升高,网络拓宽了传媒渠道并打破了信息中心辐射、单向流通的格局,因此,更具活力的网络舆情在社会舆情中的地位和作用日益突出。本文对网络舆情的制造与传播主体网民进行探究,通过数据分析研究网民群体的规模和属性对网络舆情传播规律产生的驱动影响,分析阐述原因并提出相应的支撑对策,为网络监管部门决策也提供依据,营造和谐健康的网络舆情环境。     

基于系统动力学的移动环境下高校网络舆情应对策略研究

移动环境下,高校网络舆情对师生员工们产生了巨大的影响,尤其是在移动通讯高度发达的当代,高校师生几乎人手1部手机,网络舆情对其的影响更是不可忽视。本文通过对移动环境下高校网络舆情相关主体进行分析,建立移动环境下高校网络舆情演化的动力学模型,采用Vensim PLE软件对模型进行仿真分析,仿真结果最终表明提高高校信息公开程度,降低网民的舆情关注度和媒体作用力能够有效提升高校在移动环境下应对网络舆情的效率。     

网络社群的舆情演化机制分析

在网络舆情分析的基础上,构建了网络社群的舆情体系。对网络社群内和网络社群间的舆情演化机制进行了分析,并就网络舆情热点信息和网民行为协同演化进行了讨论,提出了网络社群的舆情管理对策。     

移动社交网络舆情多主体应对的系统动力学仿真研究

【目的/意义】移动社交网络时代,随时随地传递信息与发布动态已然成为人们的一种生活习惯。与此同 时,移动社交网络的即时性、超时空性等特点也使得网络舆情进一步升级—移动社交网络舆情由此产生。【方法/过 程】通过构建移动社交网络舆情多主体应对的系统动力学模型,并采用 Vensim PLE软件对实例进行模拟仿真。【结 果/结论】结果表明移动社交网络舆情受舆情事件、媒体、网民、政府四个主体的共同影响,降低事件敏感度、移动社 交平台传播次数、网民情绪强度及提升政府的信息透明度能够有效地应对移动社交网络舆情。     

信息传播平台对网络舆情热度的影响分析

［目的/意义］新信息技术推动媒体应用平台快速发展,网民通过主流媒体与自媒体积极参与话题讨论,客观分析信息传播平台对网络舆情事件发展的影响力,有利于建立良性的信息生态循环圈。［方法/过程］本文以官方公布的十年网络舆情热点事件为数据分析对象,使用灰色关联法分析历年各信息传播平台与网络舆情热度的关联关系,从时间、事件等维度挖掘信息传播平台对网络舆情热度的影响特征。［结论/建议］各信息传播平台对网络舆情热度的影响力与传播技术发展水平是同步的,对网络舆情热度的影响呈现势均力敌之势,媒体融合、资讯融合是发展必然趋势。     

食品安全突发事件网络舆情演变的模仿传染行为研究

网络已经成为人们日常生活中必不可少的发布和获取信息的渠道,越来越多的消费者依靠网络获取突发事件的相关信息,因此,网络舆情在推动突发事件发展的过程中越来越重要。本文基于传染病模型理论,构建了食品安全事件网络舆情传播演变中的模仿传染模型,研究网民在食品安全事件网络舆情传播中的模仿传染机理和行为,并以双汇"瘦肉精"事件为例,对模型进行仿真以验证模型的正确性,以期为食品安全事件利益相关者正确应对网络舆情演变过程中网民的传染行为提供决策参考。     

Web2.0环境下企业网络舆情传播过程的研究及实证分析

Web2.0的兴起改变了网络信息的传播方式,对网络舆情的传播过程也产生了影响。本文在网络舆情传播理论的基础上,提出了Web2.0环境下企业网络舆情的过程模型,通过肯德基黄金蟹斗事件的案例具体分析了企业网络舆情的传播过程,并从媒体、网民和企业三个角度对网络舆情事件中各角色对网络舆情传播过程的影响做出了分析,最后对研究进行了总结。     

新媒体环境下突发环境事件网络舆情风险信息感知模型

[目的/意义]网络舆情风险信息涉及要素较多，为了提高网络舆情风险信息感知效果，在新媒体环境下构建了突发环境事件网络舆情风险信息感知模型。[方法/过程]建立突发环境事件网络舆情信息流风险指标集，赋予评价指标权重，对权重离散化处理，构成相似系数矩阵。通过舆情主体建模、舆情信息模型建立与网民情感模型建立3个部分分析网络舆情传播核心要素演化规律。在此基础上计算传播概率，确定用户传播信息的涉入程度，采用Logistic回归模型感知风险信息风险高低。采用决策树对舆情风险预警，实现突发环境事件网络舆情风险信息感知。[结果/结论]实验结果表明，所构建模型应用后的事件舆情情感演化情况分析准确性较高，各个事件的转发数量和恶意评论数量感知准确度较高，预警效果更好，有效提高了突发环境事件网络舆情风险信息感知效果。     

考虑信息茧房现象的网络舆情演化研究

[目的/意义]推荐算法等技术的迅速发展,使得网民群体中更容易形成信息茧房现象,并由此导致群体极化、网络巴尔干化的发生,增大了舆情危机发生的风险。在网络舆情研究中考虑信息茧房现象对舆情的治理尤为重要。[方法/过程]论文以经典传染病模型为基础,结合信息茧房理论与意见动力学,建立舆情传播的动态演化模型,并使用BA无标度网络对模型进行模拟仿真。[结果/结论]仿真结果验证了模型的有效性,分析了用户初始意见分布、意见融合阈值对各群体密度的影响,以及后续刺激、舆情波动等因素对舆情演化的影响,为网络舆情的演化研究提供了新的理论视角,并为政府更好地管控网络舆情提供参考。