一种高效批改电子作业的方法

电子作业指的是在校园网络环境下,学生按照教师的要求,利用计算机和网络等手段完成表现所学知识的多媒体数据。这些数据包括文字、声音、图形、图像、影像、程序、网页等多种媒体信息。作业的格式是各种计算机格式的文档、网页、程序等。     

半结构化数据OEM图的获取及应用

探讨如何从数据集成，电子文档及web网页三种数据源中获取描述数据半结构化特性的有向标注图（OEM图），并例举了半结构化数据的实际应用。     

利用数据绑定技术实现实验室信息动态查询

利用数据绑定技术和TDC控件，通过对实验室信息数据进行转换，生成有限定符的文本文件，可以建立发布在任何WEB服务器上的实验室信息动态查询网页，实现方法简单实用可靠。     

从网站中自动挖掘数据记录的算法

为了提高从web中挖掘数据记录的精确性和完整性,提出了同构页与目录页的概念及3个算法.如果一组网页结构相同,只是主信息不同,该网页称为同构页.一个包含有多个指向同构页连接的网页称为目录页.算法1用于发现目录页,它首先将连接排序,并对同一目录的链接记数,如果记数大于某一给定阀值,则对其链接子页进行相似比较并得到结果.同时给出了一个网页相似度判断的函数.算法2采用了噪声信息过滤方法从同构页中挖掘主信息并得到数据记录,该算法是基于在2个同构页中噪声信息相同而只有主信息不同.算法3通过采用Spider技术可以实现从整个网站中自动挖掘数据记录.实验表明所提算法比已有算法可挖掘更完整的数据记录.从同构页中挖掘数据记录是一种有效的方法.     

数字

谷歌分析（GoogleAnalytiesl服务追踪的数据显示,移动浏览器的网页加载速度比2012年前快了30％。对桌面浏览器用户来说,网页加载速度比2012年前也快了3．5％．     

Scrapy框架下反反爬虫和数据有序性的实现

在爬虫获取数据时,由于获取速度过快易被网页反爬虫机制拦截,需要一种规避网页反爬虫的机制.结合目前反爬虫常用的手段,提出了一种反反爬虫机制.首先找到需要进行网页数据爬取的url,在不使用任何反反爬虫机制的情况下观察爬虫程序被拦截的次数,然后针对目标网页反爬虫机制,设计出一种反反爬虫机制.实验结果表明,通过设置随机抽取useragent和随机IP,跟踪目标网页referer,禁用cookies的反反爬机制,可以规避反爬虫的阻挠,使爬虫爬取到目标网页数量增加,成功率和效率都有所提高.     

基于AppCan的移动英语微学习系统研究

在分析英语学习需求、移动微学习服务、学习生态环境等基础上,设计了一款支持学习资源共享与个性化移动微学习的移动英语学习服务系统,利用跨平台Hybrid模式移动应用开发平台AppCan和HTML5技术等进行系统开发,并研究网页数据抓取、数据推送、即时通信、客户端数据缓存等关键技术的应用.分析表明,该系统的应用能够大量节省英语学习者的时间和网络数据流量,优化移动英语学习过程和方法.     

大数据下电子商务系统的MapReduce架构设计

面对大规模数据量的快速响应和处理,尤其是以Web网页和数据搜索为主的当下电子商务等互联网应用的瓶颈,引入MapReduce计算模型改变对大数据的处理方式,是目前较为有效的解决方法。分析研究MapReduce计算模型的特点,进一步拓展MapReduce计算模型,改进大规模数据处理,为高效提升互联网应用奠定良好的大数据基础。     

一种基于不完整数据集的网页分类技术

常用的网页分类技术大多基于普通文本分类方法,没有充分考虑到网页分类的特殊性--网页本身的半结构化特征以及网页中存在大量干扰分类的噪音信息,同时多数网页分类的测试集和训练集采源于同一个样本集而忽视了测试集中可能包含无类别样本的可能.基于向量空间模型,将样本集看成由有类别样本和无类别样本两部分组成,同时选择了样本集来自于相同的网站,在去除网页噪音基础上结合文本相似度算法和最优截尾法,提出了一种基于不完整数据集的网页分类技术LUD(Learning by Unlabeled Data)来改善分类效果,提高分类精度.实验证明:LUD算法与传统的分类方法相比较而言,不但可以提高已有类别样本的分类精度,更主要的是提供了一种发现新类别样本的方法.     

聚类技术在Web服务中的应用研究

通过对ProgrammableWeb在线社区进行研究,发现网站上的API服务数量庞大且含有丰富的数据信息。讨论了网页采集、数据预处理等相关技术,利用K Means和凝聚层次聚类技术在API服务数据集上进行实验,实验结果表明,K Means算法具有更好的聚类效果。