基于聚类的逆向Skyline查询算法

逆向Skyline查询能够应用到诸如决策支持、用户偏好支持以及市场行为分析等方面.由于参考对象q的存在,在执行逆向Skyline查询的过程中数据空间被划分成许多分区.然而,存在的算法都没有考虑这个问题的影响,直接使用原始数据集建立索引结构.本文提出了一种新的逆向Skyline查询方法CRSQ,它考虑了这个问题.CRSQ首先根据查询对象q对数据进行聚类,然后建立R-tree索引,最后利用高效修剪策略修剪索引搜索空间.实验结果表明CRSQ算法是有效的,它相对于没有聚类技术的算法获得了50 %以上的性能提高.     

基于控制集合的电力通信不确定大数据查询优化

提高元组数目特别大下的不确定数据查询的准确高效特性,采用Top-k查询算法改进设计,通过数据查询操作设计及PT-k查询算法控制集合改进,结果验证有:对城市负荷预测的不确定数据应用预测得出设计算法实现了数据估计及收敛速度快的优点;对java中随机生成的实验数据得出控制集合以外的元组成为查询结果的可能性为0即控制集合较小时,算法优势明显,数据量较大元组更新时对不确定数据查询结果的影响概率明显降低;设计控制集合的方法查询算法远小于现有需要计算的元组方法处理的元组数目。这一研究对于大元组不确定的数据管理具有显著的理论和实践价值。     

移动计算中概率数据集成的Top-k算法

基于一个给定的移动计算场景,讨论了模式映射的概率和相关的查询回答算法,并且描述了一个分布式的Top-k算法.     

一种用于电类实验测量数据判决的改进KNN算法北大核心

电类实验教学过程中人工评判学生所测数据工作烦琐,影响了教学质量和效率。该文提出了改进的K近邻(K-nearest neighbors,KNN)分类算法,即基于均值漂移、安全间隔和核主成分分析(KPCA)的M-KPCA-KNN(KNN based on margin and KPCA)算法,以判断学生测量数据正确与否和错误原因。首先利用KPCA对高维实验数据进行降维,然后利用均值漂移向量找到不同类别数据的最密集位置,并在不同类别数据的边界设置安全间隔,最后,将与待测样本距离最近的k个数据设置权重,计算每个类别的权重和,权重和最大的类别为待测样本的类别。与现有的KNN算法相比,M-KPCA-KNN算法不仅提高了分类正确率,而且降低了时间复杂度。     

一种基于粗糙集和粒子群优化算法的权重确定方法

为了克服基本粗糙集理论确定权重的不足,提出一种新的基于粗糙集和粒子群优化算法的权重确定方法.该方法先利用粗糙集和粒子群优化算法对决策表进行属性约简,对约简后的决策表再用粗糙集方法计算属性权重.运用该算法对教师职业倦怠与压力数据进行分析,得到影响教师职业倦怠的各种压力因子的权重.研究结果表明,基于粗糙集和粒子群优化算法可以对决策表的权重进行有效的分析.     

物联网环境下大数据流中有效信息过滤算法研究

针对常规有效信息过滤算法对数据间关联规则识别能力较弱等问题,提出物联网环境下大数据流中有效信息过滤算法。该算法根据数据权重向量维度,通过余弦夹角构建目标相似的大数据推荐模型;设置表层关联与隐含关联预测规则,利用预测函数确定数据间的关联程度;按照数据间的衔接性质,将数据集合划分成若干子集,模糊聚类物联网中的有效信息;根据用户主观倾向设置偏好函数,以协同过滤方式,得到有效信息过滤算法。实验结果表明,与常规有效信息过滤算法相比,该算法对数据关联规则识别能力提升 14.97%,满足当前物联网大数据流中对有效数据的过滤要求。     

信息检索中基于智能优化算法的数据融合方法

如何利用网络技术手段,帮助用户从互联网海量信息中迅速准确地获取用户所需信息是信息检索领域的首要问题。数据融合技术能够将不同检索系统提交的检索结果进行组合从而得到一个新的检索结果。对数据融合技术中的线性组合法进行研究,着重探讨如何采用智能优化算法解决线性组合法的权重分配问题,分析基于差分进化算法和基于粒子群算法的权重分配策略,在上述两种优化算法的基础上,提出一种新的线性组合法权重分配策略：基于自适应交替的粒子群差分进化优化算法权重分配策略。     

基于Lucene的图书全文检索应用研究

基于当前数字图书馆建设所需,根据Lucene主流开源全文检索引擎技术分析,应用双向最大匹配(BBM)分词算法及通用反向索引机制,在优化向量空间模型(VSM)基础上,实现数字图书全文内容的检索.该方法提高了数据的查询速度与查准率,为如何提升高校图书馆信息服务水平作出了有益的探索.     

引入用户情感偏好矩阵的ItemCF算法研究

传统基于物品的协同过滤算法（ItemCF）利用物品间的相似性为用户提供个性化推荐,然而该方法仅考虑了评分数据,而未关注用户情感偏好。基于从评论中的emoji表情提炼出的用户情感偏好,提出一种引入用户情感编号矩阵的ItemCF算法。该方法利用物品共现矩阵与用户情感偏好矩阵计算物品相似度,进而进行个性化推荐。根据某在线互联网教育实证数据集的实验结果表明,该方法相比于传统基于物品的协同过滤算法,在准确率和召回率上都有所提升,在Top1-5推荐均值上分别提高了0.02和0.03。     

一种改进的选举算法在分布式OLAP系统中的应用研究

OLAP系统通过对企业数据的智能查询,可以对企业决策起到良好的辅助作用。但是大量复杂的查询分析任务要求OLAP系统部署在高性能的服务器上,从而使得系统成本高昂,限制了其在广大中小企业中的推广应用。通过引入分布式技术,把OLAP系统部署在多个小型服务器上,把大量的查询分析任务分配到各个服务器上分布执行,可以利用现有的企业资源来实现OLAP应用。分布式系统中,系统的协调者一般是通过选举算法选出的,在全连接的局域网内,选举策略一般采用Garcia-Molina提出的经典欺负算法或相应的改进算法。本文结合分布式OLAP系统的特点,提出了一种适合该系统的改进选举算法,减少了通讯量,提高了系统效率。     

基于PLSA的面向用户的网络搜索

针对当前的搜索引擎提供面向查询、而非面向用户的服务,从而导致搜索引擎无法满足用户个性化的需求这一问题,提出了一种基于PLSA的新方法,将面向查询词的搜索转变成面向用户的搜索.首先,通过分析用户查询历史和浏览记录建立代表用户模型的用户兴趣向量,在用户发出查询时用户的查询词根据用户兴趣向量被映射到兴趣分类上,最终根据面向用户排序算法将返回结果列表重新排序.实验表明该面向用户搜索系统能够充分考虑用户的偏好,从而更好地满足不同用户的信息需求.     

基于LBS的定位系统的研究与设计

LBS的广泛应用带来海量的位置信息数据,如何充分利用这些数据并从中挖掘出隐含其中的知识为决策提供数据支持,已经成为空间数据挖掘技术的重要内容。本文重点研究了空间数据挖掘中的聚类分析算法,以此提出了基于LBS的定位系统。该系统分析了DBSCAN和K-means算法,并提出了一种改进算法,实现异常位置检测。基于上述研究设计实现了基于LBS的定位系统,实现了实时定位查询,时空查询,异常轨迹分析等功能。     

基于用户偏好的个性化网页排序算法

为了按用户偏好对搜索结果进行排序,提出了一种新的个性化网页排序算法PWPR.PWPR基于按照用户偏好调整网页排序的思想,根据用户兴趣为网页分配初始权值,并建立虚连接,通过测量用户的点击流实现用户喜好的区分.对于具有相似兴趣的用户提交的相似关键词查询,PWPR采用协作过滤方式提高排序精确性.仿真结果及与其他算法的比较证明PWPR算法能自适应地实现个性化排序,并根据用户偏好提供相关查询信息.     

基于预测的Spark动态资源分配策略

分布式内存计算平台Spark是海量数据处理领域的最新技术进展。动态资源分配下Spark可根据应用的负载情况动态地追增、关闭任务执行器。然而,关闭任务执行器会造成缓存数据丢失,导致不必要的重计算开销,该情况在Spark交互式数据查询应用中尤为常见。为尽量减少任务执行器关闭以提升查询效率,设计实现一种基于预测的Spark动态资源分配策略。该策略基于马尔科夫理论构建Spark交互式数据查询应用的非活跃期持续时间预测模型,并依据预测结果确定任务执行器的关闭时机。试验结果表明,相比既有的Spark动态资源分配策略,采用基于预测的资源分配策略可使Spark交互式数据查询效率平均提升59.34%。     

基于组合权重的交通网络路径选择方法

针对城市交通网络路径选择过程中路径属性权重确定方法不合理的问题,考虑属性的主观权重不能更好地反映路径的客观信息并承载了较多的主观随意性、客观权重则对驾驶员的主观偏好兼顾不够等因素,提出了一种基于组合权重决策的最优路径选择算法。基于信息熵理论、路径的旅行时间和费用等属性对路径进行评价,属性的权重用主观权重和客观权重相结合的方法确定,根据计算得到的各路径的综合属性值,对可能的路径方案进行排序,从而得到最优路径。利用算例说明了本文最优路径选择算法的正确性和合理性。算法兼顾了专家的知识和出行者的主观偏好,同时有效地利用了路径的客观信息,得到的最优路径更合理。     

基于文档结构的特征权重计算方法研究

针对不同类别文档可能被表示为相同向量的问题,在研究常用文档特征权重计算方法的基础上,分析文档中特征项之间的相对位置关系,引入文档结构矩阵DS。将DS与3种常用权重算法相结合,构造3种新模型,并利用6种模型在实际语料上进行分类实验。结果表明,基于DS的权重算法与原始权重算法相比,能够提高文本分类效果。     

基于改进神经网络算法的英语数字资源个性化推荐方法

为了有效解决英语数字资源的个性化推荐结果不准确等问题,文章提出一种基于改进神经网络算法的英语数字资源个性化推荐方法。计算时间序列内滑动窗口内的数据均值,获取起始序列向量;将用户行为加以分类处理,形成多个规格一致的时间片,采用取样法对用户群体进行统计,得到各类型用户的行为状态定性;将平均查询频率作为标准,观察用户的查询行为特征,得到用户行为特征挖掘结果。在改进神经网络中引入元数据概念,构建以数字资源为基础的英语数字资源本体,对用户偏好以及英语数字资源本体双重聚类后,匹配类之间的拟合关系,确定最终推荐的英语数字资源。应用结果表明,该方法可有效提升英语数字资源个性化推荐的质量,减少个性化推荐耗时。     

改进海鸥算法优化DELM的入侵检测方法研究

针对深度极限学习机DELM的输入权重和隐藏层偏置的随机初始化,从而影响入侵检测性能的问题,提出基于改进海鸥算法优化DELM的入侵检测方法ESCSOA-DELM.先运用精英反向策略初始化海鸥算法,再用改进正余弦算法和精英反向策略更新精英海鸥位置,以此对DELM的输入层权重和隐藏层偏置参数优化.通过标准测试函数,分析比较ESCSOA与SOA、GWO、PSO算法,验证了ESCSOA算法改进的有效性.基于天然气管道入侵数据集的实验结果表明,ESCSOA-DELM模型在准确率、误报率、漏报率、F1和ROC曲线等评价指标上优于其他模型,体现了较理想的入侵检测性能.     

一种基于前缀编码的查询算法

目前利用特定的编码方案对XML数据进行管理是一个研究热点,由于前缀编码Dewey具有较低的编码空间,并且支持AD关系、PC关系、之前之后关系和兄弟关系等结构顺序关系而得到了广泛应用.但是,与其它的编码比较,Dewey虽然支持各种关系计算但查询性能仍然不很理想.本文提出了一种新的算法,该算法利用字符串的顺序性,在常数时间内可以确定节点之间的结构顺序关系.实验结果显示,新算法与Dewey编码原有算法比较,在查询时间上就很大的提高.     

一种分布式数据库查询优化算法

在分析分布式数据库查询目标和策略的基础上,提出了一种新的查询优化算法:基于二级索引的查询算法.该算法利用全局和局部二级索引对查询语句进行分析,进而确定最优查询路径.该算法可以有效地减少分布式数据库系统查询过程对带宽的消耗.