Spark作业性能建模及参数优化

Apache Spark分布式大数据计算框架应用广泛,但是其配置参数繁多导致使用难度较大,且不合理的配置将严重影响作业执行性能,研究Spark参数对性能的影响并进一步对参数进行自动优化具有重要意义.该文分析了 Spark作业中影响系统行为的关键参数,建立了性能模型,并进一步探索了 Spark参数自动优化的方法和策略.通...     

家庭节能10问

1 什么样的电热水器省电?保温层和加热管是电热水器省电的核心部件。高密度无氟聚氨酯保温层和导热性能好的不锈钢无缝加热管,具有自洁无垢功能,热效率高,加热管深潜内胆加热更充分,节能效果好。电子式智能化电热水器还可提前设定加热时间,避免不必要的电能消耗。2 怎样使用电热水器省电?将水温调到刚好可用,不要以兑冷水的方法调节水温;较长时间不用时应拔掉电源插头,使用前10分钟再插上。     

新型R型变压器的结构性能与应用

R型铁芯变压器是目前国内更新换代较为理想的产品,比传统的C型、EI型变压器具有明显的优点。本文阐述了R型铁芯变压器的结构、性能及其应用价值。     

利用电流传感器进行实验的两个装置的改进

在中学化学实验中,若要测定溶液的离子浓度,一般会采用滴定的方法;若需测定溶液离子浓度的变化,一般要进行溶液导电实验,就是通过小灯泡的明暗以及电流表指针的偏转定性地反映出溶液导电性能强弱的相对变化.这样做虽然很直观,但精确度很低.     

水蒸发法制备一维硒化亚铜结构及其机理研究

随着社会的发展,不可再生资源的日益消耗,能源利用率低以及能源在使用过程中造成的环境污染恶化制约着人类的发展,因此,寻找一种高效节能环保型材料成为科学研究的重点.热电材料作为一种环境友好型材料,是值得我们研究的一种材料.人们发现半导体材料硒化亚铜不仅有着许多优异的性能,如良好的热电性能,而且它还能够应用于各个领域,不论是...     

金属点阵材料剪切实验技术研究

从已有胶黏剂、夹芯材料的剪切试验标准出发,制备金属点阵夹芯材料试样,开展金属点阵材料多种剪切实验方法的探索,同时采用有限元方法模拟各种剪切实验方案中材料的应力分布与变形特征.通过与理想剪切状态的分析对比,提出了一种适合金属点阵材料剪切实验的方法.该实验方案可将剪切力均匀作用在材料内部待剪切面内,消除附加弯矩影响,实现预...     

基于SHPB实验的煤层气固井水泥动态力学特性

为模拟射孔对固井水泥冲击破坏作用,利用分离式霍普金森压杆(SHPB)装置对煤层气常规、纤维固井水泥实样实施高速冲击加载.结果显示:常规固井水泥动态应力-应变曲线卸载阶段斜率较陡,反映材料为脆性断裂;而纤维固井水泥应力-应变曲线卸载阶段斜率平缓,表现出塑性材料破坏形式;常规固井水泥在动态压缩强度、峰值应变上高于纤维固井水...     

HVM-TSR高黏改性剂的制备及应用性能

为制备出性能优良且价格低廉的高黏改性剂,以降低高黏沥青使用成本,运用熔融共混工艺,将苯乙烯-丁二烯-苯乙烯嵌段共聚物(styrene-butadiene-styrene block copolymer, SBS)、萜烯-苯乙烯树脂(terpene-styrene resin, TSR)及少量增塑剂混炼制备出HVM-TSR高黏改性剂,研究其对基质沥青的改性效果,并选用传统高黏改性剂(TPS)作为对照组。通过常规物理性能试验确定HVM-TSR、TPS高黏改性剂各自的最佳掺量,结合离析试验、荧光显微镜、傅里叶变换红外光谱、动态剪切流变试验和弯曲梁流变试验,对HVM-TSR、TPS高黏沥青的热储存稳定性、微观结构、改性机理、高低温流变性能进行对比研究。结果表明：HVM-TSR、TPS高黏改性剂最佳掺量分别为14.5%～18.2%、15.2%～17.5%,最佳掺量范围内的HVM-TSR高黏改性剂颗粒均匀分散于沥青中形成致密连续的网状结构。HVM-TSR、TPS高黏沥青制备过程中均无新的官能团生成,高黏改性剂与沥青仅为物理共混。0～48 h热储存过程中,2种高黏沥青的软化点差均小于2.5℃,满足热...     

紫外老化对温拌胶粉改性沥青混合料裂纹扩展性能的影响

为了研究紫外老化对温拌胶粉改性沥青混合料(warm-mixing rubber powder modified asphalt mixture, WMA)和热拌胶粉改性沥青混合料(hot-mixing rubber powder modified asphalt mixture, HMA)裂纹扩展性能的影响,采用半圆弯曲(semi-circular bending, SCB)试验计算得到的断裂能(G_f)、威布尔抗裂指数(Weibull_CRI)、平衡抗裂指数(balanced crack resistance index, BCI)3个指标对比分析和评价紫外老化前后WMA和HMA的裂纹扩展行为。结果表明：随着紫外老化时长的增加,WMA和HMA的抗裂纹扩展性能逐渐降低;与HMA相比,WMA具有更加优异的抗老化、抗裂纹扩展性能。通过层次分析(analytic hierarchy process, AHP)法对评价沥青混合料裂纹扩展性能的3个指标进行了对比,发现Weibull_CRI变异性较低,具有最大权值0.571,推荐在评价沥...     

一种基于双控节点的Ceph写性能优化方法

分布式存储系统Ceph由于采用多副本强一致性写入机制,造成集群写性能不理想。针对该问题,提出一种基于双控节点的Ceph写性能优化方法,首先利用双控双存储阵列节点,当一个控制器出现故障时,该节点中的另一个伙伴控制器创建新的OSD进程并快速接管故障控制器的存储阵列,从而保证数据存储的安全性和高可靠性,同时将写入机制优化为主副本OSD在本地写入日志盘后,就向客户端返回写完成,之后写入数据盘和其余从副本的完成情况则由主副本OSD继续收集并完成后续各类回调操作,从而降低非必要写操作对集群写性能的影响。最后对数据可用性和集群写性能进行实验测试,其中写性能测试分别从写延迟、吞吐量和IOPS等3个角度,对优化后的方法和Ceph原生写入机制在顺序写和随机写两方面进行比较,进一步验证优化方法在维护数据高可用的同时,对写性能提升的效果。