|
|||||
|
|
| 基于HBase的证券交易数据实时采集系统的应用研究 | |
| 作者单位： | ;1.安徽工业经济职业技术学院计算机与艺术学院 |
| 摘 要： | 随着大数据时代的到来,数据逐步上升为一种战略资源,在大数据产业链中,数据采集作为整个产业链的源头,直接影响着后续各个环节的发展。试提出一种数据采集方案,专门用来采集WEB网页中通过Ajax动态产生的JSON数据,同时利用Quartz和TimerTask双重定时机制,实现在指定的时点,在指定的周期内,按照指定的频率进行数据采集,以适应证券交易数据实时动态产生的应用场景,动态产生的实时JSON数据被采集后,系统再对其进行解析处理,并存储到分布式数据库HBase中,为后续的大数据实时统计分析和挖掘提供数据源。 |
| 关 键 词： | 数据采集 定时机制 JSON数据 动态 实时 |
Application of Real-time Data Collection System for Securities Trading Based on HBase |
|
| Abstract: | |
| Keywords: | |