您的位置: 主页 > 人工智能内参 > 校内网涂鸦板:基于Hadoop平台的图书推荐服务Apriori优化算法

校内网涂鸦板:基于Hadoop平台的图书推荐服务Apriori优化算法

时间: 2019-01-25阅读:

关键词: Hadoop; 云计算; 图书推荐; DAG; Apriori算法; 推荐算法

中图分类号: TN911.1?34                           文献标识码: A                      文章编号: 1004?373X(2019)01?0180?03

Abstract: An Apriori optimization algorithm based on Hadoop platform is proposed to improve the accuracy of book recommendation service. On the basis of distributed Hadoop framework, the directed acyclic graph (DAG) is used to analyze the implementation steps of parallel Map Reduce based on Hadoop platform. The Map Reduce is optimized for the traditional association rule Apriori algorithm to reduce the connection times of database, and generation of useless candidate items as much as possible, so as to shorten the task processing time. The experimental results show that, in comparison with traditional LDA recommendation algorithm, the proposed algorithm has higher accuracy, and can recommend more suitable books for borrowers.

Keywords: Hadoop; cloud computing; book recommendation; DAG; Apriori algorithm; recommendation algorithm

0  引  言

随着科技的不断进步,传统图书馆的发展模式已经不能满足社会大众对图书服务的各种需求。因此,需要实现图书馆的数字化和信息化,需要合适的个性化推荐技术为用户提供感兴趣和有意义的信息,例如应用于图书管理的个性化图书推荐[1?2]。用户如果想从海量的书籍中寻找自己想要的书籍[3?4],就需要花费大量的时间和精力进行查询和检索,而具有图书推荐的图书管理信息化系统能够解决用户的此类需求问题。

在解决此类大数据挖掘问题时,Hadoop云平台表现出了优秀的性能,但是,由于数据越来越复杂且数据库的规模变得越来越大,集中式处理方法很容易造成网络拥塞问题[5]。因此,传统的云计算系统已经无法有效解决大数据处理任务。目前,分布式Hadoop平台下的并行Map Reduce作业流处理技术成为当今的研究主流[5]。为了在分布式Hadoop平台上有效实现图书推荐并进一步提高推荐的精确度,本文提出一种基于Hadoop平台的Apriori优化算法。实验结果显示,相比传统算法,所提出的算法具有较高的准确度,能夠有效实现图书数据挖掘。

1  分布式Hadoop框架

具有图书推荐的图书管理信息化系统能够自动地向借阅者推荐符合其兴趣的图书[5]。通过使用图书推荐,图书管理系统能够合理、及时地向借阅者推荐潜在感兴趣的图书。解决类此大数据挖掘问题时,Hadoop云平台表现出了优秀的性能。Hadoop作为三大分布式计算系统之一,可以轻松完成不同结构类型数据的集合,它可以提供跨计算机集群的分布式存储计算环境[5]。Hadoop在数据分析方面有独特的优势。大数据环境下的信息资源具有开放性特点。此外,由于大数据的上传下载较为频繁,特别适用于在Hadoop平台管理。而且考虑到大数据吞吐量的问题,在用户行为数据挖掘过程中,资源交互的流畅性尤为重要。

三生教育网

三生教育网

从图3中可以看出,随着图书管理系统中推荐书籍的总数不断增加,三种算法得到的准确度都随之不断提高。其中LDA算法的提高速度最慢,传统关联规则算法的提高速度次之,本文提出方法的提高速度最快。验证了本文提出算法的有效性和可行性,能够有效地完成用户图书推荐,并且在相同条件下,相比其他两种算法,本文提出算法的准确度更高。

3  结  论

本文提出一种基于Hadoop平台的Apriori优化算法,能够在分布式Hadoop平台上有效实现图书推荐并进一步提高推荐的精确度。实验结果显示,相比传统算法,本文提出的算法能够有效地实现图书数据挖掘任务,并满足图书推荐的要求;相比于关联规则算法与LDA算法,本文方法的图书推荐准确度更高。

参考文献

[1] CHEN C M. An intelligent mobile location?aware book recommendation system that enhances problem?based learning in libraries [J]. Interactive learning environments, 2013, 21(5): 469?495.

[2] LI K C, LIANG Z Y. Personalized book recommendation algorithm based on multi?feature [J]. Computer engineering, 2012, 38(11): 34?37.

[3] YANG S T, HUNG M C. A model for book inquiry history ana?lysis and book?acquisition recommendation of libraries [J]. Library collections acquisitions & technical services, 2012, 36(3/4): 127?142.

[4] SOHAIL S S, SIDDIQUI J, ALI R. A novel approach for book recommendation using fuzzy based aggregation [J]. Indian journal of science & technology, 2017, 10(19): 1?30.

[5] YANG S T. An active recommendation approach to improve book?acquisition process [J]. International journal of electronic business management, 2012, 10(2): 108?115.

[6] 徐飞.大数据流的实时处理研究[D].无锡:江南大学,2015.

XU Fei. Real?time processing of big data streams [D]. Wuxi: Jiangnan University, 2015.

[7] KHAN M, JIN Y, LI M, et al. Hadoop performance modeling for job estimation and resource provisioning [J]. IEEE transactions on parallel & distributed systems, 2016, 27(2): 441?454.

[8] 刘丽娟.改进的Apriori算法的研究及应用[J].计算机工程与设计,2017(12):3324?3328.

LIU Lijuan. Research and application of improved Apriori algorithm [J]. Computer engineering and design, 2017(12): 3324?3328.

[9] RAJAGOPAL S, KWAN A. Book recommendation system using data mining for the University of Hong Kong Libraries [J]. ITEC journal, 2012, 58(4): 393?401.

上一篇:不厚近况:一种基于无证书的前向安全代理盲签名方案
下一篇:没有了

相关阅读