基于负载均衡的并行FP-Growth 算法
Parallel FP-Growth Algorithm Based on Load Balance
查看参考文献16篇
|
文摘
|
针对FP-Growth 算法查找操作时间复杂度较高的问题,提出一种新的算法LBPFP。在PFP 算法基础上,将哈希表加入链头表以实现项地址的快速访问,并设计基于前缀长度的计算量模型,优化并行流程,提升算法的执行效率。在webdocs.dat 数据库上进行对比实验,结果表明,LBPFP 算法比PFP、HPFP、DPFP 算法具有更高的频繁项集挖掘效率。 |
|
其他语种文摘
|
Aiming at the problem that the lookup operation of FP-Growth algorithm has a high time complexity,this paper proposes a new algorithm named LBPFP.The algorithm is based on PFP algorithm,which is added a hash table to the head table to achieve fast access to item and is designed a workload model based on the prefix length to optimize the parallel process and improve the efficiency of the algorithm.The comparison experiments in the webdocs.dat database show that the LBPFP algorithm has better performance than the PFP,HPFP and DPFP algorithms. |
|
来源
|
计算机工程
,2019,45(3):32-35,40 【扩展库】
|
|
DOI
|
10.19678/j.issn.1000-3428.0049606
|
|
关键词
|
Spark 平台
;
频繁模式增长
;
并行
;
负载均衡
;
链头表
;
计算量模型
|
|
地址
|
南京航空航天大学自动化学院, 南京, 211106
|
|
语种
|
中文 |
|
文献类型
|
研究性论文 |
|
ISSN
|
1000-3428 |
|
学科
|
自动化技术、计算机技术 |
|
基金
|
国家部委项目
|
|
文献收藏号
|
CSCD:6504272
|
参考文献 共
16
共1页
|
|
1.
Li H. PFP: Parallel FPGrowth for query recommendation.
Proceedings of 2008 ACM Conference on Recom mended Systems,2008:125-137
|
CSCD被引
1
次
|
|
|
|
|
2.
Lee K H. Parallel data processing with MapReduce: A survey.
ACM SIGMOD Record,2012,40(4):11-20
|
CSCD被引
17
次
|
|
|
|
|
3.
Han J. Mining frequent patterns without candidate generation.
Proceedings of 2000 ACM SIGMOD International Conference on Management of Date,2000:1-12
|
CSCD被引
1
次
|
|
|
|
|
4.
陈兴蜀. 基于布尔矩阵和MapReduce的FP-Growth算法.
华南理工大学学报(自然科学版),2014(1):135-141
|
CSCD被引
8
次
|
|
|
|
|
5.
Wei F.
Improved frequent pattern mining algorithm based on FPtree,2017
|
CSCD被引
1
次
|
|
|
|
|
6.
马月坤. 改进的FP-Growth算法及其分布式并行实现.
哈尔滨理工大学学报,2016,21(2):20-27
|
CSCD被引
4
次
|
|
|
|
|
7.
方向. 基于Spark的PFP-Growth并行算法优化实现.
现代电子技术,2016,39(8):9-13
|
CSCD被引
3
次
|
|
|
|
|
8.
宁慧. 基于改进的FP-tree最大频繁模式挖掘算法.
应用科技,2016,43(2):37-43
|
CSCD被引
2
次
|
|
|
|
|
9.
程广. 基于MapReduce的并行关联规则增量更新算法.
计算机工程,2016,42(2):21-25
|
CSCD被引
1
次
|
|
|
|
|
10.
Zhou L. Balanced parallel FP-Growth with MapReduce.
Proceedings of Information Computing and Telecommunications,2011:243-246
|
CSCD被引
1
次
|
|
|
|
|
11.
Yang Q. Improved balanced parallel FP-Growth with MapReduce.
Proceedings of 2016 Joint International Conference on Artificial Intelligence and Computer Engineering and International Conference on Network and Communication Security,2016:1-5
|
CSCD被引
1
次
|
|
|
|
|
12.
厍向阳. 基于Hadoop的FP-Growth关联规则并行改进算法.
计算机应用研究,2018,35(1):1-6
|
CSCD被引
1
次
|
|
|
|
|
13.
Pramudiono I. Parallel FPGrowth on PC cluster.
Proceedings of Pacific-Asia Conference on Advances in Knowledge Discovery and Data Mining,2003:467-473
|
CSCD被引
1
次
|
|
|
|
|
14.
Yan X. A parallel algorithm for mining constrained frequent patterns using MapReduce.
Soft Computing,2015,21(9):1-13
|
CSCD被引
1
次
|
|
|
|
|
15.
施亮. 基于Hadoop的并行FP-Growth算法的研究与实现.
微电子学与计算机,2015,32(4):150-154
|
CSCD被引
3
次
|
|
|
|
|
16.
.
Frequent itemset ming dataset repository,2017
|
CSCD被引
1
次
|
|
|
|
|
了解气象卫星更多信息，请访问