基于Hadoop的电子商务网站日志分析的研究.doc

  • 需要金币2000 个金币
  • 资料目录论文助手 > 论文题目 > 工业工程 >
  • 转换比率:金钱 X 10=金币数量, 例100元=1000金币
  • 论文格式:Word格式(*.doc)
  • 更新时间:2018-04-14
  • 论文字数:16747
  • 课题出处:(月光影子)提供原创资料
  • 资料包括:完整论文

支付并下载

摘要:近年来,网络信息发展进入了一个全新的阶段,云计算的快速发展,使人们在信息服务方面的获得方式发生转变,网络上的数据也随着呈现爆炸性的增长。尤其在电子商务迅速发展的今天,电商网站每天都会产生大量的日志文件,这些日志文件对于企业来讲,可以从中获取很多有价值的信息用于后期的分析评估,有利于它们在商业竞争中抢占先机。但是,如何高效地分析和处理这些海量的数据是一项艰巨的任务,传统的数据挖掘算法已不能满足现在的需求,新兴的云计算技术的出现,很好地解决了这个问题,尤其是Hadoop的出现起着重要性的作用。

本文首先介绍了研究背景和Hadoop的相关技术,然后详细介绍了Hadoop的两大核心技术:HDFS分布式文件系统和MapReduce分布式并行计算框架,对其运行机制进行了重点分析研究。接着使用Hadoop的数据处理技术实现了对1号店网站日志的分析工作,使用Hive数据仓库框架对数据进行处理,得到所需的重要指标的统计结果,并将统计结果通过Sqoop导出到MySQL中进行保存,对结果做一些进一步的分析。最后,对本文进行了一个简单的总结,指出文中出现的一些问题和不足之处。

 

关键词- 云计算;电商网站;Hadoop;HDFS;MapReduce;数据仓库

 

目录

摘要

Abstract

1 绪论-1

1.1 研究背景及意义-1

1.2 国内外研究现状-1

1.2.1 国外研究现状-1

1.2.2 国内研究现状-2

1.3 本文主要研究内容-2

2 Hadoop相关技术-4

2.1 Hadoop简介-4

2.2 Hadoop的核心设计-5

2.2.1 HDFS-5

2.2.2 MapReduce-5

2.3 Hadoop应用-6

2.3.1 Hive-6

2.3.2 Sqoop-7

3 Hadoop核心技术深入分析-9

3.1 HDFS深入分析-9

3.1.1 Block-9

3.1.2 NameNode和DataNode-10

3.2 MapReduce深入分析-11

3.2.1 经典的MapReduce作业运行机制-12

3.2.2 YARN平台上的MapReduce作业运行-13

3.2.3 Shuffle过程-15

4 日志分析实例研究-17

4.1 数据采集-17

4.2 关键技术指标-17

4.2.1 浏览量PV-17

4.2.2 访客数UV-17

4.2.3 登录人数和游客人数-17

4.2.4 IP数-18

4.2.5 平均访问时长-18

4.2.6 二跳率-18

4.3 操作环境-18

4.4 日志文件处理步骤-19

4.4.1 上传日志文件至HDFS-19

4.4.2 创建Hive表进行统计-19

4.4.3 使用Sqoop导入到MySQL-23

4.5 结果分析-25

结论-26

致谢-27

参考文献-28

附录-29


支付并下载

提示:本站支持手机(IOS,Android)下载论文,如果手机下载不知道存哪或打不开,可以用电脑下载,不会重复扣费