基于爬虫技术的企业招聘信息分析平台的设计与开发.doc

摘要：近年来，随着中国互联网技术的日益提高，越来越多的企业开始使用互联网进行企业招聘信息的发布，网络招聘已经成为了一种重要的人才招聘方式。但由于招聘网站上的招聘信息数据量庞大，致使应聘者们难以抉择，为找工作带来了难度。因此应聘者们需要一个能够对企业招聘信息进行数据分析、可视化的显示出不同职业的区别的平台。

本文描述的企业招聘信息分析平台是专门针对IT行业的求职者们更好了解不同职位发展的信息分析平台。平台基于拉钩网站的职位信息进行分析，利用聚焦爬虫对IT类的职位进行数据的爬取，并进行分类汇总，建立数据分析系统，从职位的类型、薪资、地区、学历等多个层面对数据进行分析和可视化。平台主要分成两大部分，一是对所有IT职业的展示和数据分析的可视化，二是对不同类型IT职业的分类展示和单独的数据可视化。整个平台的前端部分主要使用了Bootstrap框架和Javascript语言开发，后端则使用到了Python语言进行开发。爬虫部分使用到了Python中的requests第三方库，对拉钩网的数据进行了抓取，并使用了Mysql数据库来对数据进行存储。数据分析部分使用到了Pandas模块对职位进行分类汇总。整个系统的网页展示则用到了Django和ECharts等开源框架来进行数据的可视化。

基于爬虫技术的企业招聘信息分析平台，不仅能够对IT类的职位数据进行抓取和分类，而且能从多个层面对数据进行分析，让应聘者们通过职位的类型、薪资、地区、学历等各个方面进行比较，为应聘者寻找最适合自己的工作提供相关参考。

关键词：招聘信息；数据分析；Python；数据可视化

目录

摘要

Abstract

1 绪论-1

1.1 系统背景-1

1.2 现状和发展趋势-1

1.3 课题意义-1

2 系统分析-2

2.1 系统可行性分析-2

2.2 用户需求分析-2

2.3 系统需求分析-5

3 系统解决方案对比选择-6

3.1 网页数据抓取解决方案-6

3.2 数据可视化解决方案-7

3.3 网页展示解决方案-8

4 系统设计-9

4.1 系统总体架构-9

4.2 系统功能模块-9

4.3 数据库设计-10

4.3.1 数据库表设计-10

4.4 系统代码结构设计-12

4.4.1 系统组织结构设计-12

4.4.2 命名规范-14

4.5 系统开发工具及相关技术-14

4.5.1 Python-14

4.5.2 JavaScript-14

4.5.3 Bootstrap-15

4.5.4 Pandas-15

4.5.5 Django-15

4.5.6 ECharts-15

4.5.7 Requests-15

4.5.8 Linux定时任务-16

5 系统实施-17

5.1 数据抓取模块-17

5.1.1 定制请求头-17

5.1.2 获取主要城市的职位-18

5.1.3 获取json数据-19

5.1.4 获取职位的详细信息-20

5.1.5 保存职位信息到数据库-21

5.2 数据处理模块-21

5.2.1 数据的规范化处理-22

5.3 数据分析模块-23

5.3.1 后端开发类职位-23

5.3.2 移动开发类职位-24

5.3.3 前端开发类职位-25

5.3.4 人工智能开发类职位-26

5.3.5 测试类职位-27

5.3.6 运维类职位-27

5.3.7 数据库管理员类职位-28

5.4 数据可视化模块-29

5.4.1 职位总体分析-29

5.4.2 职位具体分析-32

5.5 网页展示模块-34

5.5.1 用户登录-34

5.5.2 职位信息展示-35

6 系统测试-37

6.1 系统主要采用的测试方法-37

6.2 系统测试用例及测试结果-38

7 总结-41

参 考 文 献-42

致 谢-43