基于网络爬虫的Web应用程序漏洞扫描器的研究与实现.doc

摘要:从互联网开始有一直发展到今天，利用漏洞攻击的网络安全事情层出不穷，而且呈现除了越来越严重的势头。Web安全漏洞已经成为危害互联网的罪魁祸首之一。因web漏洞引起的安全事件不仅影响了用户体验，甚至对用户敏感信息和信息网站的核心业务等造成严重破坏，导致网站的公信力不断下降。

Web应用漏洞扫描器，主要由爬虫系统和漏洞探测系统构成，通过Web来进行部署，相对于传统的扫描器来说，更加方便，性能消耗更低，具有更高的扩展性。

本文主要通过对Web应用扫描的重要技术进行研究，主要研究的方向为Web安全漏洞扫描分析技术，通过需求分析，系统设计，实现一个Web端的漏洞扫描系统。最后，能通过一些测试样例检测扫描系统的实用性。

如果能主动发现网站的风险，及时修补漏洞，在一定程度上可以降低风险，减少损失。

关键词：爬虫；web安全；漏洞扫描

目录

摘要

Abstract

1 绪论-1

1.1 研究背景及现状-1

1.2 意义及作用-1

1.3 国内外发展情况-2

1.4 论文主要研究内容-2

1.5 论文结构-3

2 相关技术研究-4

2.1 HTTP协议模型-4

2.2 Web应用程序漏洞-4

2.2.1 漏洞的概念-4

2.2.2 漏洞的分类以及分析-4

2.2.3 Web应用程序的攻击方式-6

2.3 爬虫系统-7

2.3.1 爬虫的概念-7

2.3.2 爬虫系统的工作原理-7

2.4 Web应用程序漏洞扫描-8

2.4.1 基于HTTP的Web漏洞模糊测试-8

2.4.2 现有Web应用扫描器的缺点分析-10

3 Web应用漏洞扫描系统的设计-11

3.1 总体设计-11

3.2 功能设计-11

3.2.1 爬虫模块-11

3.2.2 漏洞探测模块-12

3.2.3 报表生成模块-13

3.2.4 网站整体设计-13

3.3 数据结构设计-13

4 Web应用漏洞扫描系统的实现-16

4.1 系统开发环境-16

4.2 实现方式-16

4.3 功能实现-17

4.3.1 爬虫模块-17

4.3.2 漏洞探测模块-18

4.3.3 报表生成模块-21

4.3.4 网站整体设计-23

5 系统测试-24

5.1 系统测试计划-24

5.1.1测试目标-24

5.1.2测试环境-24

5.2 系统各模块测试-25

5.2.1爬虫模块-25

5.2.2 漏洞探测模块-25

5.2.3 报表生成模块-27

5.3 测试结果-28

结    论-29

参 考 文 献-30

致    谢-31