不管文本处理，机器学习和数据发掘，都需求数据，除了通过一些途径购买或者下载的专业数据外，常常需求我们自己着手爬数据，爬虫就显得分外重要。那么，Python网页爬虫东西有哪些呢?

1、Scrapy

Scrapy相Scrapy, a fast high-level screen scraping and web crawling framework for Python.相信不少同学都有耳闻，课程图谱中的许多课程都是依托Scrapy抓去的，这方面的介绍文章有许多，引荐大牛pluskid早年的一篇文章：《Scrapy 轻松定制网络爬虫》，历久弥新。

2、 Beautiful Soup

客观的说，Beautifu Soup不完满是一套爬虫东西，需求合作urllib运用，而是一套HTML / XML数据分析，清洗和获取东西。

3、 Python-Goose

Goose最早是用Java写得，后来用Scala重写，是一个Scala项目。Python-Goose用Python重写，依赖了Beautiful Soup。给定一个文章的URL, 获取文章的标题和内容很方便，用起来十分nice。

现在Python语言在实际生活工作中的运用越来越多，不管是web服务或者是服务器脚本、测试工具自动化脚本等等，都可以运用到python语言，由于庞大的市场需求以及python语言自身简单易学、支持多种语言，越来越多的人开始学习python，首先要掌握一些有关爬虫的基础知识，基本的要知道什么是爬虫？为什么要爬虫？数据是从哪里得来的？先了解这些基础的知识点才能对你要学习的东西有基本的了解，然后还有下面这些数据也需要了解：

1、HTML，了解网页的结构，内容等，帮助后续的数据爬取。

2、Python，可以去网上找一些教学视频，教学博客等等，去看一下，然后有基础了之后还可以找一些晋升的视频，再打打基础。

3、TCP/IP协议，HTTP协议，了解在网络请求和网络传输上的基本原理，帮助今后写爬虫的时候理解爬虫的逻辑。

其次就是要梳理一下爬虫的思路，简单的说，就是你想要抓取一个网站的内容时，需要怎么一步步做好，需要现有一个大的整体的架构，才能进一步做好接下来的工作。当用户浏览网页时，会看到很多图片，点击网址的时候看到的图片，是经过用户输入网址-DNS服务器-服务器主机-服务器请求-服务器解析-发送浏览器HTML、JS、CSS-浏览器解析-解析图片这一长段的服务器运作来完成的，而爬虫就是需要爬取有HTML代码构成的网页，然后获取图片和文字。

最后，就是要使用合适的工具，比如说想要做好测试，那么就需要相应的环境配置，同样的道理，想要做好python，也需要好用的工具：

1、Notepad++，简单，但是提示功能不强。

2、PyCharm，用于一般IDE具备的功能，比如，调试、语法高亮、代码跳转、等等，同时可用于Django开发，支持Google App Engine、PyCharm，支持IronPython。

3、HTTP代理，用于提供代理ip的代理服务器。