python爬虫需要什么模块

Python爬虫我们所需的库

Python的爬虫我们需要安装一下几个库：

1、BeautifulSoup4
2、lxml
3、requests
4、pymongo

requests 库是用来在Python中发出标准的HTTP请求。 它将请求背后的复杂性抽象成一个漂亮，简单的API，以便你可以专注于与服务交

互和在应用程序中使用数据。

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提

供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。Beautiful Soup自动将输入文档转换为Unicode编

码，输出文档转换为utf-8编码。

推荐学习《python教程》。