当前位置: 首页 > Python编程 > Python编程实战技能 > Python编程基础入门 > python 获取网页乱码怎么解决

python 获取网页乱码怎么解决

发布时间:2020年09月27日 09:33:08 来源: 点击量:463

【摘要】在使用python爬取网页时,经常会遇到乱码问题,一旦遇到乱码问题,就很难得到有用的信息。本人遇到乱码问题,一般有以下几个方式:1、查看

在使用python爬取网页时,经常会遇到乱码问题,一旦遇到乱码问题,就很难得到有用的信息。本人遇到乱码问题,一般有以下几个方式:

1、查看网页源码中的head标签,找到编码方式,例如:

在上图中,可以看到charset='utf-8',说明这个网页很大可能是采用‘UTF-8’编码(是很大可能,但不是百分之百),因此可以试试这个编码方式:

result = response.content.decode('utf-8')

这种方式得到的内容基本上就不会乱码了。

相关推荐:《Python教程》

2、如果上述的方式没有任何作用,页面依然乱码;或者在head标签下并没有找到charset属性;或者我们要采集很多网页的信息,而且这些网页的编码方式不尽相同,我们不可能做到一个一个网页的去查看head标签,那么可以采用下面的方式解决乱码。

(1)python的chardet库

可以使用下面的方式解决乱码问题

result = chardet.detect(response.content)
print(result)
data = response.content.decode(chardet.detect(response.content)['encoding'])
{'confidence': 0.99, 'language': '', 'encoding': 'utf-8'}

从输出结果可以看出这是“猜测”编码,猜测的方式是先收集各种编码的特征字符,根据特征字符判断,就能有很大概率“猜对”。

这种方法的效率很低,如果采集的网页很大,可以只猜测其中一段的源码,即

result = chardet.detect(response.content[:1000])

(2)response的编码

也可以使用另一种方法,即response自有的encoding,apparent_encoding这两个变量。

response.encoding一般是从response.headers中content-type字段中的charset的值,其它情况我也不是很了解。

response.apparent_encoding一般是采用上述的python的chardet库这种方法。

因此可以用下面的方式解决乱码问题

data = response.content.decode(response.apparent_encoding)

3、一般情况下,上述两个方法可以解决乱码问题。但是如果上述两个方式不能解决,那有可能是网页的压缩导致的。这种问题用下面的方法解决。

检查一下你写的头信息是不是包含了Accept-Encoding这个字段,如果有,请删除这个字段,乱码问题就会得到解决。

headers = {
    'Accept-Encoding': 'gzip, deflate, sdch',
    'Accept-Language': 'zh-CN,zh;q=0.8',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 
    Safari/537.36 SE 2.X MetaSr 1.0',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
    'Connection': 'keep-alive',
}

分享到: 编辑:wangmin

就业培训申请领取
您的姓名
您的电话
意向课程
点击领取

环球青藤

官方QQ

扫描上方二维码或点击一键加群,免费领取大礼包,加群暗号:青藤。 一键加群

绑定手机号

应《中华人民共和国网络安全法》加强实名认证机制要求,同时为更加全面的体验产品服务,烦请您绑定手机号.

预约成功

本直播为付费学员的直播课节

请您购买课程后再预约

环球青藤移动课堂APP 直播、听课。职达未来!

安卓版

下载

iPhone版

下载
环球青藤官方微信服务平台

刷题看课 APP下载

免费直播 一键购课

代报名等人工服务

课程咨询 学员服务 公众号

扫描关注微信公众号

APP

扫描下载APP

返回顶部