Python BeautifulSoup中文乱码问题的2种解决方法
发布时间：2023-05-09 13:42:17
标签：Python,BeautifulSoup,乱码
解决方法一：
使用python的BeautifulSoup来抓取网页然后输出网页标题,但是输出的总是乱码,找了好久找到解决办法,下面分享给大家
首先是代码
from bs4 import BeautifulSoup
import urllib2
url = 'https://www.jb51.net/'
page = urllib2.urlopen(url)
soup = BeautifulSoup(page,from_encoding="utf8")
print soup.original_encoding
print (soup.title).encode('gb18030')
file = open("title.txt","w")
file.write(str(soup.title))
file.close()
for link in soup.find_all('a'):
print link['href']
在刚开始测试的时候发现,虽然输出是乱码的,但是写在文件里面却是正常的.然后在网上找了找解决办法才发现
print一个对象的逻辑：内部是调用对象的__str__得到对应的字符串的，此处对应的是soup的__str__ 而针对于soup本身，其实已经是Unicode编码，所以可以通过指定__str__输出时的编码为GBK，以使得此处正确显示非乱码的中文
而对于cmd：（中文的系统中）编码为GBK,所以只要重新编码为gb18030就可以正常输出了
就是下面这行代码
print (soup.title).encode('gb18030')
解决方法二：
BeautifulSoup在解析utf-8编码的网页时，如果不指定fromEncoding或者将fromEncoding指定为utf-8会出现中文乱码的现象。
解决此问题的方法是将Beautifulsoup构造函数中的fromEncoding参数的值指定为：gb18030
import urllib2
from BeautifulSoup import BeautifulSoup
page = urllib2.urlopen('https://www.jb51.net/');
soup = BeautifulSoup(page,fromEncoding="gb18030")
print soup.originalEncoding
print soup.prettify()
0
投稿猜你喜欢
- //定义一个对象数组 var data = [{ name: "jiang", age: 22 }, { name: &
- 背景：路由结构/video/1.mp4,即/video是父路由，/1.mp4是/video的动态子路由，在/video父路由中会通过url的
1，打开cmd安装PyQt5pip install pyqt52，PyQt5不再提供Qt Designer等工具，所以需要再安装pyqt5-- 如果是导入有中文的数据，我的mysql 设置的utf8 字符集，所以你要导入的xxx.txt 文件也要保存ut
- 登陆流程图：代码实现：#-*- coding=utf-8 -*-import os,sys,getpass'''us
- 首先介绍两种编码方式硬编码和onehot编码，在模型训练所需要数据中，特征要么为连续，要么为离散特征，对于那些值为非数字的离散特征，我们要么
- 一、os模块os.getcwd() 获取当前的工作目录os.chdir(‘绝对路径/相对于当前工作目录的路径&r
- 本文实例讲述了php使用pthreads v3多线程实现抓取新浪新闻信息。分享给大家供大家参考，具体如下：我们使用pthreads，来写一个
- 1、pyecharts绘制饼图（显示百分比）# 导入模块from pyecharts import options as optsfrom
- 本文实例讲述了Python使用Flask-SQLAlchemy连接数据库操作。分享给大家供大家参考，具体如下：需要安装flaskpip in
- 事务特性1、原子性（Atomicity）：事务开始后所有操作，要么全部做完，要么全部不做，不可能停滞在中间环节。2、一致性（Consiste
- 进入PyCharm后，点击File→Open，然后在弹窗中选择需要导入项目的文件夹；打开了python项目后，需要配置该项目对应的pytho
- 如下所示：#coding utf-8a=0.001 #定义收敛步长xd=1 #定义寻找步
- 为什么能实现在线编辑呢? 首先需要ie 的支持，在 ie 5.5以后就有一个编辑状态，就是利用这个编辑状态,然后用javascript 来控
- Python中的random模块用于生成随机数，它提供了很多函数。常用函数总结如下：1. random.random()用于生成一个0到1的
- 我就废话不多说了，大家还是直接看代码吧！# -*- coding:utf-8 -*- # File: ceshitianqiimport u
- 问题你想将几个小的字符串合并为一个大的字符串解决方案如果你想要合并的字符串是在一个序列或者 iterable 中，那么最快的方式就是使用 j
- listlist是一种有序的集合，可以随时添加和删除其中的元素。跟java不一样的是 可以使用arr[-1] 0>-x >=-
- pycharm下载库时出现Failed to install package怎么解决？奶奶都会解决的那种。一、当前现状 看看你是否也是这种情
- 使用的这么长时间的mysql，有一天我突然需要使用mysql 的配置文件my.ini时发现没有这个文件并且这个文件不是被隐藏了。查看自己的m
