Python 子线程里创建 BeautifulSoup 对象会在终端打印 encoding error，主线程就没问题，求解惑

[eggshell]

Python 子线程里创建 BeautifulSoup 对象会在终端打印encoding error : input conversion failed due to input error, 主线程里面一切正常。

感觉应该是 lxml 的问题，但是没找到怎么解决，求解惑

就几个特定的网页会出现这个问题，比如 http://zhuanlan.sina.com.cn/

下面这个代码可以用来复现

import requests
from bs4 import BeautifulSoup
from threading import Thread
def test():
    r = requests.get('http://zhuanlan.sina.com.cn/')
    soup = BeautifulSoup(r.content,'lxml')

print('在主线程中执行 test')
test()

print('在子线程中执行 test')
t = Thread(target=test)
t.start()
t.join()

输出如下

在主线程中执行 test
在子线程中执行 test
encoding error : input conversion failed due to input error, bytes 0x95 0x50 0x22 0x20
encoding error : input conversion failed due to input error, bytes 0x95 0x50 0x22 0x20
encoding error : input conversion failed due to input error, bytes 0x95 0x50 0x22 0x20

[seanzhao]

把你的解析那段替换成以下代码，不是线程问题，是编码问题。
soup = BeautifulSoup(r.content.decode('ISO-8859-1'),'lxml')

[eggshell]

@seanzhao 谢谢啦，不过应该不是编码的问题，试了下子线程里面还是会打印 encoding error， 主线程还是正常的

[kenzh]

试下 r.content.decode('gb2312', 'ignore').encode('gb2312')

[seanzhao]

@eggshell 好吧，给你的那段代码，我已经在本机测试通过的，不知道你那边是什么个情况。

[eggshell]

@kenzh 这样就可以了。。 但是之前为什么主线程里面跑就正常，子线程里就不行呢， 好迷啊= =

[holajamc]

import requests
from bs4 import BeautifulSoup
from threading import Thread


def test():
r = requests.get('http://zhuanlan.sina.com.cn/')
print(r.encoding)
soup = BeautifulSoup(r.content.decode('utf-8', 'ignore'), 'lxml')


print('在主线程中执行 test')
test()

print('在子线程中执行 test')
t = Thread(target=test)
t.start()
t.join()

注意看加的那一行的输出呦~

[holajamc]

https://gist.github.com/jamcplusplus/22cb2487968db7a30a1ac937976d32f1

[eggshell]

@holajamc 加的那一行的输出是 ISO-8859-1，应该是 response header 里没有编码信息，然后 requests 按照标准默认用错误的 ISO-8859-1 解码了，但是还是没搞懂他这个多线程是怎么回事。。

[holajamc]

@eggshell 看起来是 lxml 的问题了 我试过用 html.parser 和 html5lib 都没有问题诶

[TimePPT]

soup = BeautifulSoup(r.content, 'lxml', from_encoding=r.encoding)

[TimePPT]

@TimePPT 囧，试了下不行，soup 的编码还是有问题 orz