Python接口自动化测试框架（扩展篇）-- requests源码分析：response类的text属性都干了啥，为啥中文乱码？

本文主要是介绍Python接口自动化测试框架（扩展篇）-- requests源码分析：response类的text属性都干了啥，为啥中文乱码？，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

背景：前面有一篇关于requests请求响应中文乱码的解决办法，但是心中仍有些疑惑，还是想知道答案，不管是否发送请求定义了content-type：text/html;charset=utf-8请求头信息，还是响应的网页源码中有charset=utf-8字符集，经过试验：response类headers中根本就没有得到我们定义的字符集，还有response.encoding得到的也不是解析网页的charset设置的字符集，很是奇怪，下面来找源码分析一下：

首先我们来看requests的Response中的content源码：

@property
def content(self):"""Content of the response, in bytes."""if self._content is False:# Read the contents.if self._content_consumed:raise RuntimeError('The content for this response was already consumed')if self.status_code == 0 or self.raw is None:self._content = Noneelse:self._content = b''.join(self.iter_content(CONTENT_CHUNK_SIZE)) or b''self._content_consumed = True# don't need to release the connection; that's been handled by urllib3# since we exhausted the data.return self._content

上面可以看出content属性始终没有关于encoding的输出，那么可以猜测requests是通过chardet去计算猜出编码，实际与预期不符!

而response的encoding是类属性，源码注释#：Encoding to decode with when accessing r.text.，是给text属性解码用的。所以更多情况使用content属性来接收网页响应源码，再解码一次即可得到正常的中文。

接下来再看text属性的源码：

    @propertydef text(self):"""Content of the response, in unicode.If Response.encoding is None, encoding will be guessed using``chardet``.The encoding of the response content is determined based solely on HTTPheaders, following RFC 2616 to the letter. If you can take advantage ofnon-HTTP knowledge to make a better guess at the encoding, you shouldset ``r.encoding`` appropriately before accessing this property."""# Try charset from content-typecontent = Noneencoding = self.encodingif not self.content:return str('')# Fallback to auto-detected encoding.if self.encoding is None:encoding = self.apparent_encoding# Decode unicode from given encoding.try:content = str(self.content, encoding, errors='replace')except (LookupError, TypeError):# A LookupError is raised if the encoding was not found which could# indicate a misspelling or similar mistake.## A TypeError can be raised if encoding is None## So we try blindly encoding.content = str(self.content, errors='replace')return content

中间有一个encoding=response的类属性self.encoding,再判断类属性的值是否为None，经调试：在if之前打印self.encoding类属性，对不起它是有值的：ISO-8859-1，所以就不会执行下面的代码计算encoding的值，这暂且不管，我们继续进入apparent_encoding它也是个属性，源码如下，并加入调试代码：调试return之前的东西：

    @propertydef apparent_encoding(self):"""The apparent encoding, provided by the chardet library."""print("这是个什么东西：{}".format(chardet.detect(self.content)))return chardet.detect(self.content)['encoding']

传入的是content属性的值(即接收的响应报文)，输出的结果是：{'encoding': 'utf-8', 'language': '', 'confidence': 0.99}，刚好返回的这个dict数据类型的encoding：utf-8，如果不出意外，self.encoding就该是utf-8，那text属性下面返回的content即是得到经过utf8解码的响应文本数据。

如果我在源码text属性中，直接将if条件设置为假，那么执行这个apparent_encoding属性，结果得到正常编码utf-8，不管你的网页响应是啥编码，基本都可以得到正确的中文输出！

所以此时我严重怀疑这是个bug，当然，requests大家还是用得好好的，怎么可能是个bug呢？继续深究。。。

那么就只剩下一个问题：在请求响应之后的encoding属性值是从哪里来的？为了一探究竟，再来看几处源码：

def get_encodings_from_content(content):"""Returns encodings from given content string.:param content: bytestring to extract encodings from."""warnings.warn(('In requests 3.0, get_encodings_from_content will be removed. For ''more information, please see the discussion on issue #2266. (This'' warning should only appear once.)'),DeprecationWarning)# print("content获取encoding：",content)charset_re = re.compile(r'<meta.*?charset=["\']*(.+?)["\'>]', flags=re.I)pragma_re = re.compile(r'<meta.*?content=["\']*;?charset=(.+?)["\'>]', flags=re.I)xml_re = re.compile(r'^<\?xml.*?encoding=["\']*(.+?)["\'>]')return (charset_re.findall(content) +pragma_re.findall(content) +xml_re.findall(content))def _parse_content_type_header(header):"""Returns content type and parameters from given header:param header: string:return: tuple containing content type and dictionary ofparameters"""tokens = header.split(';')# print("拆分请求头：",tokens)content_type, params = tokens[0].strip(), tokens[1:]params_dict = {}items_to_strip = "\"' "for param in params:param = param.strip()if param:key, value = param, Trueindex_of_equals = param.find("=")if index_of_equals != -1:key = param[:index_of_equals].strip(items_to_strip)value = param[index_of_equals + 1:].strip(items_to_strip)params_dict[key.lower()] = valuereturn content_type, params_dictdef get_encoding_from_headers(headers):"""Returns encodings from given HTTP Header Dict.:param headers: dictionary to extract encoding from.:rtype: str"""# print("从请求头获取encoding：",headers)# headers={"content-type":"text/html;charset=utf-9"}content_type = headers.get('content-type')# print(content_type)if not content_type:return Nonecontent_type, params = _parse_content_type_header(content_type)if 'charset' in params:return params['charset'].strip("'\"")if 'text' in content_type:return 'ISO-8859-1'

不是bug，最终可以确定这个encoding属性是从util.py的get_encoding_from_headers方法中最后的if条件判断得到，至于为甚发送请求明明定义了content-type：text/html;charset=utf-8,为什么响应结果的headers却没有;charset=utf-8内容，还需要多多通晓源码，所以，最终我修改了源码：在text属性的if条件设置is not None不使用它的默认编码，text不要再像上篇文章使用编码再解码得到正确的中文输出。下面引入一个别人分析链接关于requests库中文编码问题 - 不止于python - 博客园，也是介绍requests请求响应中文乱码的问题。

这篇关于Python接口自动化测试框架（扩展篇）-- requests源码分析：response类的text属性都干了啥，为啥中文乱码？的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---