python post payload 返回 400 bad request

最近在实习的时候需要从elasticsearch上拉取日志数据进行统计分析。发送请求的方式为post, 请求的body以payload方式编码。一般情况下，payload是一个json对象，我们只需要调用response = requests.post(url='your url', data=json.dumps(payload), headers=header)即可，然而我的情况有点特殊，payload不是一个json对象，而是两个，类似于这样：

{"index":"***","ignore_unavailable":true,"timeout":30000,...}
{"version": true, "size": 10000, "sort": ...}

在用python发送请求之前，我事先使用curl和postman发送过请求能够成功得到返回，但是request body这里必须使用binary file，因为payload是保存在一个json文件里面。

但是由于payload是两个json对象，因此在python中也只能使用load file的方式来上传request body，但是当我这样做的时候：

#在脚本内部对payload内容进行修改并写入文件
payload = line1+js.dumps(payloadObject)
with open(filepath, 'w') as fout :fout.write(payload)
#重新打开刚刚写入的文件，并作为data上传
with open(filepath, 'rb') as file :r = requests.post(postUrl, data=file, headers=payloadHeader)if r.status_code == 200 :print('get data in hour '+str(i)+' successfully\n')

确总是返回状态码400 bad request. 查阅了很多资料，试了很多方法还是不行。在这里记录一下解决问题的思路：

1，首先payload是两个json对象，能否把两个对象拼装成一个对象？实验发现不行，可以确定只能使用文件上传payload的方式了。

2，binary 和 raw的格式区别到底是啥呢？换成raw格式，把test.json中的内容拷贝过来，实验发现还是不行，返回The msearch request must be terminated by a newline [\n] 错误。谷歌这个错误，发现这个错误在向elasticsearch发送post payload请求的时候很常见，原因是payload文件末尾没加'\n'

3，将上面的payload = line1+js.dumps(payloadObject) 改为 payload = line1+js.dumps(payloadObject) + '\n'。再次实验成功。

4，为什么直接使用postman就能成功呢，因为原始payload文件末尾是有换行符的，但是我在脚本中有两个过程，一个读原始payload文件将其loads成Json对象并做修改（这一过程导致换行符消失），二是将修改好的Json对象dumps成string，这样导致最后的string最后一行没有额外的换行符。

结论：貌似这个错误只有在elasticsearch很常见，是不是和他后台解析request的方式有关？感觉很奇怪。不过问题不是很难的问题，重要的是解决问题的思路，在面对一个问题要学会一步步分析，这个能力非常重要。