制作交易收盘价走势图：JSON格式

JSON格式

JSON格式的文件使用json模块来处理。
下面看一个JSON文件里面的内容是什么样子的：

就是一个很长的Python列表，其中每个元素都是一个包含五个键的字典：统计日期，月份，周数，周几以及收盘价。

下载收盘数据

from __future__ import (absolute_import, division, print_function,unicode_literals)
try:# Python 2.x 版本from urllib2 import urlopen
except ImportError:# Python 3.x 版本from urllib.request import urlopen  # 1
import json
import requests
import pygal
import math
from itertools import groupbyjson_url = 'https://raw.githubusercontent.com/muxuezi/btc/master/btc_close_2017.json'
response = urlopen(json_url)  # 2
# 读取数据
req = response.read()
# 将数据写入文件
with open('btc_close_2017_urllib.json', 'wb') as f:  # 3f.write(req)
# 加载json格式
file_urllib = json.loads(req.decode('utf8'))  # 4
print(file_urllib)json_url = 'https://raw.githubusercontent.com/muxuezi/btc/master/btc_close_2017.json'
req = requests.get(json_url)  # 1
# 将数据写入文件
with open('btc_close_2017_request.json', 'w') as f:f.write(req.text)  # 2
file_requests = req.json()  # 3print(file_urllib == file_requests)

提取相关的数据

下面编写一个小程序来提取btc_close_2017.json文件中的相关信息：

import json#将数据加载到一个列表中
filename='btc_close_2017.json'
with open(filename) as f:btc_data=json.load(f)#打印每一天的信息
for btc_dict in btc_data:date=btc_dict['date']month=btc_dict['month']week=btc_dict['week']weekday=btc_dict['weekday']close=btc_dict['close']print("{} is month{}week{},{},the close price is {}RMB".format(date,month,week,weekday,close))

import json#将数据加载到一个列表中
filename='btc_close_2017.json'
with open(filename) as f:btc_data=json.load(f)#打印每一天的信息
for btc_dict in btc_data:date=btc_dict['date']month=int(btc_dict['month'])week=int(btc_dict['week'])weekday=btc_dict['weekday']close=int(btc_dict['close'])print("{} is month{}week{},{},the close price is {}RMB".format(date,month,week,weekday,close))

我们运行来试试，看看结果如何

没想到出现了异常错误，在实际工作中，原始数据的格式经常不是统一的，此类数值类型转换造成的ValueError异常十分普遍，这里的原因在于，Python不能直接将包含小数点的字符串‘6928.6492’转换为整数。为了消除这种错误，需要先将字符串转换为浮点数（float），再将浮点数转换为整数（int）：

import json#将数据加载到一个列表中
filename='btc_close_2017.json'
with open(filename) as f:btc_data=json.load(f)#打印每一天的信息
for btc_dict in btc_data:date=btc_dict['date']month=int(btc_dict['month'])week=int(btc_dict['week'])weekday=btc_dict['weekday']close=int(float(btc_dict['close']))print("{} is month{}week{},{},the close price is {}RMB".format(date,month,week,weekday,close))

好了，解决了。

绘制收盘价折线图

之前了解过了pygal绘制条形图（bar chart）和matplotlib绘制折线图（line chart），下面用Pygal来实现收盘价的折线图

import json
import pygal#将数据加载到一个列表中
filename='btc_close_2017.json'
with open(filename) as f:btc_data=json.load(f)#创建5个列表，分别存储日期和收盘价
dates=[]
months=[]
weeks=[]
weekdays=[]
close=[]#打印每一天的信息
for btc_dict in btc_data:dates.append(btc_dict['date'])months.append(int(btc_dict['month']))weeks.append(int(btc_dict['week']))weekdays.append(btc_dict['weekday'])close.append(int(float(btc_dict['close'])))#print("{} is month{}week{},{},the close price is {}RMB".format(date,month,week,weekday,close))line_chart=pygal.Line(x_label_rotation=20,show_minor_x_labels=False)
line_chart.title='收盘价（RMB）'
line_chart.x_labels=dates
N=20 #x轴坐标每隔20天显示一次
line_chart.add('收盘价',close)
line_chart.render_to_file('收盘价折线图.svg')

运行后，会在文件保存的目录下面生成一个.svg文件

然后用浏览器打开如下图：

时间序列特征初探

进行时间序列分析总是期望发现趋势(trend)、周期性(seasonality)和噪声(noise)，从而能够描述事实、预测未来、做出决策。对数变换（log transformation）是可以将波动中非线性的趋势消除。Python标准库的数学模块math来解决，我i们用以10为底的对数函数math.log10计算收盘价，日期仍然保持不变，这种方式称为半对数变换(semi-logarithmic)。

import json
import pygal
import math#将数据加载到一个列表中
filename='btc_close_2017.json'
with open(filename) as f:btc_data=json.load(f)#创建5个列表，分别存储日期和收盘价
dates=[]
months=[]
weeks=[]
weekdays=[]
close=[]#打印每一天的信息
for btc_dict in btc_data:dates.append(btc_dict['date'])months.append(int(btc_dict['month']))weeks.append(int(btc_dict['week']))weekdays.append(btc_dict['weekday'])close.append(int(float(btc_dict['close'])))#print("{} is month{}week{},{},the close price is {}RMB".format(date,month,week,weekday,close))line_chart=pygal.Line(x_label_rotation=20,show_minor_x_labels=False)
line_chart.title='收盘价对数变换（RMB）'
line_chart.x_labels=dates
N=20 #x轴坐标每隔20天显示一次
line_chart.x_labels_major=dates[::N]
close_log=[math.log10(_)for _ in close]
line_chart.add('log收盘价',close_log)
line_chart.render_to_file('收盘价折线图.svg')

现在用对数变换剔除非线性趋势之后，整体上涨的趋势更接近线性增长，并且从图中可以看出每个季度末似乎有显著的周期性—3月、6月、9月都出现了波动，那么，按照这样的推算12月是不是也会出现这样的波动呢？下面看看收盘的月日均值和周日均值的表现。

收盘价均值

import json
import pygal
import math
from itertools import groupby#将数据加载到一个列表中
filename='btc_close_2017.json'
with open(filename) as f:btc_data=json.load(f)#创建5个列表，分别存储日期和收盘价
dates=[]
months=[]
weeks=[]
weekdays=[]
close=[]#打印每一天的信息
for btc_dict in btc_data:dates.append(btc_dict['date'])months.append(int(btc_dict['month']))weeks.append(int(btc_dict['week']))weekdays.append(btc_dict['weekday'])close.append(int(float(btc_dict['close'])))#print("{} is month{}week{},{},the close price is {}RMB".format(date,month,week,weekday,close))line_chart = pygal.Line(x_label_rotation=20, show_minor_x_labels=False)  # ①
line_chart.title = '收盘价（¥）'
line_chart.x_labels = dates
N = 20  # x轴坐标每隔20天显示一次
line_chart.x_labels_major = dates[::N]  # ②
line_chart.add('收盘价', close)
line_chart.render_to_file('收盘价折线图（¥）.svg')line_chart = pygal.Line(x_label_rotation=20, show_minor_x_labels=False)
line_chart.title = '收盘价对数变换（¥）'
line_chart.x_labels = dates
N = 20  # x轴坐标每隔20天显示一次
line_chart.x_labels_major = dates[::N]
close_log = [math.log10(_) for _ in close]  # ①
line_chart.add('log收盘价', close_log)
line_chart.render_to_file('收盘价对数变换折线图（¥）.svg')
line_chartdef draw_line(x_data, y_data, title, y_legend):xy_map = []for x, y in groupby(sorted(zip(x_data, y_data)), key=lambda _: _[0]):  # 2y_list = [v for _, v in y]xy_map.append([x, sum(y_list) / len(y_list)])  # 3x_unique, y_mean = [*zip(*xy_map)]  # 4line_chart = pygal.Line()line_chart.title = title#line_chart.x_labels = x_uniquex_unique_str=int_str(x_unique)line_chart.x_labels = x_unique_strline_chart.add(y_legend, y_mean)line_chart.render_to_file(title + '.svg')return line_chartdef int_str(list_0):list_1=[]for x in list_0:x_str=str(x)list_1.append(x_str)return list_1idx_month = dates.index('2017-12-01')
line_chart_month = draw_line(months[:idx_month], close[:idx_month], '收盘价月日均值（¥）', '月日均值')
line_chart_monthidx_week = dates.index('2017-12-11')
line_chart_week = draw_line(weeks[1:idx_week], close[1:idx_week], '收盘价周日均值（¥）', '周日均值')
line_chart_weekidx_week = dates.index('2017-12-11')
wd = ['Monday', 'Tuesday', 'Wednesday','Thursday', 'Friday', 'Saturday', 'Sunday']
weekdays_int = [wd.index(w) + 1 for w in weekdays[1:idx_week]]
line_chart_weekday = draw_line(weekdays_int, close[1:idx_week], '收盘价星期均值（¥）', '星期均值')
line_chart_weekday.x_labels = ['周一', '周二', '周三', '周四', '周五', '周六', '周日']
line_chart_weekday.render_to_file('收盘价星期均值（¥）.svg')
line_chart_weekdaywith open('收盘价Dashboard.html', 'w', encoding='utf8') as html_file:html_file.write('<html><head><title>收盘价Dashboard</title><meta charset="utf-8"></head><body>\n')for svg in ['收盘价折线图（¥）.svg', '收盘价对数变换折线图（¥）.svg', '收盘价月日均值（¥）.svg','收盘价周日均值（¥）.svg', '收盘价星期均值（¥）.svg']:html_file.write('    <object type="image/svg+xml" data="{0}" height=500></object>\n'.format(svg))  # 1html_file.write('</body></html>')

再写上面的代码时，出现了一个错误，如下，总是提示

是x轴的数据有问题，x轴应该修改为数值型str，修改方式如下：