索尼 toio™ 应用创意开发征文｜探索创新的玩乐世界——云旅游

随着《国家宝藏》近几年的爆火，越来越多的年轻人开始去关注和了解中国的文物古迹。由于许多有趣的文物古迹分布在全国各地，所以想把科技与文物古迹的内容相结合，让人们可以随时随地的对感兴趣的文物古迹进行了解。 通过深入的了解，我发现toio的可玩性以及可扩展性非常的大，所以我觉得可以使用索尼的toio来实现我的想法。

创意概述：

使用手柄控制Q宝机器人在地图中探索，抵达探索点后，触发对应文物古迹的视频介绍。由于地图大小的限制，所以目前暂定5个探索点，分别为：三星堆博物馆、金沙遗址博物馆、陕西省博物馆、湖北省博物馆以及湖南里耶秦简博物馆。后续如果地图增加，可以考虑扩充探索点。

物料准备：

索尼toio机器人、PS5手柄、自定义操作垫（地图）、PC

编程语言：

目前toio支持多种编程语言，如：JSP、unity、 python以及scratch，考虑到Python是今年发布的，所以打算使用Python作为该项目的编程语言。

需要用到的库：toio、pygame、moviepy、asyncio等

创意实施：

思路已经确定好了，那么接下……

安装所需的库。由于在这个项目中用到了一些第三方的库，所以我们首先要进行安装。

A、toio库：

由于该库目前无法通过pip进行安装，所以我们需要使用官方提供的安装步骤进行安装，具体参考：https://github.com/toio/toio.py

B、Pygame库：

Pygame是一个功能十分强大的库，通过该库，我们可以制作出一些有意思的游戏。安装步骤如下：

pip install Pygame

C、moviepy库：

Moviepy是一个视频编辑的库，由于Pygame2.0目前已经移除了“Movie”功能，所以需要使用moviepy代替该功能。安装步骤如下：

pip install moviepy

D、asyncio库：

asyncio是一个标准库，所需我们不需要安装即可直接调用。

以上已经把需要的库全部安装完毕了，但是有几点需要注意：

1. 如果想要使用toio，Python版本一定是要3.11及以上。

2. 操作系统要求如下，若不满足，可能导致程序无法运行。

了解完以上内容后，接下来就可以创建我们项目了。

1. 创建对象，完成蓝牙的扫描和连接。完成库的安装后，接下来就要尝试通过程序完成Q宝的扫描与连接了。结合官方给的说明，可以很容易的完成Q宝的扫描与连接的程序，程序如下：（执行该程序，与Q宝配对并连接，3秒后自动断开。目前，该程序只连接一个Q宝，如果想要连接多个，需要修改“num”的值，以及需要创建多个Q宝对象即可。由于本项目不涉及多个Q宝，所以暂时不讨论详细步骤。）

2. 通过“read()”方法读取地图中的坐标值。参考指导手册，官方为Q宝提供了丰富的API接口（参考：https://toio.github.io/toio.py/）。此时，可以根据实际情况选择性的使用。由于用到了官方提供的地图，所以需要让Q宝读取地图中的坐标值。

   根据官方说明，使用“api.id_information.read()”可以获取到一个列表，列表中包含了两组键值对。一组是“center”中心位置，另一组是“sensor”传感器位置，由于两者的坐标相差不大，所以我选择了“sensor”的数据。

   参考程序如下：每隔0.5秒扫描Q宝当前的位置，并打印当前Q宝获取到的坐标值。此时，掌握了如何获取Q宝的实时坐标，后期，将配合这些坐标完成特殊的功能。视频如下：

   读取坐标

3. 加入joystick，通过手柄轻松控制Q宝。为了增加趣味性和探索性，计划加入一个外部的控制器，可以操控Q宝在地图中进行探索。Joystick是pygame中的一个可以支持外部手柄的模块，通过该模块与Q宝结合，使用常见的游戏手柄就可以轻松的控制Q宝进行移动。目前官方支持的手柄包括joy-con，PS4，PS5，XBox 360，其他型号的手柄可以进行尝试。因为手头正好有PS5的Dual Sense，所以使用PS5手柄作为控制器来操控Q宝。视频如下：

   手柄控制

   参考程序如下：

   1. 初始化：

      import pygame
      import time
      import asyncio
      from toio import *
      from moviepy.editor import *

   2. 创建“Joystick”对象：

      pygame.event.get()
      #创建Jocstick对象
      Joystick = pygame.joystick
      J_Count =  Joystick.get_count()for i in range(J_Count):joystick = Joystick.Joystick(i)joystick.init()axes = joystick.get_numaxes()

   3. 获取左摇杆的数值，并操控Q宝：

      #获取摇杆的前、后、左、右数值,通过数值控制Q宝移动。
      axis = joystick.get_axis(0)
      if axis > 0.5:await cube_1.api.motor.motor_control(10, -10)
      elif axis < -0.5:await cube_1.api.motor.motor_control(-10, 10)axis1 = joystick.get_axis(1)
      if axis1 > 0.5:await cube_1.api.motor.motor_control(-20, -20)
      elif axis1 < -0.5:await cube_1.api.motor.motor_control(20, 20)
      if axis1 > -0.1 and axis1 < 0.1 and axis > -0.1 and axis < 0.1:await cube_1.api.motor.motor_control(0, 0)
      time.sleep(0.1)

   4. 使用moivepy，播放指定视频。

      开头已经介绍过，由于pygame2.0移除了“movie”功能，所以选择使用moviepy替代。

      程序如下：（通过“clip.preview()”播放视频。）

通过以上的分解步骤，基本上程序的骨架已经搭建好，后续，只需要对每个部分进行细化即可。 

自定义操作垫（地图）参考如下：

 整体程序如下：

import pygame
import time
import asyncio
from toio import *
from moviepy.editor import *pygame.joystick.init()
pygame.init()done = Falseasync def toio_contal():#创建播放列表start = VideoFileClip("C:/Users/pc/Desktop/video/start.mp4")clip = VideoFileClip("C:/Users/pc/Desktop/video/虎符介绍.mp4")clip1 = VideoFileClip("C:/Users/pc/Desktop/video/秦简介绍.mp4")clip2 = VideoFileClip("C:/Users/pc/Desktop/video/青铜神树介绍.mp4")clip3 = VideoFileClip("C:/Users/pc/Desktop/video/太阳神鸟介绍.mp4")clip4 = VideoFileClip("C:/Users/pc/Desktop/video/越往勾践剑介绍.mp4")clip5 = VideoFileClip("C:/Users/pc/Desktop/video/清明上河图动画.mp4")clip6 = VideoFileClip("C:/Users/pc/Desktop/video/清明上河图介绍.mp4")num = 0judge = 0pygame.display.set_caption("toio_cube")#Q宝连接语句dev_list = await BLEScanner.scan(1)cube_1 = ToioCoreCube(dev_list[0].interface)await cube_1.connect()print("Q宝_A已连接")start.preview()start.close()while done == False:pygame.event.get()#创建Jocstick对象Joystick = pygame.joystickJ_Count =  Joystick.get_count()for i in range(J_Count):joystick = Joystick.Joystick(i)joystick.init()axes = joystick.get_numaxes()'''Left -> Right   - Axis 0Up   -> Down    - Axis 1for i in range(axes):axis = joystick.get_axis(i)print("Axis {} value: {:>6.3f}".format(i, axis))'''#获取摇杆的前、后、左、右数值,通过数值控制Q宝移动。axis = joystick.get_axis(0)if axis > 0.5:await cube_1.api.motor.motor_control(10, -10)elif axis < -0.5:await cube_1.api.motor.motor_control(-10, 10)axis1 = joystick.get_axis(1)if axis1 > 0.5:await cube_1.api.motor.motor_control(-20, -20)elif axis1 < -0.5:await cube_1.api.motor.motor_control(20, 20)if axis1 > -0.1 and axis1 < 0.1 and axis > -0.1 and axis < 0.1:await cube_1.api.motor.motor_control(0, 0)time.sleep(0.1)# 获取Q宝坐标t_date = await cube_1.api.id_information.read()t_x = t_date.sensor.point.xt_y = t_date.sensor.point.yprint("x:", t_x, "y:", t_y)if 70<t_x<103 and 500<t_y<530:await cube_1.api.motor.motor_control(0,0)num=1if 50<t_x<100 and 620<t_y<650:await cube_1.api.motor.motor_control(0, 0)num=2if 159<t_x<192 and 570<t_y<590:await cube_1.api.motor.motor_control(0, 0)num=3if 265<t_x<295 and 490<t_y<515:await cube_1.api.motor.motor_control(0, 0)num=4if 245<t_x<275 and 655<t_y<670:await cube_1.api.motor.motor_control(0, 0)num=5if t_x==314 and t_y==673:await cube_1.api.motor.motor_control(0, 0)num=6match num:case 1:if judge == 0:judge = 1clip2.preview()clip2.close()num = 0case 2:if judge == 1:judge =2pygame.display.set_mode(flags=pygame.FULLSCREEN)clip1.preview()clip1.close()num = 0case 3:if judge == 2:judge = 3clip3.preview()clip3.close()num = 0case 4:if judge == 3:judge = 4clip4.preview()clip4.close()num = 0case 5:if judge == 4:judge == 0clip.preview()clip.close()num = 0case 6:clip6.preview()clip6.close()num = 0print("judge:",judge,"num:",num)if __name__ == '__main__':asyncio.run(toio_contal())

 以上为本次项目的程序，使用手柄控制Q宝在地图中进行移动，到达指定区域，触发特定事件后，播放对应的讲解视频。

注：由于用到了第三方的视频，故以上示例仅作为分享展示作用。 

        通过上述示例，我们就可以实现远程的云旅游了，即使在家也可以通过toio查看全国，乃至全世界的文物展示啦。toio的功能十分的强大，不同的编程方式搭配不同的创意就可以拥有不同的玩法。也希望可以看到越来越多的的玩家，创客，乃至开发者可以制作出丰富有趣的示例。