经验分享|在龙芯2K上运行RT-Thread系统并开源

项目信息

项目名称：龙芯2K上的RT-Thread系统
学生姓名：李志锐
学校：聊城大学
方案描述：该项目要求首先实现RT-Thread项目到龙芯2K平台上的MMU移植，并实现GMAC及SATA/SSD驱动，同时要对接FAT文件系统以及网络协议栈。

时间规划:

初衷

我从去年开始关注操作系统的领域，由于兴趣的缘故，在去年11月自己研究学习了RISC-V架构并在以RocketChip为核心的K210芯片上重实现了????

，这也是我第一次在于系统内核保持近距离的情况下对内核进行研究学习，并因此获得了对于包括上下文切换、系统调用过程等的较深的理解，同时也是第一次接触支持MMU的非x86架构处理器，RISC-V给我的感觉就是：没有x86架构繁琐的分段机制（这是x86历史原因造成的），同时其硬件页表机制与现代操作系统契合度高。

今年4月，我了解到了RT-Thread，并提前上手试着将RT-Thread移植到了CK810架构的qemu虚拟机上，RT-Thread的源代码整体而言给我的感受就是代码风格的一致性，并且其注释也比较丰富，同时有完善的文档支持，这对我的移植起到了不小的辅助。在这次移植工作中，我第一次接触了Scons，个人感觉相比Makefile，基于Python的Scons构建工具更加方便也更加灵活。

在完成了上述的移植工作后，我参与到了RT-Thread Smart到CK810架构的移植项目之中，RT-Thread Smart给我的感觉就是，相比于公开版的RT-Thread，其功能要强大的多，很多特性更逼近Linux，其强大的用户态支持更是吸引了我。

今年6月，我获知了中科院软件所的开源软件计划，同时了解到RT-Thread社区在该计划中拥有一个名为“龙芯2K上的RT-Thread系统”的项目，该项目要求实现公开版RT-Thread在龙芯2K平台上对SATA/SSD驱动的支持，同时对接FAT文件系统，同时要对接网络协议栈。同期我也参加了RT-Thread Smart到龙芯2K平台的适配项目，即要实现MMU等相关特性的适配。

龙芯平台对我而言比较陌生，之前我仅仅是听说过龙芯的大名，而龙芯平台所使用的mips指令集我也比较陌生，SATA控制器和GMAC更是从未接触过，但是我比较喜欢有一定挑战性的任务，同时对这些东西也比较有兴趣，因此我就接下了。

过程

7月份，当我获知我中选之后，我就正式开始了项目开发工作：首先我选择先实现RT-Thread Smart的龙芯适配工作。一开始我刚拿到龙芯2K的开发板，就迫不及待地接上显示器和键盘鼠标先上电看一看龙芯自己的Linux系统，结果一进桌面处理器就直接掉电复位。经过排查发现，我所用的电源适配器和供电线都不达标，最终去买了一个比较好的适配器和一根比较粗的供电线之后，成功将龙芯Linux启动了起来。我在阅读了龙芯教育派的使用手册之后，了解到龙芯启动时先启动pmon，再由pmon引导SSD中的系统，pmon比较类似于现代PC机的bios。紧接着我就考虑该如何调试RT-Thread，在翻阅了pmon的相关说明文档中之后，我了解到pmon支持tftp引导启动，因此我进入pmon的配置程序，设置了默认的网卡参数，同时在我的PC机上配置了tftp服务端，在路由器中将PC机的IP固定下来，然后进入龙芯Linux，修改了boot.cfg，加入了tftp的启动引导选项，并设为默认启动项。

紧接着，我在Windows下配置了完整的编译工具链，并利用Vmware配置了一台装有Ubuntu16.04 x64的虚拟机，在虚拟机中编译安装龙芯2K的qemu着实花了我一天时间，不过最终成功完成了配置工作，由于RT-Thread的公开版已经完成了龙芯2K的基本适配工作，因此我将该镜像进行编译同时利用该镜像测试了qemu，一切正常。由于我平时在Windows下利用VSCode开发，在Linux下利用qemu仿真调试RT-Thread，各种命令比较多，敲起来也比较复杂，因此将Windows下的RT-Thread镜像输出目录映射到了虚拟机内，我在Linux利用Python开发了一个qemu监控端，同时在Windows下利用C#开发了一个控制Linux下qemu监控端的客户端程序，利用该客户端程序，可以实现内核一键编译、一键启动gdb仿真（即首先通知Linux下的qemu监控程序启动qemu，然后在Windows下启动gdb并自动建立连接，在入口点断下，然后可以自动执行预先在文本框中设置好的一系列调试命令）。

由于musl libc库的mips64的系统调用接口和crt接口已经预先被配置好，因此我直接对libc库进行了编译，然后对用户程序进行了编译，并生成了ROM，我在RT-Thread Smart将公开版的龙芯2K启动代码、上下文切换代码、中断控制器代码和串口控制器代码先移植了进去，花了一点时间通过了编译，然后利用qemu进行调试，形成了初步的程序框架，然后在main.c中构建了一些mmu的测试用例，对龙芯2K的MMU展开了一系列测试，并最终完成了全部测试工作，形成了mips_mmu.c/.h，紧接着我开始试着启动hello.elf程序，发现系统无反应，经过跟踪发现，RT-Thread Smart默认使用的ELF32模型，我将其改成了ELF64模型，同时对接了内核syscall接口，也对接了lwp用户态的相关接口，为每个线程创建了独立的异常栈和系统调用栈，同时在上下文切换代码中实现了页表的切换，并最终实现了hello world的输出。

我在调试ping/pong程序的时候，发现龙芯2K的qemu源代码中存在一个BUG：Config4寄存器未初始化导致无法使用KScratch1/2寄存器，我将其修正并进行了提交，最终ping/pong程序也调试通过。

实现signal支持我花了比较长的时间，这也是第一次接触signal这个概念——用户态模拟的中断，在进入用户态的信号处理程序之前，我将上下文保存在了用户上下文中，由于这涉及到用户态虚拟地址的访问，在上下文保存过程中可能会发生tlb miss从而导致epc被毁，因此这里我也做了特殊处理，最终usersignal.elf也测试通过，在usersignal.elf的调试过程中，我还遇到了一个问题：线程执行的时候堆栈错误，最终获知我要在用户态的线程创建syscall中为线程独立分配堆栈，同时要在线程堆栈中放置一段让线程退出的trap代码，将lr指向这里，从而让线程执行时拥有独立堆栈并在执行完后顺利返回系统并清理线程运行环境。

在上述工作全部完成后，我开始尝试在实机运行，结果一运行用户程序就报错了，经过询问龙芯相关技术人员得知，由于Cache重影的问题，龙芯不支持4K页，最少要使用16K页，于是我花了一晚上进行修改，并在第二天实现了实机的完美运行，此时已经到了7月25日。然后我在公开版的RT-Thread中加入了一条mmu_test命令，并放置了一个简单的mmu测试用例，提交到了点亮计划提供的gitlab中。

然后我开始实现RT-Thread公开版上gmac驱动和lwip协议栈的适配，这部分工作必须完全在实机上完成，而我从龙芯手册上只发现了GMAC的PCI头，经过一些资料的阅读，我对PCI总线有了基本的认识，获取到了BAR，经过多方打听和实验，我获知龙芯2K1000采用的GMAC是Synopsys的标准核，于是我下载了Synopsys Ethernet 3.50a版本的手册，进行了阅读，了解到gmac是一种数据链路层的器件，负责帧的收发，我根据手册的寄存器说明读出了龙芯2K1000的GMAC IP核的版本号，发现与手册的版本差异不是太大，于是我就按照手册的要求开始进行调试，我将RT-Thread中ls1c的gmac驱动直接拷贝了过来，替换了寄存器起始地址，同时对接了一些Cache相关的接口，同时我选择了lwip 2.0.2进行移植，由于驱动和lwip原先是在32位环境下工作，其中有大量硬编码的地址类型转换，因此出现了很多兼容性问题，我进行了逐一修改，终于，链路层握手成功，但是DHCP死活无法握手，我尝试使用Wireshark进行抓包，也一无所获，没有获取到任何数据包，我开始对照数据手册分析DMA的发送列表和接收列表，发现其列表是连续环形方式构建的，但是链表到处乱跳，根本不遵循手册，经过几天的调试我一无所获，后来我获知龙芯的GMAC的DMA也是通过Cache读取内存，因此我就把一些Cache相关地址转换功能去掉了，但是依然不工作，后来我偶尔在数据手册中发现了Enhanced Descriptor，于是我将驱动程序转为增强描述符运行模式，紧接着我就在wireshark中抓到了数据包，其发送列表和接收列表也完全正常工作了，我对细节进行一些调试后，DHCP就正常完成了握手工作，同时ping操作也可以正常执行了，经过长达10个小时的ping命令运行，证明其可以正常工作，这部分工作我在8月11日成功完成。

紧接着我撰写了中期报告并通过了中期考核，紧接着我开始写SATA控制器驱动，这部分比较顺利，我阅读了Synopsys的标准AHSATA控制器的手册，发现其和龙芯2K的寄存器定义完全一致，由此证明其使用的又是Synopsys的标准IP核，然后我将uboot的AHSATA驱动移植了过来，在移植过程中，我注意到其中有大量的源代码文件，经过筛选，我逐渐知道了AHSATA和SATA并不是一种东西AHSATA指的是AHCI + SATA，获得了正确的驱动后，读出了AHSATA控制器的BAR并替换进源代码，同时处理好64位运行环境的兼容问题后，SSD的MBR就被我完整读出了。原定计划是移植FAT文件系统，但是我注意到龙芯2K的pmon依赖Linux根文件系统下的boot.cfg引导文件，并且其中的龙芯Linux也不想破坏掉，因此最终改为移植lwext4，其支持ext2/3/4文件系统，其移植过程比较顺利，同时我还加入了mbr的解析支持，从而支持了多分区挂载，最终在8月19日，我完成了全部的工作，并于后来撰写了结题报告，通过了结题考核。

心得体会

本次项目我提前一个半月完成，整体而言，经历了这次项目，我获得了大量操作系统方面的相关开发经验，接触到了signal机制，同时理解了GMAC与SATA控制器，对之前所学的大量知识有了更深入的理解，最重要的是，我也获得了一些阅读他人代码和大型工程代码的经验，也结识了很多圈子内的大佬，获得了更多的机会，同时也获得了更多操作系统方面的最新和最前沿信息。

对RT-Thread的感受

首先，相较于传统的RTOS，公开版RT-Thread提供了更丰富的调度机制、组件机制以及驱动模型，其次，RT-Thread Smart提供了更完整的用户态支持，同时与传统的RTOS最大的不同在于，可以加载来自文件系统中的elf文件，我认为，若加入网络文件系统支持，便可以执行存储于网络中来自任意一台嵌入式设备中的可执行文件，这种高度自由的特性非常适应如今的物联网场景。我认为RT-Thread属于类Unix系统。其高度可定制化的特性、对多平台的兼容性以及对硬件的低要求，促使其可以快速地适应多种应用场合，并快速切入市场，同时也是一个比较成型的国产操作系统，让国家的国产化进程更向前了一步，比较适合IoT领域，甚至有切入智能手持设备和桌面平台的潜力，整体而言，这是一个极具发展潜力的国产操作系统，我比较看好其未来的发展趋势。

你可以添加微信17775982065为好友，注明：公司+姓名，拉进RT-Thread 官方微信交流群！

 点击阅读原文进入官网