编者按：今年5月，由机电与信息工程学院王春鹏担任指导教师的“脑语心声”团队在第十五届全国大学生软件创新大赛中获得特等奖。团队以“你大脑皮层枕叶区跃动的电信号，是我此生不变的信仰”为口号，打造脑机接口、提升重度瘫痪病人生活质量的新型APP。此APP通过脑机外接、健康检测、轨迹排障等手段，提升重度瘫痪病人生活质量，助力医疗卫生及残障关怀事业发展。让我们走进“脑语心声”项目团队，听他们聊聊项目从设想到成型过程中发生的故事……
（从左到右依次为赵旭东、彭琦、王春鹏老师、李子轩、陈建宇）
指导老师王春鹏：让“虚拟”变“现实”
王春鹏说，最初这支团队并非为了创新大赛而组建，参与比赛，到最后获得优胜，似乎是“水到渠成”的事情。“小时候看带科幻色彩的动画片，有那种虚拟现实的情节，就觉得很酷，没想到后来这种技术就成为现实了，之后也就对虚拟现实技术比较关注。”早在比赛前四个月，这支团队就成立了。当时王春鹏的想法是，以脑机技术为起点，调研哪个领域最需要这种技术，然后去做一个“把这种技术用到实处”的项目。
模拟患者使用VR漫游
看到“脑机+元宇宙”这样“高大上”的题目，很多人想象着，参与者应该都得是研究生起步吧？然而，王春鹏在本学院选择了四位本科生，并对他们给予了很高的评价：耐心、恒心、决心，这也是他最看重的品质。对这四位成员，王春鹏如数家珍，大三的三位同学实践经验丰富、都有相关赛事的经历；大二的同学虽然稍显“稚嫩”，但很有潜力……
这么难的项目，我们能行吗？项目初始，王春鹏常常听到学生们的自我怀疑，但随着项目一点点向前推进，成果一点点成型，大家也越发有干劲。团结、努力，这是王春鹏眼里的“脑语心声”项目组。“情绪分析”不够精确怎么办，查文献、做实验，一次不行就两次，推翻再来，还不行，那就再一次，“硬着头皮也得上”；遇到问题大家就聚在一起讨论，明确分工各司其职，从不推诿；实验室里，也总有一盏灯是为他们点亮的。这不仅是“脑语心声”项目的“成长”，更是每一位成员的自我超越。
家属端多人虚拟场景模拟画面
从调研确定选题到克服重重难关，再到专利申请成功，荣获创新大赛特等奖，这一切似乎来得突然，又似乎再自然不过。研发过程中，王春鹏常常跟成员讨论，不管比赛能否获得好名次，做出这个能够真正应用的东西，就很有意义。大赛获奖后，他说，这些不过是“阶段性的成果”，他们的目标是——让重瘫病人能够借助虚拟现实技术生活得更有质量。
李子轩：其间不解高山意，登顶方知众山小
李子轩从小便对编程开发感兴趣，上大学后除了学习相关课程，也会课外钻研相关知识，大一大二就已经参与过多次有关赛事并获得荣誉。他和彭琦很早便进入了王春鹏教授的实验室，当得知老师有做这方面项目的想法时，便毫不犹豫地加入了。李子轩在项目中主要负责虚拟世界开发，譬如元宇宙中的图形渲染和视觉表现，为患者打造更逼真的视觉体验效果。
VR开发界面
作为队长，李子轩在安排计划和调整节奏上显得游刃有余。整个项目从去年10月份到今年5月份，由于疫情防控的原因，很多安排都改为线上，实验也一度无法顺利进行。但他始终有条不紊地执行时间安排，每周都组织大家开线上会议，一起讨论进度和疑点并确定下一周分工。由于项目涉及多学科融合，很多知识和资料需要团队成员及时自学了解，特别是脑科学和病理学这方面的知识。李子轩说，大家每周都要分工查找、阅读相关文献，及时了解新知识，一开始肯定觉得陌生难理解，但是没有一个人泄气，常常为此早出晚归、废寝忘食。
尽管自身专业与此相关，但是脑机接口这个领域由于其前沿性和复杂性，对于本科生来说难度非常大，李子轩起初接触项目也仿佛面对陌生专业一样两眼一抹黑；但是随着他们慢慢啃下一篇篇文献，做完一次次实验，不断去试错，用耐心和毅力与时间拉锯战后，终于可以驾轻就熟地处理资料和实验数据了，眼界也被拓宽了，这才发觉原来前沿科研并不是那么遥不可及，自己居然也相当熟悉相关知识了。
病人端多人虚拟场景互动界面
李子轩说自己作为队长也有帮助成员疏解心理压力的责任，但问及他自己的压力时，他挠挠头回忆道，每当因为毫无头绪而苦闷时，就会一个人去操场散散步，看看夜空，想想以前遇到困难再越过困难的经历便又释然了。他说困难就是生活中的常态，没有什么是容易的，但是如果没有王老师，项目不会进行得如此顺利。
疫情期间，实验室管理越发严格起来。为了保障大家的实验时间，王老师搭了一张行军床，就这样扎根在实验室，每天都陪着大家一起做实验，关注项目进度，关心学生状态。哪怕洗漱吃住再不方便，也从不抱怨，反而十分耐心温柔地鼓励大家。李子轩说有几次看到老师和家中的女儿视频，觉得非常感动，自己还可以住宿舍，但是王老师只能睡一张简易的行军床，却比谁都积极乐观。他说，老师是团队的粘合剂，倘若没有老师的长期深度参与和陪伴，大家很难规律地推进计划并坚持到最后。
赵旭东：架起理论与实际、软件与硬件的桥梁
作为最后一个加入团队的成员，赵旭东惊叹于项目之庞大、构思之精巧，“一开始都不相信自己能完成”，直到他也能独立撰写完开发文档，成为团队的中流砥柱。赵旭东说： “只重视项目开发，却忽视背后的文档基础，是万万不行的。如果基础不牢，后续的每一步开发都将摇摇欲坠。”于是，赵旭东概括性地撰写项目背景、定位、开发计划、需求的数据，根据现有技术进行可行性分析等，又详细阐述每一个模块的功能。不过，他并不满足初步的构想，“文档辅助项目的开发导向，项目的开发则进一步完善文档”。大胆构想，小心求索，悉心打磨，无数次的修改最终汇成300页的图文，他坚信评委老师将通过文档更加细致地了解“脑语心声”项目。
病人端主界面
除此之外，赵旭东还负责智能家居与脑语心声app的连接。他使用Arduino平台来编写程序，最终使得软件可以控制硬件，数据也可在其中相互流通。在自主钻研硬件知识的过程中，赵旭东创新性地想到，通过传感器实时监测环境温度、湿度等，将数据传递给家属，使得家属及时控制家电，或者设置智能模式，比如在温度过高时自动打开空调等。这样的新点子紧扣多设备融合的比赛主题，但赵旭东又严谨地说道：“这不意味着一味地往项目中增加设备，而是应该将心比心地体会瘫痪病人的生活状态，寻找适合他们的创新性改变。”
自主摸索脑机接口的外文知识是枯燥痛苦的，但以比赛为契机、接触到课堂上难以涉及到的最新进展，又是无比新奇而幸福的。谈及未来，赵旭东认为脑机接口是未来人机交互的发展趋势，“现在脑机接口的应用大多停留在游戏方面，还没有深度发挥设备优势，希望我们能真正让它服务于瘫痪病人群体。”
彭琦：软件开发的主力军
在团队中，彭琦是客户端、服务器、VR模块等软件开发的主力军，所有的界面设计都有他的参与。他熟练掌握并使用C＋＋来开发服务器；又自主钻研，使电脑上的画面能传输到VR头显中……但彭琦并非一直闷头工作，开发之路上也常有有趣的灵感闪烁。结合自己本科阶段常做游戏设计的经历，彭琦大胆设想：能不能通过脑机接口，让病人和家属都进入虚拟世界，一起互动呢？于是，他使用Unity游戏引擎搭建了这个模块，“多人元宇宙”模块应运而生。
病人端需求表达界面
脑机接口需要准确识别瘫痪病人的稳态视觉诱发电位，是了解病人意图的关键。而面对一开始较低的识别准确率和识别速度，彭琦通过查阅大量文献，对屏幕上图标的大小、位置、颜色进行优化。最终，每个图标的面积都较大，图标之间又有一定的相对位置，脑机接口便能更快、更准确地识别病人的视觉信号了。
团队成员们住在一栋宿舍楼，不仅为团队交流提供了便利，也有利于大家进行一场场“头脑风暴”，想到各种新点子。团队合作让彭琦认识到了学科交叉的重要性。未来，他还想学习美术、音乐等专业知识，和游戏开发技术进行结合，帮助他在游戏开发道路上走得更远，也为团队后续发展提供更多的助力。
陈建宇：见树又见林，积跬以致远
作为队里唯一一名大二成员，陈建宇负责的是人工智能算法模块，主要操作后台代码和指令，其重要性好比盖楼房前先搭建地基。他说自己还是大二学生，万一这个项目没有做好，大三还有机会；可是学长们都已经大三了，没有更多的时间，所以每个阶段都要好好把控，不能出差错。尽管如此，却没有任何成员给他压力，学长们都非常包容，时常鼓励他。他还记得上一个年三十，并不是像以前一样在电视机前观看春晚守岁，而是一篇英语文献陪他过年。而正是那篇文献，解开了他的思路。此前一直坚信的办法有点走不通，却不知哪里出了问题，那篇文献正好讲述了相关内容，反复琢磨后，陈建宇终于恍然大悟。
模拟患者通过脑机控制灯泡开关
为了更细致地体察重度瘫痪病人的仪器使用观感，并及时测验软件和仪器的灵敏度，需要反复试用设备，以求符合应用场景。陈建宇担任了试用者的角色，每次他都会躺在王春鹏老师的行军床上模拟病人，体验设备。实验往往要进行好几个小时，长时间一动不动地躺在简易的床上浑身难受，他不得不每间隔一小时就休息放松一下。亲自体验后，他更深刻地体会到了重度瘫痪病人的不易。
尽管前期实验了很多次，但万万没想到的是，国赛那一天，设备却出了问题。预演六次，却出现三次异常，蓝牙和pc端信号有时连得上有时又连不上，毫无规律可循。眼看着上午的答辩结束，下午就要物演，可是直到中午还是没有找到解决办法，大家都焦头烂额。当时的情景陈建宇还历历在目，他说大家都没有灰心气馁，忙了一上午，中午也没有休息，不停地排查问题。临近比赛那一刻，队员彭琦灵光一现，找到了症结所在。原来是风扇模块和内嵌蓝牙模块之间的信号通道出了问题，网上购买的简易设备没有排查信号通道占用状况的功能，导致设备之间信号不稳定。最终决定暂时关闭风扇模块，再进行排查，果然就畅通无阻了。所幸有惊无险，顺利度过了下午的比赛。
在提起专业问题时，陈建宇侃侃而谈，每一步细节都解释得清楚生动。遇到一些技术问题，他都会积极查找资料，思考内层原因，力求找到解决办法。他说这是他一直以来的习惯，思考带来的乐趣和成长，是其他事情替代不了的。
