可穿戴设备的普遍使用给轻量级动作识别提供了方便和可能性。考虑到动作带来的变化可被内嵌传感器的可移动设备感知，而现存的手语识别系统往往基于很笨重的设备，缺乏便携性、时效性和可用性。此项目提出了SignSpeaker系统，利用手表传感器采集的信息做手语识别识别微小动作。利用手语动作的时序性，本文利用LSTM+CTC的机器学习方法，学习前后文关系，提取含有语义信息的特征。 目标是希望能够实现具有鲁棒性和适应性系统，在不同可穿戴设备之间可进行迁移，并且提供更高的可用性，可扩展到不同的用户特征。

主要的流程是，在数据采集后，先对数据做去噪处理，把一些抖动信息给去掉，并且通过数据分析截取手语相关的有用信息。数据预处理之后，运用时序相关的LSTM模型和利用前后文语义信息CTC，将手语数据的源数据进行切分和识别。 SignSpeaker具有几个理想的特性：1）它具有很高的识别精度，能对句子级别的手语进行识别； 2）通过对模型的结构设计，它有低的延迟性； 3）它在新用户数据上也能达到高的精度，有一定的鲁棒性。细节如图1所示，上述研究成果发表于 ACM MOBICOM 2019 （CCF A类会议）。

图1. 基于智能手表轻量级手语识别的处理框架