当前的智能系统通常需要采用多个/种机器学习模型实现丰富的功能，现有方法针对单个学习模型的精度、效率、鲁棒性等方面进行优化，但在实际应用中仍存在诸多局限：首先他们多数假设拥有模型的白盒信息（模型结构和参数等），但是这一假设在很多对模型有版权和隐私要求的场景下并不成立；其次，每一个模型都需要人工选择特定的优化方法，并需要针对性地参数调整；此外，模型代码实现的多样性也导致难以复用模型优化策略；更重要的是现有技术没有充分挖掘不同模型间的知识关联性，只是孤立地对单个模型进行优化，忽视了潜在的协同服务的优化机会。项目组针对物联网系统中存在的多类型黑盒AI模型，创新地提出了多模型协同服务的理论和机制，主要包括以下两个方面：（1）基于深度强化学习的多模型自适应调度。越来越多复杂的智能应用需要执行多个数据理解模型，在充分挖掘数据语义的同时带来了难以承受的资源开销和时延。针对这一现实问题，课题组提出了一种基于模型执行价值预估的自适应多模型调度框架，避免执行大概率不会输出有价值语义信息的数据理解模型，在不损失有价值语义信息的同时大幅减少了模型的执行开销及时延。课题组研究了基于深度强化学习的模型价值预估模型，并基于模型价值预估结果针对内存和时间开销设计多模型调度算法。基于在大规模数据和真实AIoT系统上的测试验证，项目组提出的方法可以在不损失任何有价值标签的情况下节省约50%的计算开销，显著节省了智能系统对计算资源的浪费。（2）基于知识共享的多模型协同服务方法：为进一步优化模型间地协同服务，项目组创新地提出了一种黑盒机器学习模型之间知识共享的方法，并基于该方法设计了模型高效协同服务的机制。该方法利用匹配的模型输出构建知识层的映射以共享多模型知识，再此基础上利用混合专家模型融合多模型知识。在给定的时间或资源约束下，计算出最优的模型协同服务策略。通过在知识层面进行多模型的共享和融合，将模型间的关联性充分挖掘，在相同的计算资源限制下，项目组提出的方法大幅提高了模型的服务能力和效率，降低了模型服务的成本，且带来的额外代价是极低的，不会对原始模型服务带来干扰，可被广泛应用于优化多模型服务的现实业务。细节如图1-2所示，以上成果发表在CCF A类会议 IEEE ICDE 2020，并申请相关发明专利一项。

图1. 基于深度强化学习的多模型自适应调度

图2. 基于知识共享的多模型协同服务