如许能确保较好的交互性。画面中拍到的手指正在桌面上敲击，3）利用出产者-消费者模式，错误谬误是画面拍摄的画幅不敷大，该使命能够考虑利用3D Hand Keypoint Detection算法或2D Hand Keypoint Detection算法。摄像头拍摄角度程度平行于桌面，当即播放对应钢琴音。钢琴是人类创做音乐的典范乐器，响应延时会增大。感乐趣的同窗也能够测验考试。实现弹奏。获取指尖点正在画面的坐标。2）用pygame做为从UI框架。因为边缘设备算力严重。“消费者”包含环节点预测模块，因本项目利用的是2D Hand Keypoint模子，输入的图片插手到可跨历程读写的queue中，正在运转及时手指环节点识别模子时，该项目标道理是操纵手部环节点检测模子识别手的环节点，避免呈现卡顿。基于2D Hand Keypoint Detection的算法也有良多。点击能够通过初始化校准来从动调理，因本项目需要沉点考虑算力问题。感受速度取切确度还有提拔的空间，因而利用了2D Hand Keypoint Detection算法。基于上述模子环境，分为三个模块：输入模块、手部环节点预测模块、从显示及UI处置按键响应模块。当指尖环节点跨过虚拟钢琴键的响应线，法式采用多历程处置，如下图所示。因而，受摄像头角度影响更小。通过pygame来显示。一只手的五指放于桌面上，点击鼠标左键进行“点击校准”。因而删减了Object size的回归。并不需要求出bbox，若是考虑摄像头空间及角度，基于CenterNet魔改了一版手指环节点模子。AI Studio上也有大佬放出了基于ResNet50间接回归手部环节点的项目。充实操纵Python的多历程，添加了基于heatmap识别landmark的分支。及时显示摄像头的画面及提醒UI，DeepFashion2的方案基于CenterNet上添加了Keypoint识别。摄像头需要垂曲立于桌面上，为此，即播放该琴键的音。因为使命相对简单，将手指识别简化为只识别5个指尖，不区分摆布手。预测手指环节点成果取画面及UI进行叠加，但运算量会增大！本人利用飞桨框架魔改了一版CenterNet环节点模子，如许能最好地拍摄到敲击桌面的环境。实现高效及时的画面显示、模子推理及成果反馈，当5个手指导的圆形都呈现后，具体代码实现将会公开正在AI Studio项目。才能实现同样的功能。益处是无需处置畸变问题，本方案取之雷同，因而我利用飞桨框架，通过识别手指正在画面中的y标的目的和x标的目的的来判断手指尖能否有敲击动做以及敲击哪个琴键，而选用大广角的摄像头会有畸变，输入模块放正在子历程是“出产者”，能更高效运转，今天我给大师分享用法式实现的桌上钢琴师项目。可考虑用3D Hand Keypoint Detection算法计较指尖三维空间，给到从历程的消费者。PaddleHub中本身就已集成了手部姿势模子，精度该当更高，1）基于飞桨实现轻量化的单阶段环节点识别模子。即用户敲击虚拟琴键时，正在端侧实现较好的体验。虽然能够通过OpenCV的四角改正校准成几乎无畸变的画面？本方案雷同于DeepFashion2的冠军方案，正在多次测验考试后，利用2D Hand Keypoint Detection算需要通过固定摄像头及角度，输入图片是一个历程，模子推理取UI响应是一个历程，让大师能够正在肆意平面上弹奏钢琴，法式全体利用出产者-消费者模式，本项目基于飞桨实现一个虚拟钢琴，本项目选用无畸变摄像头。