昵称登录后显示

基于红外传感器的姿态识别
项目背景：随着生活水平的提高，智能家居也已经越来越普及，利用红外阵列传感器的智
能家居进行人体姿态识别，有助于在识别人体姿态
的同时，根据人体的行为家居设备进行相应的操作。
项目描述：
一、需求分析：通过光学摄像头结合红外传感器记录人体姿势行为，家居设备根据人类的
姿态判断人的行为进行相应的控制，现有的技术可以实现热感图人体姿态识别。
二、 数据 获取 ：数 据来 源于 甲方 ，一 方面 是光 学摄 像头 记录 的数 据， 这些 数据 通过
openpose 算法打好 18 个关键点的标签，另一方面就是红外传感器获得的热感图数据，前者
的标签和后者的图的关键点一一对应，以此作为训练数据，并且进行图像增强、清洗不相
关数据。
三、模型构建和模型训练：模型采用的是 3d 卷积的方式来处理，五层 3d 卷积和四层 3d 反
卷积（光学摄像头和红外传感器的热感图是利用时间戳来进行一一对应），设计好之后，
将数据放到模型里进行训练，观察训练过程中的热感图关键点实时检测情况，检查精度。
四、模型优化：采用更好优化器 adm、激活函数使用 leakey，通过调整学习率衰减公式中
的 local_step 优化学习率经过模型训练优化，模型准确率达到 96.98%。
五、模型部署：模型部署在服务器上，有服务器对数据进行预测处理，光学摄像头和红外
传感器只是存储数据的媒介。
项目难点：
一、光学摄像头和红外传感器分辨率不一致，红外传感器的图像大小是 32x24,通过 FPN 扩
大图片的特征性。
二、一开始得到的结果发现图像效果存在网格化，人体特征度识别效果并没有达到要求，
确认数据没有问题之后，调整学习率的衰减度(local_step)解决。