昵称登录后显示

宁德时代卷绕AI辅助检测项目二次开发（CATL首个大型AI质检落地项目的迭代改进）
项目介绍：该项目通过云端推理和边缘端推理相结合的方式为宁德时代全集团一千二百多台卷绕设备做AI缺陷检测，本人在该项目中主要负责云端代码维护，以及针对产线新需求做二次开发，后期也负责离职人员QT前端上位机的维护。
云端框架由一套基于Python的Django框架编写的六个微服务组成，包含基于pytorch的AI推理，MySQL数据库的交互以及MES系统的NC电芯的打标等，整套框架部署在第四范式的私有云服务器集群上，满足全集团九百多台卷绕设备每一颗电芯极片的AI缺陷检测。
前端QT上位机分两种，一种是用传统的图像算法完成电芯图片的初筛，对于有问题的图片请求服务器后端用AI做二次判定，并把结果传输给电芯生产的MES系统，实现NC电芯的拦截，第二种是部署在有GPU的工控机上，用边缘端AI推理的方式电芯的全检以及结果的上报。
主要成就：
1、重新梳理了原有模型训练代码，改造成添加新的数据集得到泛化性较好的适配产线模型，培养了两名模型训练技术员，专门负责产线模型的更新迭代。
2、针对宁德基地产线激增，在线任务过快增长，导致原有的AI推理架构不能满足，带领团队把专门负责AI推理的任务从QT上位机前端到服务器后端代码实现了重构，从而在不增加硬件的基础上，解决了请求激增服务经常重启的问题。
3、带领团队实现了产线新的需求，比如从阳极极片检测到阴阳极极片的全检，以及双相机改单相机方案的适配等。
4、优化原先框架的推理速度，如把图片原先的单张推理改成批处理推理，以及经过测试发现服务器推理方式上不去是卡在磁盘IO这块，重构了原来的框架，解决了这块的问题。
5、通过改良优化原有传统算法+AI检测的方法，最终实现 “0”漏杀和 0.05%以下的过杀指标。
6、带领运维团队实现了全球动力电池产能最大福鼎基地的卷绕AI检测项目的部署。

3.ATL X-ray智能化改造（2019/04~2020/12）
项目介绍：ATL公司产线上的一种Xray检测设备的核心耗材大户---xray光管以前的报废原则是用满8000~1W2小时就报废，这样会造成一半以上的光管在还能用的情况下也不得不做报废替换处理，本项目通过采用深度学习图像识别的方法，每隔3分钟采集一次供应商采图软件保存的图片，来判断系统是欠压，正常还是过曝，并以此作为闭环调节来调节光管的电压，从而保证光管的电压在正常范围之内，而不是以前产线员工随意性调节，从而大大延长了光管的使用寿命，经过一段时间的验证，光管的使用寿命同时期对比验证普通光管（随意性调节）达到延长2倍左右，成像质量也得到了有效性保证，全面推广后可为了公司节约耗材2600W以上每年，该项目获得2020年度ATL年度总裁级创新奖。
主要成就：
1、用paddlepaddle框架重新训练AI模型，取代前任工程师用halcon收费版训练的模型。
2、重构了原来的算法框架，用目标检测的算法取代了传统的找边找区域的方法，用效率比较高的分类模型取代了原有需要RTX4000显卡的halcon模型。
3、对AI模型进行了优化，使得原先一台机需要一张RTX4000改成只需要两个英特尔的NCS2
神经计算棒，硬件资源节约 600% 以上。
4、和团队一起完成改造后框架的DEMO机验证。

5.基于安防摄像头的公共场所人群密集检测与预警系统（2019/03~2020/01）
项目介绍：
针对深圳宝安机场、深圳北站等人员聚集场所进行人群密度估计，估计区域人数，避免因人群聚集导致的交通拥堵、踩踏事件的发生，本人带团队开发出基于普通安防摄像头的公共场所人群检测与预警系统。本项目采用普通安防摄像头获取实时人群图像，采用深度学习技术提取图像特征，得到图像中人群密度分布情况，并对异常情况进行预警。
主要成就：
调研MCNN, SaNet， SswitchCNN， SS-DCNet等人群密度检测算法。在SHA，SHB和UCF-QNRF开源数据集上跑通了github上开源的 SS-DCNet算法并达到作者的性能指标，然后根据公司购买的PGCNet源码进行二次调优，优化，MAE和MSE指标在多个数据集均达到了SOAT效果，尤其是PGCNet原论文作者公开的一种至今为止高分辨率最大的人群计数数据集对模型的改善提供了很好的泛化性能，最后经过多次训练和调优后，取得比原作者在该数据集上低0.1个百分点的MAE。

基于YOLOv3模型的安全帽佩戴项目（2019/02~2020/02）
项目介绍：
本项目是利用深度学习的目标检测技术解决深圳燃气特殊检修区域工人必须佩戴安全帽的检测问题，针对现有安全帽检测技术中存在的鲁棒性差、覆盖场景有限的问题，制作不戴安全帽和故意遮挡这两种对抗性质数据集，最终实现对工地施工人员是否佩戴安全帽进行检测，并识别安全帽的颜色。
项目总结：
1、首先基于公司原有的安全帽数据集(6096张图片，24897个目标，2个类别)，并且引入不戴安全帽和故意遮挡这两种对抗性质数据集(2823张图片，10387个目标，1个类别)，用基于darknet版本的YOLOv3经过几轮训练得到测试集上mAP值为0.88的模型。
2、通过变电站实际视频场景创建该场景下的安全帽检测数据集，包含3185张图片，共16385个目标，4个类别（蓝色、红色、白色、无佩戴）。并在第一步训练好的模型上面进行finetune，最后模型的mAP值达到0.896。
3、算法和脱敏数据集已经公布在自己的github上。

7.“华为云杯”2019人工智能创新应用大赛（2019/11/19~2019/02/19）
项目介绍：
参赛者基于华为云人工智能开发平台ModelArts，根据组委会提供的西安景点、美食、民俗、特产、工艺品等图像数据，进行图像分类深度学习模型的开发。大赛分为初赛、决赛，根据判分系统自动评分和大赛专家评审，综合选出优秀参赛团队。
大赛成绩：
经过团队的日夜努力，以初赛成绩13名(将近2K支队伍)入围决赛(前20名)，最终决赛成绩为12名，分类准确率为0.9814，以0.0046的准确率止步于最终决赛(前10名)，与第一名相差0.01。
项目总结：
针对性做了数据清洗等预处理工作；一开始采用resnet50等基线模型调参训练，后来选用EfficientNet作为最后基准模型，后面做了大量工作，比如针对每次系统判分调整自己的数据集，以及尝试EfficientNet各个子模型，尝试不同的优化器，损失函数等不断反复迭代训练，也采用了比如在图片输入方面做等比例的缩放，数据增强方面采用了随机裁剪，随机翻转，随机缩放，mixup以及BN、GN等归一化方法等等tricks；

8.上海社区24小时垃圾分类站（2018/10~2019/03）
项目介绍：
自2019年起全国启动最严生活垃圾分类工作，怎么识别生活中各大垃圾属性，对于广大群众成为了一个挑战，本项目与上海杨浦区物业协会合作，在下辖相关社区做试点社区24小时垃圾分类站，通过深度学习技术，利用AI技术检测投放人身份(人脸检测和识别)，并根据摄像头检测投放的垃圾种类，指示正确分类投放，并检测是否投放正确，做好投放记录，便于回溯，以及监督人们的投放行为。
项目总结：
本项目图像分类算法源于华为最近AI分类大赛决赛第二名的模型，在其上根据实际业务场景做了相应修改，通过爬虫做了数据扩充，选择生活中占比超过98%的51种主要垃圾作为分类类别数据集，选择Resnext101 32x8d作为baseline模型，加入了注意力机制，最后进行了相关的模型优化，最终部署在Intel神经计算棒NCS2上做推理，结合树莓派作为作为整个项目的计算中心。最终准确率在测试集上达到98.5%，推理时间低于300ms。

9 .iPhone X红外3D传感器测试机组（POC）（2017/05~2017/08）
项目介绍：
该项目为富士康项目，主要是通过视觉识别传感器物料，然后通过双臂伺服（两轴同步运动）将红外3D传感器从物料盘移载到流水线平台，根据不同的工况来决定该如何摆满流水线上的travel platform，该项目的的主要挑战是节拍的控制，四个移载末端为一组，要控制每个末端传送3D传感器物料到cycle time在7s以内，实际最快在5~6s，达到客户预定的目标。本项目亮点在于用雷赛的卡如何实现两个伺服轴电机高速同步运动，精度控制在10个脉冲以内。(视觉三轴定位+运动控制)
个人职责：
视觉识别物料和定位采用的是海康威视的解决方案，个人负责识别定位后给的坐标，去做补偿运动，以及运动控制部分，人机交互UI，上下游的通讯模块等。

10.LED灯珠缺陷检测（机器视觉）（2017/03~2017/11）
项目介绍：
该项目为富士康项目，主要实现LED灯珠的多胶，漏点，流不平，少点了胶，胶水溢出，异物，气泡，背面有胶等八种缺陷的机器视觉识别。主要通过定位模块，形态学，动态选取灰度阈值提取特征，特征组合等方式构建检测算法。尝试过用神经网络训练的方式，最终因为数据集少，推理慢，达不到客户要求，改用传统的特征提取和机器学习的方法最终使得灯珠检测速度达到单机80ms以内，并把检测结果通过IO发送给执行机构，执行机构再将相关的缺陷产品进行分类处置。
通过设置特征过滤阈值，能将良品精确率提高到99.83 %，检测性能达到业内最高水准，实现了LED灯珠的全检，减少人工复检人员50多人，每年为客户节省人工300多W，最终获得了客户好评，通过了客户验收。
个人职责：
负责缺陷检测算法的实现，以及上位机软件开发，包括人机交互界面，硬件通讯模块，数据处理模块等。

11.锂电池歪帽缺陷检测（机器视觉）（2017/01~2017/06）
项目简介：
锂电池正极头部的缺陷会导致 起火爆炸的安全隐患，因此出厂之前必须剔除掉。客户以前是靠熟练工人的经验，本人基于HALCON视觉平台，通过定位，BLOB分析，尺寸测量等算法，实现圆柱形充电锂电池的缺陷检测。最终程序的检测速度达到1.5W pcs/h，废品的召回率达到99.99%。
个人职责：
负责缺陷检测算法的实现，以及整体软件的开发，包括人机交互界面，硬件通讯模块，数据处理模块等。

12.手机摄像头链接器激光视觉焊接机（2016/07~2016/10）
项目简介：
该项目为东莞镇茂五金OPPO手机壳焊接设备软件项目。机器用于OPPO手机摄像孔金属固定框视觉定位，再点焊焊接。项目通过视觉定位焊接位置，通过图像预处理，中值滤波，捕捉到定位圆，再通过仿射变换，利用九点标定的文件计算得到位置偏差再反馈给运动控制部分进行补偿，引导运动模块到补偿位置实现激光出光打点焊接。该项目涉及到的技术主要有:1、基于LabVIEW开发固高运动控制卡对三轴的控制模块。2、NI 视觉对焊接位置的识别和纠正。3、和客户MES系统焊接产品数据的对接。
个人职责：

16.膏体充填环管数据采集监控软件平台（2015/02~2015/05）
项目简介：
该项目主要是要采集公司环管试验管道内部各种压力传感器和流量传感器的数值，对对其进行数据分析，打印报表以及存储。通过阿尔泰PCI8622数据采集卡，利用其提供的库函数搭建了数据采集模块实现多个压力传感器，差压传感器，流量传感器信号采集，滤波；以及通过数据分析模块实现信号处理，显示，数据报表模块实现打印报表和存储的功能。
个人职责：
独自负责整体软件架构的搭建，开发，调试，客户现场安装，调试。
17.基于LabVIEW气动机械手位置控制实验台的开发研究（2012/09~2014/04）
项目简介：
该项目主要是为导师实验室搭建一个气缸运动控制三轴试验平台，为后续师弟师妹们可以在上面展开多项运动控制理论的试验，以及教学打下硬件基础。本试验台采用NI的运动控制卡，在labview环境下搭建了以实现气缸的闭环控制，并在此基础上搭建起三轴气动机械手平台。气缸的闭环控制模块主要是基于系统辨识得到的气缸非线性数学模型，通过气缸上光栅传感器，气压传感器的反馈，以及相应的控制策略模型，实现对每个气缸气压和位置的精确控制，从而实现气缸的位置伺服控制。
个人职责：
独自负责整体软件架构的搭建，开发，调试，论文撰写。
重构上任工程师的软件架构，开发，调试，客户现场安装，调试，并根据客户实际场景优化。