“科创中国”机器视觉产学融合会议观点汇编

发布时间: 2022-11-29

(一)王耀南院士:高光谱机器视觉感知技术应用与发展趋势

人类获取的信息83%来自视觉,由听觉、触觉和其他的渠道获取信息的占比仅有17%,所以视觉对于人类的重要性溢于言表。而机器视觉作为机器人的“高精密眼睛”,其之于机器人的作用就像视觉之于人类一样重要。

近日,中国工程院院士王耀南在“科创中国”产学研融合会议上围绕“高光谱机器视觉感知技术应用及发展趋势”发表演讲。他指出,高光谱机器视觉技术正在迅速普及,在制药行业的产品检测、食品生产的安全识别、建筑材料的质量控制、医学成像等场景中广泛应用,但距离真正实现“高精准、看得清、更好用”仍面临挑战。

1.机器人的高光谱视觉

高光谱成像与感知可将丰富的、不同波段的图像信号映射到数字世界,是机器智能的重要支撑技术。“高光谱图像能够精准反应出物质特征的光谱信息,这是它最大的优势,”王耀南表示,“近几年,高光谱的发展非常迅速。过去高光谱主要是在摇杆应用里面,今天我们把高光谱用到机器视觉,使机器人装上了明亮精准的眼睛,可以感知到可见光、红外光。”

王耀南指出,机器人的高光谱视觉研究主要包含两部分内容,一部分是成像感知,另一部分是自动的光谱信息分析。成像技术实质上是感光元件把光信息转化为数字图像信息,最早的光谱成像来自感光设备,目前低成本、小体积、高速率、低功耗的感光元件成为发展趋势。近年来高光谱机器视觉的发展态势从感知智能进入到了认知智能,从过去的 RGB 图像变成今天的光谱图像,已然进入到一个计算智能成像的时代。目前高光谱相机及其相关技术已成为智能机器视觉领域研究的前沿方向。

2.高光谱视觉传感器发展突破的关键技术

“首先要突破图像特征的提取,过去我们主要是像素特征的提取,今天扩展至边缘、纹理、光谱等空间几何等方面;第二,它已经走向了图像的推理,涉及语义知识的理解、语义的描述、高维的图像特征等技术的突破。第三,要突破自适应的学习,传感器要具有学习性、能感知,还要能理解、能分析,让人工智能真正融入到机器视觉里。”王耀南说道。

近年来,通过大量研究,高光谱视觉传感器的发展突破了两项关键技术。第一项技术面向成像系统,成像系统围绕复杂的目标,能够解决在多空间、大尺度下的成像问题,可以同时捕捉三维空间和光谱维度的成像。第二项技术面向三维光谱数据分析,比如空间-光谱联合分析、大数据分析和处理等。快速突破这两项关键技术,有助于实现高光谱机器视觉技术的广泛应用。

3.未来高光谱视觉面临的挑战

“高光谱广泛装载在机器视觉以后,不仅能应用到工业、农业,还能应用到无人驾驶、机器人、新药研发、新产品质量检测等领域。”王耀南表示。比如为了加速工业检测速度,我们开发了高光谱图像处理的硬件系统,研制了工业高光谱仪器,包括高光谱的成像,成像仪器的处理特征识别等。再比如,高光谱机器视觉也被用在异物检测方面,应用于疫苗生产的柔性智能化工厂。而不同的应用场景对高光谱成像的复杂性、多样性提出了更大的挑战。

王耀南指出,首先需要解决的重要问题是数据传输与处理。比如,高光谱仪器是联网的,如此庞大规模的光谱图像信息怎么同时传输。

第二是光谱成像高分辨率问题。高光谱最大的弱点就是分辨率比较低,不像可见光成像的分辨率比较高。合成孔径雷达图像的分辨率也比较低,但是它的探测精度比较高。每一种传感器都有优点和缺点,因此未来一个重要的研究方向就是新的成像方法和机理探索。

第三是单一的传感器进入到多传感器信息融合。从数据处理方面到光谱数据处理,从模型驱动向数据驱动、知识驱动的方向发展。

(二)高新波教授:图像跨域重建作为新一代人工智能理论和技术取得重要进展

国务院2017年发布的《新一代人工智能发展规划》提出了“三步走”战略发展目标,在第一步的时候凝练了五大方向,大数据智能、跨媒体智能、群体智能、混合增强智能、自主智能系统这五大方向。其中跨域的图像重建理论与方法也是属于跨媒体智能的范畴。

近日,重庆邮电大学高新波教授在“科创中国”产学研融合会议上围绕“图像跨域重建理论与方法”发表演讲,他指出,跨域的图像重建理论与方法属于跨媒体智能的范畴,在画像-照片合成,可见光-近红外图像转化,图像超分辨重建,医学图像跨模态生成,图像风格转化,多光谱图像补全等领域有着重要应用。但目前还面临着两大科学问题:一个叫语义鸿沟,一个叫异构鸿沟。

1.何为图像跨域重建?

“一种类型的图像生成另一种类型的图像,我们就称为叫跨域图像,或者叫图像的跨域重建。“高新波说到,“如果摄像机分辨率不一样,一会儿是高分辨,一会儿是低分辨,所以这种我们叫做Cross Resolution,就是叫跨分辨率的这样一个图像。再一种就是多光谱的,比如这是可见光图像,这是一个近红外的图像,我们说这是跨光谱的,还有一种就是从画像到照片这叫跨模态的。”

据了解,跨域图像就是通过不同传感器所感知到的不同模态的图像,有的时候也有人称为跨模态。图像的跨域重建是指利用跨域图像之间的内容关联性和表达的互补性。内容关联性就是感知同样一个目标,因此一定是关联的。表达的互补性指跨域图像间的感知手段不同。利用关联性和互补性就可以从一个域的图像来生成另一个域的图像。

2.应用在图像-照片合成

图像的跨域重建包括画像和照片之间相互合成,是一个非常广泛的研究领域。早期是数据驱动的,后来随着深度学习出现以后更多是模型驱动,所以早期的数据驱动主要还是以概率图模型为代表,到了模型驱动之后我们有基于PCA的组成式分析的线形模型,更多还是以CNN、GAN和ResNet为代表的非线形的生成方法。

高新波提出,早期的条件GAN,从过去合成里面的损失代价函数把它提升到了对抗损失,通过对抗损失就引入到GAN的思想以后得到一个比较好的结果,但是它引入了一些形变和不合理的纹理,叫人工效应。后来又进一步往前推进,提出了cycleGAN概念,计算损失的时候往往是在目标域里面进行计算,在目标域里面进行计算的时候就要求有训练样本,比如照片生成画像,得有一个理想画像和它进行比对,才能得到它的误差。为了减少这个要求,再反变化回来,这个变化过去以后再反变化回来,仍然在这个原域里面算它的损失,这样就不需要有一个画像了。照片生成画像,再由画像反变回来照片,还是在照片域里面进行一个误差的比对。当然,如果有训练本,也可以在训练域,这样就在原域和目标域同时算它的损失,形成cycleGAN这样一个损失函数。这样一来,效果就得到了一个明显的改善。

高新波指出,最近最流行的方法是Transformer,我们也把Transformer引入到人脸照片合成里面去,利用自注意力机制捕捉不同位置特征向量的长空间依赖关系,将人脸语义标签作为自注意力编码模块,作为一个位置编码来增强我们自注意力模块的语义感知能力。通过这样一个U形网络,我们也可以得到一个更好结果,这一列就是我们用Transformer获得的结果,其他是用现有不同方法得到的结果。从客观指标来看这个方法又更精进了一步。

3.应用在图像超分辨重建

“图像超分辨重建这个应用非常多,比如在电影里面我们看的时候,前景很清楚,我们要看背景看不清,如果我们把背景给它清晰化的话,我们就可以看到这个背景是一个人牵着一个小孩。” 。多帧图像超分辨重建可以获得更好的结果,比如非常不清楚的,通过处理以后可以得到一个比较清晰的图像。图像超分辨重建的应用,可以用在汽车牌照的识别上,在刑侦破案里面就可以得到一些应用。

4.未来的研究方向

一方面希望减少训练样本,因为我们不同模态数据很少,而且非常对齐不同模态数据少,这样我们尽可能希望将来用小样本甚至零样本来得到一个好的结果。

第二如果没有的话足够训练样本可以考虑无监督学习。

第三如何实现可信、可靠、可解释的模型,今年中国科协的十个科学前沿问题第二个就是如何实现可信、可靠、可解释人工智能的技术路线和方案。

(三)蒋朝辉教授:复杂工业环境下基于机器视觉的智能感知

机器视觉作为智能制造的眼睛,工业过程传感器或者视觉就是给工业过程加上一双智慧的眼,让工业的过程能够看得见、看得清、看得准,能调控的非常好。实际上在检测过程当当中仍然面临诸多问题。近日,中南大学蒋朝辉教授在“科创中国”产学研融合会议上围绕“复杂工业环境下基于机器视觉的智能感知”发表演讲。他指出,如何使机器视觉适应工业环境,有很多问题值得去探讨,突破视觉的技术,对于工业的绿色转型和低碳发展具有重要的意义。

1.复杂工业环境机器视觉智能感知面临的问题

蒋朝辉指出,首先是环境的问题,环境问题带来我们的一个挑战是信号获取或者数据获取困难,需要研制一些特有的设备和装备来克服恶劣环境,在光学结构优化或者一体化仪器设计、安装位置的布局或者优化有很多问题亟待研究。

此外从数据获取角度看,恶劣环境导致数据获取质量低,从低质量数据中获取有价值的信息,也是面临诸多挑战的。一是多源数据的融合,例如奖多个传感器融合起来,多个视频融合起来;二是图像在深度学习处理完之后,获得一些数据如何解析,要用到数据的支持。如何建立机理模型来精准表达这个过程,已成为智能机器视觉领域研究的前沿方向。

2.典型应用案例

在烧结工况识别方面,烧结过程指铁矿石品位比较低,把低品位矿石变成高品位矿石的过程,工况直接决定这个过程的能耗和质量。识别思路是图象+数据+知识进行识别,但也存在一些挑战性问题。蒋朝辉介绍,第一如何获取工况的图像信息,团队研制了一个设备,就是双通道的高动态工业成像仪来获取机尾图像,一个是可见光,一个是红外的,两个一体的,并进行冷却方式的设计和保护措施的设计。第二是图像获取,在仪器获取图像基础上,对视频图像进行处理,这也是很难的挑战,所以也有一些基于图像分析快速高效识别方法。

在上料粒径检测方面,蒋朝辉介绍到,主要围绕三个挑战性问题,一是物料条件,二是纹理干扰,三是粒径分布缺失。为了解决这三个问题,第一构建了RGB-Laser视频图象采集系统,构建分割数据集,丰富了输入的信息量,保证了上料皮带上炉原料实时信息的有效性和完整性。第二提出了RGB-Laser特征融合的语义分割方法,高效融合了RGB与激光特征。第三基于边缘颗粒识别投影粒径分布计算模型,实现了粒径分布的高精度计算和精细化表征,还开发了粒径智能感算一体化平台,利用数字孪生系统,提供一个虚实交互的应用场景。数字孪生系统解决了上料过程当中粒径分布无法在线准确获取的商业痛点。

在料面三维形貌智能感知方面,面临三大挑战性问题。第一如何获取料面,第二如何处理低质量的图像来获得有价值的信息,第三有了图像之后如何实现料面的三维数字化重建。、蒋朝辉介绍到团队研制的仪器,满足特定的环境。研制了一种内窥探式光学立体成像新思路,深入炉顶腹地,近距离感知高炉料面三维形貌。在看得清的基础上,确保看得准。这个准包括深度信息准,料的高度信息准。具体实现是把数字化三维重建,基于结构化点云做,利用机械探尺的数据我们进行画等高线。

3.关于工业领域机器视觉技术的思考

蒋朝辉说,“工业领域机器视觉技术带来新的机遇,但是复杂恶劣工业环境也对机器视觉提出了更高的要求,你得适应现场恶劣环境这个特点”,对于图像获取、数据解析各步骤相互分割独立的传统机器视觉难以在复杂环境里面取得很好效果。蒋朝辉提到自己所在团队,一直致力于复杂工业环境下面向视觉任务的全流程协同机器视觉智能感知技术,主要从场景环境智能感知、自动感知,适应这个场景,适应这个环境,如何去设计成像系统,有了成像系统之后获得高质量的图像之后,如何进行图像处理。获得图像处理之后,如何来进行视觉解析,参数检测、状态监测、目标识别、故障诊断。最后是实现对视觉智能感知技术控制理论、自动化技术带来一些新的机遇。

(四)谢剑斌教授:机器视觉在安全生产中的应用

安全生产是一个跟我们生活息息相关的大问题,是异常事件,是小概率事件,但是它一旦发生产生的灾难是毁灭性的,甚至有的是在区域性对我们生活造成极大的伤害。

近日,谢剑斌教授在“科创中国”产学研融合会议上围绕“面向安全生产的机器视觉与危险预警”作出报告。他指出,机器视觉和安全生产的关系密切,乌克兰切尔诺贝利核泄露事故、美国的哥伦比亚航天飞机事故和宁波一个日化厂安全事故都可以通过机器视觉来给予预警。并分析了机器视觉在安全生产中做的探索性研究和应用

1.机器视觉应用在身份认证

谢剑斌指出,一些重要的工作场所是必须要经过一定的身份认证之后这种工作人员才能进入,像中控室,一些重要的车间,还包括有一些容易出现静电的,有一些不能带打火机,不能抽烟,不能带手机等等,这些都可以通过机器视觉和人工智能结合起来,将有这些安排隐患的人排除在外,没有经过培训的不能进到这种安全生产场所。

谢剑斌介绍了团队在静脉识别、3D人脸识别,笔迹识别上进行的活体识别做的工作,通过活体的身份认证就可以实现多模式身份的认证方式。例取养老金,再也不用到社保机构识别认证,就可以通过远程的身份认证来实现严格的身份确认。并展示了团队当时做的一些样机,包括静脉,三维人脸笔迹的识别等,完成了很多行业标准、国家标准和应用。

2.机器视觉应用在设备监测

通过机器视觉,可以实现设备和人协作,有机协同。谢剑斌说,“有一些枯燥的、危险的、单调的或者一些危险场景的可以由机器人设备来完成。那么对设备的状态,它的监测就非常有意义。”对于工厂70%-80%的场地的机器设备,可以通过震动、声音、视频来对它的状态进行监测,因为视频是非接触式的,通过一些实践在道路监测、电力设备监控,包括设备运行状态等等,对它的过程包括它的参数进行远距离的非接触的监测,可以比较早期判断这个设备有可能什么时候发生异常。

3.机器视觉应用在在线巡查

通过机器视觉,可以实现对重要场所火灾监控,对烟和火的识别,可以及时对火情予以控制。实现对违规生产行为的识别,例如安全帽、安全背心,包括一些场所吊车是否有人的识别。实现对危险生产行为的识别,对于危险行为,可以通过视觉在线巡查能够提早进行预警,在发生灾难之前提示这些员工和管理人员。

4.机器视觉应用在救援指挥

谢剑斌指出,在发生一些生产事故之后,通过机器视觉可以更高效的来实施救援。对救援高度、坐标、距离、救援半径、救援面积、路径规划,由视觉来进行配合,进行分析。在地面很难把握全局的情况下,可以通过无人机获取一些视频来进行分析,来给出一些科学的救援方案。

5.机器视觉应用在事后核查

谢剑斌说,“往往一个灾难发生之后要把周围的很多摄像头一数据,包括现场救援的视频数据集中起来对它进行分析,那么完全靠人工作量是比较大的。”机器视觉对场景里面的视频,就能将发生事故重要的区域和目标提取出来。

(五)赵小伟博士:机器视觉赋能新制造

机器视觉在智能制造以及智能产品这个领域有非常多的落地案例。近日,三一重工股份有限公司总裁助理、盛景智能科技有限公司副总经理兼研究院院长赵小伟在“科创中国”产学研融合会议上围绕“机器视觉赋能新制造”作出报告。他以三一集团数字化转型背景讲起,讲述了支撑自动化转型从机器视觉角度来说,需要什么样的关键技术以及需要提供什么样的解决方案,并给出了智能制造场景下三一重工的一些实践案例。

1.三一数字化转型背景

赵小伟指出,三一是一家典型的工程机械行业的传统企业,也是这个行业的龙头企业。三一重工从目前像混凝土挖机,包括起重机这样的布局,这些年已经向建筑、新能源、重卡、环保应急进行扩展,并且产品布局也向电动化、智能化、智能制造拓展,也积极在推进国际化。新的战略是三一成为智能制造的先驱,为中国贡献一个世界级品牌。

2.机器视觉关键技术和解决方案

赵小伟介绍了三一的机器视觉关键技术主要体现在三个方向,一是本身智能传感设备,模拟了人的五觉,包括视觉、触觉、力觉、听觉、嗅觉。赵小伟说“目前我们主要聚焦在视觉传感器,2D传感器,3D结构光上面。”二是核心人工智能技术,包括像感知技术、认知技术、同时决策优化技术以及AIOT软件平台等偏软技术,同时承载这些软件技术需要相应的一些硬件在嵌入式它的算力单元,在生产线的线边侧AI控制器的硬件技术等。

在解决方案上,赵小伟介绍三一提供了围绕新装备、新制造、新商车、新能源提供了像360环视、BSD、DMS智能座舱和智能作业,包括智能运维等等一系列解决方案。基于边缘侧的能力,三一提供面向不同场景提供的能力,包括机器人自动化,视觉质检、座舱技术,智能作业以及预测性维护等解决方案。面向智能产品侧,三一提供了智能座舱、智能驾驶,起重机的智能作业综合等一系列解决方案。

3.智能制造实践案例

在实践案例中,赵小伟分享了三一在视觉引导上下料及测量、智能分拣和配盘、焊接自动化视觉引导系统、视觉引导高精度装配、视觉质检、智能视觉安全作业系统等方面的案例。其中视觉引导上下料及测量,融合2D与3D工件数据做的精准的物料识别和定位。赵小伟说“在工业场景有几个比较典型的有挑战的场景,就是我们高光的场景以及无序场景,在这里怎么能够做到精准的,尤其是无序场景怎么做到精准识别,对于高光场景如何用软件算法侧以及硬件相机侧联合优化,达到对于高光智能件的精确识别我们在这块也有比较深入的积累”。

(六)邓文平博士:视比特3D视觉在大工业场景下的燎原之势

我们国家从2011年开始就已经是全球第一大工业国,我们拥有世界门类最齐全的工业体系,但是“大”和“强”之间并不能划等号。当前中国在一些核心工业软件领域它的市场份额在高端里面都还是被国外一些高端企业所垄断。近日,湖南视比特机器人有限公司董事长兼CEO邓文平在“科创中国”产学研融合会议上围绕“视比特3D视觉在大工业场景下的燎原之势”作出报告。他结合国内的大工业场景,介绍了视比特的技术和产品体系聚焦在软件定义工业智能,涵盖核心AI算法,包括2D视觉、3D视觉、机器人控制以及系统软件。

1.视比特在重工/工程机械行业打响的智能化第一枪

邓文平通过场景的分享,介绍了视比特在3D视觉算法上的突破。首先是弱特征钢板切割件高精度识别可定位。由于钢板存在生锈或者是划痕,通过激光切割机切割时切缝实际只有0.2毫米,人眼无法辨别。视比特采用点云图上跨模态融合特征增强,通过2D、3D视觉融合,解决了光照条件复杂的切缝特征微弱和工件位移变形等挑战情形下,对零件进行高精度的识别定位问题。

然后是海量工件小样本的细粒度识别,在生产环境下,零件数量SKU品类成千上万,那么在生产环境无法预先把零件的CAD、图纸提前送去训练,生产过程中产品上线就要做识别分拣,视比特采用了海量的目标增量式识别,视觉注意力引导工件细粒度分类,通过对比学习和小样本分类,解决了种类繁多、差异度小和样本不足的一些难题。

最后是超大视场下工件精准识别与定位。邓文平指出,在重工行业的零件,它的尺寸是10米甚至更大,那么一个相机或者两个相机无法把整个零件的范围覆盖。视比特采用了多相机高精度图像拼接、超大图像多尺度目标检测以及可形变的这种模板匹配,解决尺寸跨度大、定位精度低的难题。

2.视比特在新能源汽车质检的第一枪

邓文平介绍了2D相机做三维测量,保证了工件成百上千个特征点,每一个特征点同时至少拥有2个2D相机从不同的位置对它进行拍照,解决了统一到同一个坐标系上面,即多目联合标定问题。做到了0.05个象素级的标定误差,这在国内国际首创。另外是大尺寸工件特征精确的检测与定位,通过自适应优化的多功能成像,深度特征的学习匹配,亚像素匹配优化,解决这种特征成像难、特征类型多,以及特征定位难的问题。

3.视比特未来在3D视觉和工业智能方向的深度布局

视比特打造了坤吾低代码开发平台,这个平台它中间是一个3D数字孪生引擎,下面是一个硬件虚拟化,上面是AI算法与微服务仓库。硬件抽象就像操作系统一样,把整个智能产线底层硬件全部打通,所有硬件接进来即插即用这就是这个行业的第一步革命。第二步是把AI算法流程切成最小单元,把它最小单元化,形成一个最原始能力的服务单元,通过标准的软件接口。邓文平说,“我认为这是软件的一大革命,是我们在工业软件这个赛道视比特做出的一点点真正意义上的贡献。”

视比特在数字孪生平台里面完成对相机仿真布局,测一个工件它的特征点分布,怎么以最小数量的相机来覆盖它是一个真正的多目标规划问题,通过孪生的平台仿真就知道多少相机能够最小满足。硬件代价最小且安装部署的时候轻量化。

(七)曾旭东:AI技术驱动行业创新

人类社会进入第四次工业革命,第四次工业革命是以人工智能为主导,也是新一轮科技革命和产业变革的核心驱动力量。从很多调研的材料显示,人工智能现在已经在各行各业都有广泛的渗透,并且已经在我们的经济生产活动各个环节当中都有或多或少的体现。近日,百度AI技术生态华南区域运营负责人曾旭东在“科创中国”产学研融合会议上围绕“AI技术驱动行业创新及百度实践案例分享”作出报告。他通过对人工智能产业发展及百度AI战略布局、百度飞桨机器视觉在赋能行业创新方面的应用,对建设技术生态支撑AI产业大发展进行了阐述。

1.人工智能产业发展及百度AI战略布局

曾旭东指出,人工智能包括三个大的方向,包括芯片、深度学习平台以及在我们学习平台上开发出来基于各个产业方面的应用。深度学习平台是一个共性平台,它往底层可以连接芯片,驱动我们算力,往上是连接产业当中的应用,通过应用来赋能千行百业来支持AI工业大生产。在平台建设这一块,百度公司也是有非常多的一些积累。曾旭东说,“我们也总结出了三大关键点:一是技术持续创新,二是功能体验以开发者需求为首位,三是持续与生态共享共创,共同来建设一个繁荣的AI产业生态。”

曾旭东回顾,百度的愿景是“用科技让复杂的世界更简单”,通过人工智能技术去解决复杂世界当中的复杂问题,让我们的世界更简单,是百度一直秉承的理念。百度AI技术布局包括从基础层、感知层、认知层到平台层一个全站式构建。在基础层百度有相应算力和大量数据集,另外打造了飞桨深度学习平台,通过感知和认知平台等几个层次的连通,为整个技术建设一个技术体系。从基础层、感知层、认知层、平台层当中,百度非常重视AI安全,把AI安全当做各层在建设能力时候一个首要的考虑。在这个技术的布局基础上,百度公司提供了多层次的产品和服务。

2.百度飞桨在赋能行业创新方面以及落地实践

曾旭东说,“百度飞桨在整个国际上来说是属于第一梯队的产品,是中国首个自主研发、功能开赴、开源开放产业级的深度学习平台,现在整个开发者规模是在全球居前三位”。百度飞桨以百度多年深度学习技术研究和业务应用为基础,集深度学习核心训练以及推理框架、基础模型库等打造的一个非常功能丰富的、开源开放产业级深度学习平台。

飞桨在机器视觉这一块有非常完善的开发套件,这个开发套件包括了模块化、配置化、模型压缩以及多端部署,从数据、模型、压缩、部署全链路的进行了一个相应套件的提供。案例包括了在智能工业质检方面,通过机器视觉技术在生产线上对生产过程当中零部件进行质量检测;在智慧城市行业方面,对于违规行为识别、社区人员管理、火灾应急处理,飞桨机器视觉给我们提供了大量的技术手段;飞桨还致力于芯片的适配,通过和国内外主流芯片进行相应的适配,打通国内外主流芯片的应用。

3.建设技术生态支撑AI产业大发展

曾旭东说,“飞桨生态是中国最大的AI技术生态,它凝聚了477万开发者,已经服务18万企业,创造56万模型。”此外,飞桨生态伙伴计划,包括技术伙伴、硬件合作伙伴、运营伙伴、开源共建伙伴,通过联合伙伴一起来共促产业变革。

曾旭东还介绍了百度举办的活动,聚焦当地产业集群发展重点,深度赋能企业智能化升级;重视人才培养,尤其是在企业人才培养我们支持企业人才梯队建设,并且推出产业AI人才培养体系;牵头人工智能产业应用赛道,在应用赛道当中发挥百度人工智能领域当中的领先带动作用;在全国各个主要重点城市打造飞桨人工智能产业赋能中心,给区域产业进行赋能,包括培养人才、生态共建,以产业赋能中心为抓手来建设区域的AI产业生态;集公司资源打造一个覆盖本科、硕士不同阶段的培养课程,来支持我们高校进行专业建设;常年致力于深度学习师资培训,帮助高校老师进行很好的教学。

(八)程建伟博士:基于领先视觉AI技术助力长沙智能制造产业新发展

在后疫情时代,工程机械和服务于基建这些相关的重卡行业或多或少都受到一些影响,在这个时间点,新能源化现在发展很快,同时跟它并行发展的就是智能化。近日,武汉极目智能技术有限公司创始人兼CEO程建伟在“科创中国”产学研融合会议上围绕“基于领先视觉AI技术助力长沙智能制造产业新发展”作出报告。他以AI技术赋能长沙数智化产业为切入点,讲述了极目智能视觉AI技术关于工程机械领域的解决方案。

1.AI视觉在工程机械和重卡里面核心价值

程建伟指出,AI视觉在工程机械和重卡里面核心价值在于,第一是安全管理,因为重卡和安全车辆在车辆风险这一块还是属于比较典型的有挑战的领域。第二我们通过AI技术把一些不安全行为和不安全状态等风险因素进行识别报警来提高产品平台的智能化水平。第三我们可以通过产业闭环,在有些工程机械场景可以更高效实现智能化减少人力成本。程建伟说,“我代表极目智能一直以来有一个观点,自动驾驶从喊得很热到现在遇到一些挑战和瓶颈,整体来讲我们觉得工程机械这个产业,特别是在智能化这一部分,我觉得是非常重要的,可以在自动驾驶领域实现率先落地的场景。”

2.极目视觉AI技术

程建伟从几个维度介绍了极目智能视觉AI技术,一是外围硬件从底层摄像头、雷达,到GPS、IMU。硬件平台有AI计算、以及控制单元。AI计算上端最应用层就是相神经网络算法,以及定位融合、决策规划算法,最后到实现整个车辆的控制执行。这里面贯穿上下的有公共安全、信息安全以及供应链,最后服务于应用场景上的高速自动驾驶、城市跟车辅助、自动刹车、自适应巡航这些相关功能。

程建伟具体展示了极目视觉的产品,包括自研的360度环境感知技术,目前已经部署在三一重卡和三一水泥搅拌车上;驾驶员疲劳检测,也比较广泛的应用在商用车和乘用车上;基于128激光雷达搭建的真值系统,通过激光雷达的真值特性,来实现多视角传感器的视觉信息真值采集以及处理。

3.极目智能驾驶解决方案

程建伟重点分析了起重机和混凝土搅拌车上智能驾驶的案例。包括起重机的不安全状态以及混凝土泵车相关安全检控。在起重机上分上车和下车,上车关注在道路上车辆安全性以及驾驶员是否疲劳,同时对周边环境进行监控。在起重机臂头上进行监控,并且做一个变焦跟踪,在卷扬系统里面也会进行缠绕钢丝的识别,对存在的风险进行有效的提醒,避免钢丝缠绕形成安全隐患。

混凝土搅拌车也是目前典型风险比较高的一类产品,混凝土搅拌车在买保险时很难买,就是因为它的安全性风险以及由此风险带来的财产损失比较大,我们给它配置的是ADAS摄像头,盲区摄象头以及360度环视,同时通过数据平台对它进行分级管理。

程建伟还介绍了泵车支腿360度环视,通过在支腿上各个摄象头数据传递到中控屏上,给驾驶者提供一个安全辅助。基于软硬件加算法一体化的能力,再加上响应能力,能够快速加速工程机械相关领域的智能化升级,产业的一个升级。

(九)周丰良:人工智能在医学显微镜检验自动化中的应用

显微镜检验是临床尿液、粪便和血液检验当中最基础的一个项目,但是长期以来显微镜检验依靠于人工。近日,爱威科技股份有限公司总经理周丰良在“科创中国”产学研融合会议上围绕“人工智能在医学显微镜检测自动化中的应用”作出报告。他从技术背景、基本原理和具体实现等方面,对显微镜的智能化方案进行了介绍。

1.智能显微镜检验系统基本原理

周丰良指出,智能显微镜检验系统它的基本原理主要就是用机器来代替人,具体来讲就是采用智能控制去代替人手,整个控制是自动实现,用机器视觉代替人的眼睛,用图像识别代替人脑,实现这个标本从样本进入,到分析,到检出,到最后检验报告输出的一个全过程自动化,这个全部由机器来实现。随着计算机技术和大数据人工智能发展,越来越倾向于采用人工智能方法来自动实现。

2.智能镜检系统的实现

周丰良从五个方面进行分享,一个是智能化标本前处理,二是智能显微镜图像采集,三是图像处理与智能识别,四是红细胞形态学分析,五是结果自动确认。未来在这个基础上面还可以建立标准化临床检验室,因为现在的检验,医院里面做尿检、粪检、妇科检验,标本要分送到不同设备上面去,未来可以把标本封闭起来以后,上面贴上病人信息,比方说这是什么样的标本,要做什么样的项目,这样就可以统一集中在检验科里面通过我们条码扫描系统以后能够自动识别你这个标本的一些基本信息,通过这个系统以后就能够知道你要做哪些检测项目,整个就可以做成完全封闭的。

3.应用案例和未来展望

周丰良介绍产品是自动显微镜检验,广东省某综合三甲医院引进了团队两套粪便仪,从引进之后主要的效果,一个就是虫卵检出率提高了2-3倍,它的效率大大提高,原来他们检验科有4名检验人员就降低到了2名,同时由于整个检测过程刚才讲是全封闭,人员不要去接触标本了,因此也保证了检验人员的生物安全。

周丰良说,“ 图像识别它是一个持续完善和改进的过程,应该来说永远它也达不到100%的准确率,所以后续我们主要从提高识别的准确率,把类别进行一个更加细的分型,提高识别的速度方面来进行鼓励,同时我们会把人工智能、机器视觉这些技术应用到更多的能够用显微镜检验的一些场景里面去。”

(来源:中国图象图形学学会)