靠着 Meta AI 的新技术,机器人也能有“触觉”了?

发布日期:2024-11-13 15:13

来源类型:小贤游戏酱 | 作者:金烔完

阅读提醒: 《Meta AI:赋予机器人“触觉”的创新力量》 一、Meta AI 与机器人触觉的邂逅 人工智能机器人在当今时代已不陌生,其拥有 “视觉” 和 “听觉” 早已屡见不鲜,这两...
【2024澳门天天六开彩直播】 【新澳免费资料】 【奥门123免费精准资料一大全】 【最精准免费资料大全】 【2024澳门天天六开】 【新奥彩资料免费最新版】 【新澳免费资料大全】 【2024新奥天天免费资料】 【新澳精准资料免费大全】 【二四六香港资料期期中准】 【新澳精准资料免费提供最新版】 【2024澳门天天六开好彩】 【2024年澳门天天开好彩最新版】

《Meta AI:赋予机器人“触觉”的创新力量》

一、Meta AI 与机器人触觉的邂逅

人工智能机器人在当今时代已不陌生,其拥有 “视觉” 和 “听觉” 早已屡见不鲜,这两种感官成为人类感知物理世界的重要渠道。然而,Meta AI 的基础人工智能研究团队(FAIR)近日公布的新技术,为机器人带来了全新的 “触觉”,这无疑是机器人发展历程中的重大突破。

Meta 的愿景是使 AI 能够 “更丰富地了解世界” 并 “更好地理解和模拟物理世界”。通过为机器人赋予触觉,Meta 让机器人在与世界互动的方式上更加多样化,使其在 “类人” 的道路上迈出了坚实的一步。

Meta 正在与美国传感器公司 GelSight 和韩国机器人公司 Wonik Robotics 合作,开发了一系列专注于触觉感知、机器人灵巧性和人机交互的新技术。这些新技术包括 Sparsh、Digit 360 和 Digit Plexus 三个研究工具,以及用于评估人机协作中的规划和推理的基准测试 PARTNR。

Sparsh 是第一个用于基于视觉的触觉感知的通用编码器模型,在包含 460000 多个触觉图像的大型数据集上进行预训练,让机器人通过看大量的图片和视频来自学如何 “感觉” 物体,无需人工为其 “感觉” 打标签。Digit 360 是人造手指形状的触觉传感器,配备超过 18 种传感功能,能检测小至 1 毫牛顿的力,还可感知振动、热量甚至气味,性能远超以前的传感器。Meta AI 团队还为 Digit 360 开发了宽视场的触摸感知专用光学系统,由超过 800 万个传感器单元组成,可捕捉指尖表面的全向变形,借助设备上的人工智能加速器,能快速处理信息,充当机器人的周围神经系统。Digit Plexus 则是一个标准化软硬件平台,允许将各种指尖和皮肤触觉传感器集成到机器人手中,实现无缝数据收集、控制和分析。PARTNR 是人机协作规划和推理任务基准,包含 100000 个自然语言任务,涵盖 60 栋房屋和 5800 多个独一无二的对象,旨在评估大型语言和视觉模型通过人机交互工具与人类协作的性能。

二、关键技术与工具

(一)Sparsh:基于视觉的触觉感知编码器

Sparsh 作为第一个用于基于视觉的触觉感知的通用编码器模型,通过自我监督学习实现了触觉感知的新突破。在传统方法中,需要为特定任务和传感器手工制作模型,将物体的触摸参数打包成感觉标签喂给机器人,这不仅麻烦,还需要大量的标签数据。而 Sparsh 利用自我监督学习,在一个包含 460000 多个触觉图像的大型数据集上进行预训练,让机器人像看大量的图片和视频一样,自主学习如何识别和处理物体,无需人工标注每个动作对应的标签。这样的方式使得机器人更容易在不同任务中使用不同的触觉传感器。

“Sparsh” 这个名字源自梵语,意为 “触摸或接触感官体验”,非常贴切地体现了它处理数字化触觉信号并实现触摸感知的功能特点。它就像是为机器人打开了一扇新的感知之门,让机器人能够更加智能地理解和处理周围的世界。

(二)Digit 360:高精度人造手指触觉传感器

Digit 360 是一款形状类似人类手指的高精度触觉传感器,配备超过 18 种传感功能。研究人员可以结合各种传感技术,或单独分析每个信号,深入了解每种模式。它能够检测空间细节的微小变化,甚至可以捕捉小至 1 毫牛顿的力。

Meta FAIR 团队为 Digit 360 开发了一种宽视场的触摸感知专用光学系统,该系统由超过 800 万个传感器单元组成,能够捕捉指尖表面的全向变形。每次 Digit 360 与物体接触时,都会产生独特的信号,这些信号由物体表面的机械特性、几何特性和化学特性产生。它可以感知振动、温度变化,甚至气味,性能明显优于以前的传感器。

除了提高机器人的灵巧性外,Digit 360 在医学和假肢、虚拟现实和远程呈现等领域都有广阔的应用前景。在医学领域,它可以帮助医生更准确地进行手术操作;在虚拟现实中,它可以让用户获得更加真实的触觉体验。

(三)Digit Plexus:标准化软硬件平台

Digit Plexus 是一个标准化软硬件平台,它的作用在于将各种指尖和皮肤触觉传感器集成到一个机器人手中,提高机器人的灵巧性和对物理世界的感知能力。

通过一根电缆将触觉数据编码并传输到主机计算机中,实现无缝数据收集、控制和分析。Plexus 系统的设计旨在简化机器人应用的开发,特别是对于那些需要精细触觉反馈的应用。开发者可以更容易地将触觉传感器技术集成到他们的机器人项目中,从而让机器人更加智能地与物理世界互动。

(四)PARTNR:人机协作基准测试

PARTNR 是一种人机协作规划和推理任务基准测试,它的目标是评估大型语言和视觉模型通过人机交互工具与人类协作的性能。PARTNR 包含 100000 个自然语言任务,涵盖 60 栋房屋和 5800 多个独一无二的对象。通过提供标准化基准和数据集,Meta 希望能使机器人的研究不仅能够独立运行,而且能够围绕人类运行,使它们更加高效、可靠,并且适应每个人的喜好。在家庭活动中的人机协作研究中,PARTNR 发挥着重要的作用,为未来的人机协作提供了有力的评估工具。

三、技术实现原理与应用前景

(一)技术实现原理

Meta AI 通过与美国传感器公司 GelSight 和韩国机器人公司 Wonik Robotics 合作,实现了机器人触觉技术的突破。其中,Sparsh 通过自我监督学习,在包含 460000 多个触觉图像的大型数据集上预训练,让机器人像看图片和视频一样自主学习如何 “感觉” 物体。Digit 360 则是通过配备超过 18 种传感功能,以及由超过 800 万个传感器单元组成的宽视场触摸感知专用光学系统,实现对触摸的高精度数字化,产生由物体表面机械、几何和化学特性产生的独特信号,从而提供丰富而详细的触觉数据。Digit Plexus 作为标准化软硬件平台,将各种指尖和皮肤触觉传感器集成到机器人手中,并通过电缆将触觉数据编码传输到主机计算机,实现无缝数据收集、控制和分析。PARTNR 则通过提供标准化基准和数据集,评估人机协作性能。

(二)应用前景

外科手术领域机器人触觉在外科手术中具有巨大的应用潜力。自带触觉反馈的机器人,如 HeroSurg,能够将触觉传递给主刀医生以及 3D 图像处理器,让医生更准确地判断手术刀的位置、感受到操作力度以及组织的软硬程度,从而提高手术的安全性和精准度。例如,在常见的微创手术中,由于切口小,医生操作难度大,而拥有触觉的机器人可以帮助医生更好地进行手术,特别是在缝合微小组织等精细操作中。Meta AI 的新技术让机器人对外界变化拥有远超人类的敏感度,配合高效的软硬件协作系统,在外科手术场景中大有用武之地。例如,在一些复杂的手术中,机器人可以感知微小的力变化,避免对脆弱组织造成过度损伤,提高手术的成功率。精密仪器制造领域在精密仪器制造中,对精度和操作的准确性要求极高。拥有触觉的机器人可以更好地感知和处理微小的零件,提高制造精度。例如,清华大学精密仪器系朱荣教授研究组研发的多功能感知触觉传感器,将多模感知原位集成,实现对触感、物感、温感等多种感知的高密度集成,应用于机器手抓握感知,实现了对抓握物品的形状、大小和材料等多属性识别,并成功应用于垃圾分类。Meta AI 的 Digit 360 触觉传感器性能明显优于以前的传感器,可以检测空间细节的微小变化,能够捕获小至 1 毫牛顿的力,并且包含多种传感模式,可以感知振动、热量甚至气味。在精密仪器制造中,这种高精度的触觉传感器可以帮助机器人更好地操作和组装微小零件,提高制造质量和效率。

总之,Meta AI 的新技术为机器人赋予了 “触觉”,这不仅是机器人发展的重大突破,也为外科手术、精密仪器制造等领域带来了广阔的应用前景。随着技术的不断发展和完善,相信拥有触觉的机器人将会在更多领域发挥重要作用。

【2024新澳门,今晚澳门正版资料免费大全】 【2024新奥正版资料免费提供】 【新2024年澳门天天开好彩】 【2024新澳门正版挂牌】 【2024新奥门正版资料大全视频】 【澳门六开彩天天免费资讯统计】 【7777788888王中王最新传真1028】 【2024澳门免费资料,正版资料】 【2o24年新澳正版资料大全视频】 【2024新澳免费资料大全】 【新澳资料免费大全】 【澳门六开奖结果2024开奖今晚】 【2024新奥精准资料免费大全078期】
【2023年最新资料免费大全】 【新奥最准免费资料大全】 【2024新澳资料大全免费】 【新澳资料正版免费资料】 【奧門資料大全免費資料】 【新奥门资料免费大全最新更新内容】 【626969澳彩资料大全24期】 【澳门天天开彩大全免费】 【六资料澳门免费】 【新奥2024年免费资料大全】 【2024澳门今晚开特马结果】 【新澳门免费原料网大全】 【新澳门天天开奖资料大全】 【新澳精准资料免费提供】

下载中心

视频封面

视频名称:《原神》角色散兵不招许多玩家待见的原因是什么?

大小: 2.3GB 下载:(791119) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:醉酒男子突然进店掐女店员脖子,店主全家反击制止网友:装疯卖傻

大小: 4.3GB 下载:(309528) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:太好了,是首部赛博古装轻喜剧《永夜星河》,长剧大盘有救了!

大小: 6.8GB 下载:(295712) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:校园农耕大丰收 劳动教育结硕果

大小: 2.4GB 下载:(722105) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:田野小说家和他的失败者之歌

大小: 2.5GB 下载:(561198) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:大模型催生算力需求爆发式增长!训推一体机将迎应用元年 多家上市公司已布局央视还有没有必要《星光大道》?

大小: 8.8GB 下载:(113925) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:侯佩岑自曝财务情况,黄圣依没有存款,明星夫妻财务谁说了算?过度医美有多可怕!杨紫寿星公头,张雨绮笑不出来,戚薇最可怕

大小: 3.1GB 下载:(57782) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:控制偶然——孙浩谈水墨创作

大小: 8.5GB 下载:(429819) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:TheShy犯病新高度,上单寒冰把诺手折磨疯,带个疾跑一起跑

大小: 7.7GB 下载:(777350) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:雪人究竟做错了什么?车主在车上堆雪人女子拍照后踢坏

大小: 5.2GB 下载:(172122) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:我国成功发射航天宏图PIESAT-2 01~04星3年前,宁夏7岁小女孩一笑走红,后拒百万签约,如今怎么样了?

大小: 5.1GB 下载:(271658) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:强势晋级决赛!郑钦文2-0完胜克雷吉茨科娃,已经狂揽1654万奖金

大小: 1.2GB 下载:(284092) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:养狗之后,生活中的4点改变,你信不信你的生活也变了?

大小: 5.5GB 下载:(992206) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:全国人大代表王树江建议:“三步走”推动国家公园立法

大小: 1.4GB 下载:(86438) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:欧洲人付钱,中国人建造,当然全归功于中国

大小: 4.5GB 下载:(494716) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:都说智能马桶真实用,来聊聊智能马桶的选购要点

大小: 4.5GB 下载:(622441) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:若不差钱,建议给家里备上这4件小家电,大大提高生活幸福感

大小: 2.3GB 下载:(464435) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:近年来力度最大的化债举措揭晓,将带来哪些影响?

大小: 4.5GB 下载:(574371) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:11月9日上市公司重要公告集锦:贵州茅台2024年中期分红拟每股派现2388元

大小: 4.3GB 下载:(496036) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:有哪些是你看过的,又觉得好看的动漫呢

大小: 5.1GB 下载:(727626) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:直击进博会|签约合作稳步扩展 跨国公司看好进博机遇

大小: 8.7GB 下载:(191407) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:两名小学生操场遭到女老师踢踹打头,校方回应老师无心的!

大小: 1.4GB 下载:(149645) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:厢遇寻搭帖丨在线等化妆、做饭、汉服、考研搭子磨砂膏大户私藏分享!个个都是心头爱!!

大小: 7.3GB 下载:(138613) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:“伤兵满营”!国足今晚飞迪拜,费南多突发状况缺席“生死战”

大小: 2.7GB 下载:(363001) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:常泰长江大桥钢桥面主体铺装完成,预计2025年上半年基本建成

大小: 4.7GB 下载:(724893) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:敢加税就敢撤资!欧盟投票结果已定,27国出现分歧,中方态度鲜明

大小: 7.2GB 下载:(737541) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:何超云晒消防员未婚夫,个子高长得老实,身份不匹配却被网友祝福54岁吴奇隆带5岁儿子,一天三顾冰淇淋店,超有爱老爸被笑隔代亲

大小: 3.6GB 下载:(501481) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:走读中国|“终于来到了‘最早的中国’”——外籍古典学家河南感受中华五千年文明3年前,宁夏7岁小女孩一笑走红,后拒百万签约,如今怎么样了?

大小: 4.9GB 下载:(26719) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:一盒药结算60次,用药品追溯码向骗保“亮剑” 新京报快评

大小: 4.6GB 下载:(336107) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:22岁女孩感冒后厌食暴瘦:生命的脆弱与拯救

大小: 5.3GB 下载:(429696) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:睡眠时间表出炉:3~65岁,睡多久、怎么睡,斯坦福教授告诉你农村生活家常菜,炒黄豆芽

大小: 4.4GB 下载:(368721) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)

评论

打开APP查看36条评论

吴静一

2秒前

每次 Digit 360 与物体接触时,都会产生独特的信号,这些信号由物体表面的机械特性、几何特性和化学特性产生。

李宝宝

8分钟前

这样的方式使得机器人更容易在不同任务中使用不同的触觉传感器。

杜若溪

9天前

Digit Plexus 则是一个标准化软硬件平台,允许将各种指尖和皮肤触觉传感器集成到机器人手中,实现无缝数据收集、控制和分析。

发表您的评论: