- 博客(327)
- 收藏
- 关注
RSS订阅原创 Science Advances 具有高灵敏度远程感知功能的多感受器皮肤
图6：展示了多感受器皮肤在远程感知和触觉感知中的应用。读后感这篇论文提出了一种基于多感受器皮肤的新型远程感知和触觉感知系统，结合了纳米材料的结构性掺杂和深度学习算法，突破了传统传感器在感知距离、灵敏度和功能上的限制。图5F通过对比不同通道的输入，展示了识别精度随着通道数量的增加而提升，图5G则展示了四通道输入下的混淆矩阵，表明系统最终实现了99.56%的分类准确率。图1A介绍了人类大脑功能区域的分布，图1B展示了鸭嘴兽通过双重感受器（机械感受器和电感受器）感知环境的原理，作为系统设计的仿生灵感。
2024-10-09 10:23:39
308
原创 剑桥Ð研究综述：NeRF在机器人技术中的应用
精准的三维环境表示一直是计算机视觉和机器人领域的一个长期目标。最近出现的神经隐式表示为该领域带来了革命性的创新，因为隐式表示能够实现多种功能。其中，神经辐射场（NeRF）由于其巨大的表征优势，如简化的数学模型、紧凑的环境存储和连续的场景表示，引发了一种趋势。除了计算机视觉，NeRF在机器人领域也显示出巨大的潜力。因此，本综述是为了全面了解机器人领域的NeRF。通过探索NeRF的优势和局限性，以及它目前的应用和未来的潜力，我们希望能阐明这一有前景的研究领域。从NeRF如何进入机器人领域的角度来看，我们的调查分
2024-10-08 11:25:38
537
原创 Nat. Commun.：飞秒激光书写受蚂蚁启发的可重构微型机器人集体
i 如果蚂蚁微型机器人的轴线与磁方向之间存在角度，则会在蚂蚁微型机器人上产生磁扭矩，从而引起蚂蚁微型机器人的旋转运动，以沿着磁场的方向排列。随着微纳制造技术和材料科学的快速发展，基于刺激响应材料的微型机器人得到了发展，它们表现出优异的响应变形特性、高度的环境适应性和强大的功能性。然而，从微型机器人的数量来看，当前的研究通常集中在单个可变形的微型机器人上。尽管可以可控地实现单个微型机器人的可逆、动态和快速的变形或运动，但是多个可变形微型机器人之间稳定、可逆的连接以形成集体以及它们的运动和应用尚未得到验证。
2024-10-07 19:47:17
925
原创 TPAMI 2024 多模态学习最新综述：普林斯顿大学、武汉大学等从数据视角解读多模态学习
在介绍了涉及其他模态的视觉和数据的各种判别性和生成性多模态应用之后，作者从技术设计和与数据属性的联系的角度重新审视和总结了现有的工作。此外，文中从表示学习和下游应用层面研究了多模态学习的现有文献，并根据它们与数据性质的技术联系进行了额外的比较，例如图像对象和文本描述之间的语义一致性以及节奏视频舞蹈动作和音乐节拍之间的对应关系。表2给出了生成任务中的评价指标。基于 GAN 的模型 与 VAE 类似，基于 GAN 的模型的训练不需要外部注释，只需要真实的原始数据，因此经常用于无监督或弱监督的环境中。
2024-10-06 19:38:48
1115
2
原创 CoRL 2024 麻省理工学院提出T3触觉Transformer，打破触觉感知的壁垒，重塑未来机器人
通过在FoTa数据集上进行预训练，T3具备了强大的泛化能力，我们可以通过少量领域的特定数据对其进行进一步的微调，并且其性能可随网络规模的增大而提高，如此便能够应对各种不同的感知需求。为了探究T3的优劣，我们训练和评估了3个策略：一个没有触觉输入的基础策略，一个由从头开始训练的神经网络编码的触觉输入策略，以及一个由T3编码的触觉输出策略。预训练的T3在许多任务上展现了显著的性能提升，特别是在复杂的长时间接触操作任务中，例如多引脚电子元件的插入任务，T3相较于传统方法提高了25%的任务成功率。
2024-10-04 20:43:40
949
原创 斯坦福团队用模仿学习赋予机器人新技能：系鞋带
研究人员给嵌入加了个位置嵌入，然后喂了一个8500万的Transformer编码器，之后用双向注意力进行解码，就得到了观察结果的潜在嵌入。目前研究团队已经开源了Aloha 2的所有硬件设计，并提供详细的教程和模拟模型，以便于研究人员和开发者进行大规模的双手操作研究。训练时，研究人员基于JAX框架，在64个TPUv5e上并行训练，批量大小256，总共进行了200万步的训练。除了系鞋带，视频中的Aloha 2机器人还会挂衣服、拧齿轮、收拾厨房，甚至是给“同事”换不同用途的配件。
2024-10-03 13:45:14
449
原创 Science Robotics 康奈尔大学用杏鲍菇控制机器人运动！
具体来说，他们设计了一个柔性多足步行机器人（也就是开头看到的“海星”），将菌丝体产生的电信号经过阈值检测等处理，转化为数字控制信号，通过Arduino单片机输出PWM波控制气动阀和直流电机。为了屏蔽外界电磁干扰，研究人员将装有菌丝体和电极的支架置于自制的法拉第笼内，以10S/s的采样率记录电信号，持续30余天。为了能用真菌产生的生物信号作为机器人的控制信号，研究人员开发了一种菌丝体电接口，可以进行长期稳定的生物电捕捉和记录。首先，作者将幅值小于5μV的信号作为噪声剔除，然后进行了平滑去噪和三阶多项式拟合。
2024-10-02 17:08:08
599
原创 Nature Machine Intelligence 基于强化学习的扑翼无人机机翼应变飞行控制
目前工作包括五个关键实验：用于提供状态信息的机翼应变传感器系统初步验证，在风变化的单自由度运动环境中的控制技术，在重力姿态调整的两自由度运动环境中的控制技术，在有风条件下的位置控制测试，以及在无风条件下，仅使用机翼应变传感器的精确飞行路径操纵的演示。在强化学习驱动的飞行控制器帮助下，已经成功地演示了仅使用机翼应变传感器，在各种环境中控制扑翼无人机。研发了可应用于扑翼无人机的“感知飞行”控制技术，利用施加在扑翼无人机机翼上的气动力，推导重要的飞行数据，如姿态和气流，而无需加速计和陀螺传感器。
2024-10-01 20:45:54
481
原创 《中国科学：信息科学》综述文章：大模型驱动的具身智能：发展与挑战
综述随后分析了现有研究之间存在的联系，并总结了目前大模型驱动的具身智能领域面临的挑战，包括大模型在特定具身场景中的适应问题、大模型策略和人类偏好的对齐问题、具身策略的跨域泛化问题、大模型驱动多智能体协作问题、具身智能在真实环境中所面临的挑战和大模型具身策略的决策实时性问题等。随后，从学习范式的角度将大模型驱动的具身智能算法概括了五大类并依次进行了详细阐述，分别是大模型驱动的环境感知、大模型驱动的任务规划、大模型驱动的基础策略、大模型驱动的奖励函数、大模型驱动的数据生成。表 3 大模型具身基础策略算法总结。
2024-09-30 15:47:33
556
原创 具身智能综述：鹏城实验室&中大调研近400篇文献，深度解析具身智能
具身智能是实现通用人工智能的必经之路，其核心是通过智能体与数字空间和物理世界的交互来完成复杂任务。近年来，多模态大模型和机器人技术得到了长足发展，具身智能成为全球科技和产业竞争的新焦点。然而，目前缺少一篇能够全面解析具身智能发展现状的综述。因此，鹏城实验室多智能体与具身智能研究所联合中山大学 HCP 实验室的研究人员，对具身智能的最新进展进行了全面解析，推出了多模态大模型时代的全球首篇具身智能综述。该综述调研了近 400 篇文献，从多个维度对具身智能的研究进行了全面解析。该综述首先介绍了一些具有代表性的具
2024-09-28 15:41:18
1298
原创 Soft Robotics 多模式抓取能力的变刚度软体手
材料方面采用柔性材料，结构上加入悬臂梁，并将其末端都集中在手掌的一个区域，只要将一个物体压入手掌，就可以实现手掌的被动弯曲，以此简轻机器人手的重量并保持手掌的形状合适。在此之外，由于LED和有机硅之间产生的空气界面而导致的不可预测的光热点和凝胶弹性体表面缺乏混合光梯度的问题，采用了易于使用和封装在硅胶中的商业柔性1.7 mm直径LED灯丝(Adacarp)，通过测试和比较，最终选用蓝色LED，将其集成到ROMEO手指和新型手掌中，并使用半透明的有机硅涂料。下图为硅酮浇注前将铝漆混合液空刷到模具上的步骤。
2024-09-26 09:06:55
631
原创 普渡大学和麻省理工学院合作开发集成视触觉指尖传感器的5自由度抓手
虽然机器人已经开始在现代制造业、医疗、服务业等领域进行渗透，但对于机器人尤其是机械臂的操作能力，仍然有很大的提升空间，传统多指机器人手虽然能够实现复杂的操作任务，但其高度冗余性也带来了不必要的复杂性。近日来自普渡大学和麻省理工学院的研究团队开发了一款配备触觉传感器的5自由度（DoF）触觉双指抓手，该设计能够简化的机械结构和增强的触觉感知能力，实现更高效、更精确的在手操作。例如，在抓取信用卡时，机器人可以通过触觉图像准确判断信用卡的姿态和位置信息，并据此调整抓手的操作策略以实现精确插入。
2024-09-25 09:01:16
804
原创 Nature子刊 | 通过眼动控制机器人的脑机接口
人机交互是一个快速发展的领域，机器人在我们的日常生活中发挥着越来越积极的作用。病人护理是机器人越来越多出现的领域之一，尤其是对残疾人来说。患有神经退行性疾病的人可能不会有意识或自愿地进行除眼睛或眼睑以外的运动。在这种情况下，脑机接口(BCI)系统提供了与外部世界通信或交互的另一种方式。为了改善残障人士的生活，本文提出了一种新的脑机接口，用于控制辅助机器人。
2024-09-24 09:44:52
733
原创 Science Robotic 内在触觉实现直观的物理人机交互
技术方案：使用了一种基于动量的监控方法，通过集成的力-扭矩传感器来估计外部作用力和扭矩。通过实验验证了该技术在不同机器人配置和用户视角下的有效性，实现了对数字和字母的高准确率识别。展示了所谓的“虚拟按钮”概念，允许用户在机器人表面任意位置创建可编程的交互按钮，用于触发预设的任务或功能。论文提出的技术为机器人与人类之间的直观、灵活的交互提供了新的可能性，并为未来人机协作领域开辟了新的研究方向。机器人可以识别字符并做出反应，例如在其表面绘制的数字，以及虚拟按钮或滑块，为用户提供了一种与机器人交互的直观方式。
2024-09-21 16:52:26
340
原创 Science Robotics 封面论文：受液滴表面张力启发的可变刚度变形轮
在液滴中，随着最外层液体分子的内聚力的增加，将液体分子向内拉的净力也增加。近期Science Robotics 发表的封面论文，Lee等人开发了一种刚度可调的轮子，可以实时改变，在平坦的地面上呈现出坚硬的圆形，在大障碍物上呈现出柔软的、可变形的形状。论文通过实验验证了所提出轮子设计的有效性，并展示了其在不同应用场景中的潜力，同时也指出了未来研究的方向，以进一步提高这种轮子的性能和应用范围。智能链结构：轮子的智能链结构由一系列链块组成，通过改变牵引线的张力，可以改变这些链块的紧密程度，从而改变轮子的刚度。
2024-09-20 13:37:55
532
原创 Science Robotics 在小动物模型中实现渐进和可逆主动脉收缩的软机器人平台
然而，这些研究未能同时控制疾病的进展和逆转，阻碍了其临床意义。在本研究中，研究人员介绍了如何利用软机器人技术克服了其他技术的缺点，开发高度可控的主动脉束带慢性小动物模型，并利用有创血液动力学监测来评估急性期心脏功能和 AS 的临床指标。与之前的研究不同，本文在一项慢性研究中使用磁共振成像（MRI）来观察主动脉束带造成的主动脉血流，并描述主动脉收缩的程度、心脏重塑和逆转。n.s.，无显著性。借助磁共振成像技术，他们展示了主动脉束带绑扎和束带松弛造成的压力过载引起的血流动力学变化，再现了心脏疾病的进展和逆转。
2024-09-12 15:27:22
1224
原创 Nature Communications 可远程操控食欲的口服软体机器人
结果显示，在摄入48小时后，七分之五的装置完好无损，证明了其在体内的稳定性和持久性。这种设备的设计克服了传统可摄入电刺激设备的一些限制，如电极与组织接触不良和电池寿命有限，为胃肠道疾病的治疗提供了新的可能性。IngRI的功耗（约为100mW）可以与最近发表在顶级期刊上的各式用于提供机电刺激的可吞服电子设备相媲美，例如STIMS（Science Advances，2020）、RoboCap（Science Robotics, 2023）、和FLASH（Science Robotics, 2023）。
2024-09-11 15:41:45
1336
原创 Nature Communications 多模触觉-视觉融合机器人：用于灵巧机器人做家务
值得注意的是，触觉传感器具有超灵敏(0.05 mm/s)和超快(4 ms)的滑动感知，这对于灵活可靠的抓取控制是必不可少的，以避免压碎易碎物体或掉落光滑的物体。一系列具有快速滑动反馈控制的智能抓取策略和触觉-视觉融合识别策略能确保机器人灵巧的抓取和准确识别日常物体，处理各种具有挑战性的任务，例如抓取装有液体的纸杯。然而，目前的感知技术仍然不能满足机器人在家庭任务/环境中的需求，特别是在多感官整合和融合、快速反应能力和高灵敏度感知方面面临着巨大的挑战。图5 基于触觉-视觉融合的物体分类和桌面清理识别策略。
2024-09-10 16:44:30
541
原创 Science Robotics 首尔国立大学研究团队推出BBEX外骨骼，实现多维力量支持！
使用BBEX后，在对称举重任务中，L5/S1关节的峰值压缩力在初始阶段降低了15.6%，中期降低了15.4%，末期降低了13.2%；具体数据显示，在对称举重任务中，使用BBEX与未使用时，LE的MDF分别降低了22.70%和27.56%，而在不对称举重任务中，MDF的降低分别为18.10%和30.56%。在举重时，这种机制可以提供有效的多维支持，减轻背部肌肉的力量需求，还能降低各种脊柱关节上的关节压力，特别是在那些背部肌肉力主要产生关节剪切力的情况下，辅助力能够有效减少这些力量的影响。
2024-09-08 10:19:50
1117
原创 IEEE TRO 人形机器人遥操作的综述
稳定器通常基于不同的稳定性标准，如零力矩点（ZMP）或动态捕获点（DCM），来评估机器人的稳定性，并相应地调整机器人的运动。全身控制层（Whole-Body Control Layer, WBC）：WBC通过优化问题来计算机器人的关节扭矩，同时考虑机器人的稳定性和任务执行的需求。这包括了对机器人全身运动的协调控制，以实现平衡和灵活性。重定向与规划（Retargeting and Planning）：在将用户的动作转换为机器人的动作时，需要考虑机器人的物理限制和环境条件，以避免导致不稳定或危险的动作。
2024-09-06 14:30:11
999
原创 重磅分享：视触觉传感器的硬件技术综述
清华大学孙富春教授团队联合大阪大学万伟伟教授团队和中国地质大学（北京）杨义勇教授团队，依托国家自然基金委和日本学术振兴会国际合作项目（中方项目负责人是清华大学孙富春教授，日方项目负责人是大阪大学万伟伟教授），在传感器领域Q1期刊IEEE Sensors Journal 发表综述“Hardware Technology of Vision-Based Tactile Sensor: A Review”，总结了近5年来视触觉传感器的硬件技术，包括硬件的类型、材料、制备工艺、性能以及集成技术。
2024-09-05 09:28:55
1177
原创 华南师范大学研究团队提出基于单一视触觉传感器的多模态触觉感知策略
这种策略不再需要为不同模式的触觉信息设计不同的光学结构，而是通过简单的反射层结合神经网络来同时感知多种触觉信息，从而降低了触觉系统的复杂性。然而，目前主流的视触觉传感系统通常采用孤立的光学设计策略和不同的数据处理方法以获取不同模式的触觉信息，这在系统集成方面引入了一定的局限性。基于视觉的触觉传感器通过捕捉接触引发的表面光学变化，实现了对物体触摸行为的精准检测。在系统的优化中，研究团队提出了一种基于成像分辨率的触觉分辨率测量方法用于优化对比不同视触觉传感器设计，最终实现了与人类触觉类似的微米级空间分辨率。
2024-09-04 15:05:56
627
原创 Nature Communications：解码人类触觉感知与运动神经控制机理，用仿生手重现类人触觉感知与抓握
研究还显示，该仿生手系统在触觉信号解码和神经运动控制上的表现与真实生物系统的误差低于10%，为未来仿生手和假肢手的开发提供了关键的数据支持。在本研究中，研究团队提出了一种创新性的方法，结合人体神经传导实验、人手数字孪生模型和神经动态模型，成功实现了对人手触觉感知信号和运动神经信号的预测和解码。例如，在对比实验中，我们的模型成功模拟了在与不同形状（如圆柱形和球形）物体接触时，神经信号的变化情况，并与真实的生物神经信号进行比较。此外，研究还发现，触觉信号的解码不仅与接触物体的形状有关，还与物体的大小密切相关。
2024-09-03 10:40:16
815
原创 DeepMind 机器人学习打乒乓球，朝着「专业运动员水平的速度和性能」发展
且由于内置的碰撞避免协议，机器人在处理非常低的球时存在问题，这些协议虽然对保护机器人的拍子至关重要，但也限制了机器人处理靠近桌面的球的能力；在泛化能力方面，机器人的表现依旧有限。虽然机器人在与最先进玩家的所有比赛中都“惨败”，但它赢得了与初学者的100%比赛和与中级玩家的55%比赛，充分展示了其拥有的乒乓球业余选手技能。这几天全球各界最火热的话题非奥运会莫属，而其中乒乓球比赛更是引起了互联网的讨论热潮，无论是欢呼也好、争议也罢，在现实世界人类的乒乓球大赛风生水起的同时，AI已经偷偷在乒乓球上“出师”了——
2024-09-01 08:51:25
1122
原创 IEEE TCDS论文分享：脑机接口融合增强现实技术的人机交互操作—“所见所想即所得”
每个刺激目标都以一个固定的频率闪烁，每个刺激目标的闪烁频率是不同的。此外，将物体的视觉信息与刺激目标相结合，建立了一个新的刺激界面，该刺激界面可以自动更新刺激目标与物体之间的映射关系，以适应工作空间中物体的变化。提出的基于AR的SSVEP-BCI系统使用户更自然地选择意图目标，并能在有限数量的刺激目标下抓取更多种类的不同物体，具有在复杂多变的场景下使用的潜力。所提出的SSVEP-BCI系统可以应用于复杂多变的场景，并且不局限于固定的对象类别和数量，因为融合的刺激界面可以自动更新物体与刺激目标的映射关系。
2024-08-29 09:59:37
1155
原创 突破复杂运动控制：自适应脑机接口实时神经反馈优化
这些挑战主要集中在BCI解码器的训练上，传统的解码器训练依赖于监督学习，需要明确的标签数据，这往往要求用户在受控环境中进行特定的动作。在两种BCI范式中，cMTP解码器的输出与控制解码器的输出结合，以创建训练数据。为评估该方法的效率，研究团队采用aaBCI框架（基于cMTP解码器输出的估算标签）训练的控制解码器，与基于监督学习（使用真实标签）训练的解码器进行比较。该aaBCI模块负责检测连续时间内的运动任务表现的神经相关性（cMTP），以及基于cMTP解码器的输出和控制解码器的输出估算控制解码器的标签。
2024-08-28 08:13:17
669
原创 加州大学圣地亚哥分校 沉浸式遥操作机器人系统
此外，低成本但高效的Eccentric Rotating Mass（ERM）执行器的使用，使得触觉反馈设备的实现更加经济实惠，进一步推动了该技术的普及和应用。为了探究触觉反馈装置对遥操作性能的实际影响，开发人员设计并实施了一项用户研究，并邀请了多位未经过专业培训的操作员参与，通过对比有无触觉反馈条件下的操作表现，研究人员发现触觉反馈显著提高了操作的成功率和效率。特别是在部分视线受阻的情况下，触觉反馈为操作员提供了额外的感知信息，帮助他们更准确地判断机器人与环境的交互状态，从而实现了更加精确和稳定的控制。
2024-08-24 20:57:36
942
1
原创 Science Robotics 与蜜蜂群互动的蜂窝型机器人系统
但这种方法并非没有挑战。因此，重要的设计目标包括需要对自然行为的最小干扰，对动物及其当地环境的鲁棒性，以及跨越感兴趣行为的时间尺度的可靠性。此外，蜜蜂通过吸热产生对低温做出反应，特别是在冬季集群行为中，当蜂群形成数千只蜜蜂的动态自我调节集合体时，其行为就像一个更大的生物体，在寒冷的气候中生存。研究者的目标是利用机器人的能力进行蜜蜂集体动力学的科学研究，特别是通过机器人交互，通过调节蜂巢内的局部热场来激发动物的反应。这里介绍的机器人系统具有集成到蜜蜂群体的能力，并有可能研究它们多样化的集体体温调节行为。
2024-08-21 19:48:09
616
原创 Science Robotics 受螳螂视觉启发的立体人工复眼技术及其边缘计算应用
近日Science Robotics发表了一篇关于《三维空间时空感知的立体人工复眼》文章，该人工复眼由弗吉尼亚大学工程与应用科学学院副教授Kyusang Lee及众多团队成员联合开发，通过与一些精妙的光电工程和创新的“边缘”计算（在捕获数据的传感器内或附近处理数据）相结合，克服了机器目前收集和处理现实世界视觉数据的方式中令人烦恼的限制。实时数据处理：通过集成在像素级的人工突触和本地处理器上的神经网络，系统能够在传感器内直接处理光学信息，减少了数据传输和存储的需求，从而实现了快速的实时响应。
2024-08-18 19:39:20
898
原创 Nature 子刊 | 一种新型基于瞬时穿梭的探针
完全溶解的PVA还有助于降低网状电极在大脑中的刚度，使得网状电极不会干扰神经元的再生，减少生物免疫反应的发生。为验证基于瞬时梭的探针在植入网状电极和撤回梭子过程中预防二次损伤的能力，研究人员比较了瞬时梭和非瞬时梭（基于SU-8）在植入和撤回过程中的摩擦力与剪切力。PVA的可溶解性既为电极的植入提供了所需的刚度，又通过刚度的调整实现了电极的长期植入，从而减少了植入过程中的组织损伤。基于瞬时穿梭的探针在PBS溶液中浸泡时，水分进入网状电极的空隙，促使网状电极与PVA穿梭器迅速溶解和分离，约需6分钟（见图2）。
2024-08-16 12:20:08
887
原创 Science Robotics封面 | 当机器人学会用‘快照‘导航，轻重量小内存实现‘长途跋涉‘
这些复杂的计算需要强大的处理器和大量的内存，远远超出了微型机器人的承载能力和能源预算。正如自然界中的小蚂蚁能够在广袤的沙漠中找到回家的路，这些微型"小飞侠"也可能在不久的将来，凭借着简单而高效的导航策略，在复杂的人类世界中自主高效地完成各类任务。特别是在一些GPS信号受限的场景，如密集的城市环境、洞穴等极端环境，或者GPS信号被干扰的情况下，这种自主导航能力将发挥巨大作用。同时，在一些需要快速部署的场景，如搜救行动，或者在温室、仓库等受控环境中，这种无需额外基础设施的导航方法也能大大降低成本和部署时间。
2024-08-15 14:03:03
838
3
原创 Science Robotics 受鳞片启发的可编程机器人结构，可同时进行形状变形和刚度变化
G至I分别展示了在鳞片数量从 1 个增加到 6 个、SAILS 的弹性模量从 10 MPa 到 1 GPa以及鳞片与底层之间的摩擦系数从 0 到 1三种情况下，SAILS 的归一化曲率与表观弯曲模量之间的权衡。为此，来自新加坡南洋理工大学的研究人员从覆盖在穿山甲和鱼类等生物身上的鳞片中汲取灵感，开发出一种机器人结构，其可以在高度集成的紧凑机体中同时改变硬度和形状。A展示了SAILS的灵感来源于穿山甲和鱼的自然鳞片，并展示了SAILS的表面图案。D展示了SAILS的变形和变刚度能力的实验验证。
2024-08-14 12:24:43
1179
原创 ICRA 2024：UC伯克利、斯坦福大学等共同开发机器人强化学习套件（SERL），20分钟学会装配电路板！
面对这一挑战，来自加州大学伯克利、斯坦福大学、华盛顿大学以及谷歌的学者们共同开发了名为高效机器人强化学习套件（SERL）的开源软件框架，致力于推动强化学习技术在实际机器人应用中的广泛使用。为了确保机器人可以在复杂的物理环境中安全精确地探索与操作，SERL 为 Franka 机械臂提供了特殊的阻抗控制器，在保证准确性的同时确保与外界物体接触后不产生过大的力矩。通过这些技术和方法的结合，SERL 大大缩短了训练时间，同时保持了高成功率和鲁棒性，使机器人能够在短时间内学习完成复杂任务，并在现实世界中有效应用。
2024-08-10 13:12:33
447
原创 集成视触觉传感器的机器人操作学习
如果能够在机械手末端加装传感器来获取更加丰富信息，这些信息可以丰富强化学习的信息量，并作为观察值（Observation）来对齐虚拟和现实，完成强化学习的迁移，提高整体模型的鲁棒性和一般性。其具有如下的优点，首先是数据依赖性低，强化学习通过与环境的交互来学习，减少了对标记数据的依赖性，可以大量的减少成本。另有研究者使用有限元（FEM）的方法来对视触觉传感器进行了仿真，通过视触觉传感器的标记点来对齐虚拟和现实的信息，完成了插拔刚体，钥匙开锁等刚性操作。这大大提高了仿真的难度，从而限制了其在强化学习的应用。
2024-08-09 09:54:20
906
原创 上翘机头设计确保了机器人在与杆子正面碰撞后，平稳从水平飞行状态重新调整为垂直飞行状态，进而用翅膀紧紧抱住杆子，实现稳定的栖息
前不久，来自瑞士洛桑联邦理工学院智能系统实验室、生物机器人实验室以及美国纽约州立大学石溪分校Soft Flyers小组的研究人员，受动物和蝙蝠肢体在抓握和栖息树木方面的适应性启发，精心设计了一种两用机翼，这种机翼不仅在空中滑翔时表现出色，还可使有翼机器人能够依靠被动机翼变形，在树木、建筑脚手架、电塔、路灯、电线杆等多种类型的垂直杆上实现紧急降落。相反，它巧妙地选择了利用现有无人机元素的双重用途策略，其中就包括使用前肢（即翅膀）紧紧抱住杆子，并保持重心靠近杆子，以最小化后仰效应，确保了栖息的稳定性。
2024-08-07 14:50:32
848
原创 Science Robotics 封面论文：美国宇航局喷气推进实验室开发了自主蛇形机器人，用于冰雪世界探索
各种各样的测试地形配置凸显了机器人的适应性，这是通过基于螺杆和形状的运动相结合实现的。基于螺钉的运动允许对领导者-跟随者步态进行闭环路径跟踪，并且基于形状的运动被证明是一种有用的策略，可以使机器人摆脱可能意味着传统移动系统（如漫游车）终结的情况。此外，当螺旋运动被证明不太可靠时，基于形状的运动被证明是一种有效的导航松散地形的方法，例如粉雪或细沙。形状和螺钉控制包括一组控制器，这些控制器接收所需的路径、所需的控制器和偏差信息，并输出所需的接头角度和螺钉速度。不同的步态需要不同的控制方案。
2024-08-05 16:35:28
450
原创 RSS 2024 清华大学交叉院高阳提出高效的机器人操作技能学习方法
ATM首先在视频数据上预训练一个语言条件轨迹预测模型，以预测视频帧内任意点的未来轨迹，而后，ATM框架通过利用视频中的轨迹信息，引导机器人学会执行一系列复杂的操作和任务，包括空间推理、物体操作、目标理解、长时视野规划以及跨形态和跨域的技能迁移。在视频中可以看到，借助ATM框架的强大助力，机器人仅需通过观察人类执行如叠衣服、将番茄放入盘子、用刷子整理玩具等无动作标签的视频数据集，学习其中任意2D点的轨迹建议，便能实现样本高效的策略学习，并具备跨具体任务的迁移能力，从而完美复刻人类的复杂动作！
2024-08-04 16:03:34
1157
原创 ICML 2024：从历史数据中挖掘最优策略，高效完成50+任务，“离线策略提升的在线演员-评论家”研究工作
其实验结果如下图所示。由于两个智能体共享了由SAC策略探索的数据并存放在SAC缓冲区中，与SAC策略相比，并发训练的IQL策略能够在数据不断增长的情况下自动辨识出性能更优的策略，即随着数据的增多与覆盖度提升，这样的方式能够更好地利用已收集的数据，获得更佳的策略性能。在6个任务类的53个任务中，包含了多关节运动控制、机械臂操作任务、复杂肌肉控制等，该方法超越了经典的非策略无模型强化学习方法，并与基于模型的强化学习方法具有相当的采样效率和性能，而训练耗时降低了5倍，参数量降低了2倍，显著提升了训练效率。
2024-08-03 09:55:55
512
原创 布里斯托大学与比萨大学联合研发拟人化机械手，可模仿人类手势实现自适应抓握！
此外，该手的总长度为200毫米，掌宽为90毫米，从掌心到后盖的长度仅为26毫米，这样的尺寸设计使得其在实际应用中更加灵活便捷。在开环控制策略下，他们通过观察不同手指在相同电机输入下的手势，评估了不同拮抗肌腱布局对手指手势的影响，并展示了Tactile SoftHand-A对物体形状的适应性和执行各种抓握手势的能力。Tactile SoftHand-A在BPI-SoftHand的基础上实现了重大突破，其采用了具有主动拮抗作用的新型D型手指，并结合了改进的双层手掌设计，使得驱动和拮抗肌腱的布线更加优化。
2024-08-02 10:22:23
531
原创 斯坦福大学机器人自主导航的基础模型——Mobility VLA
最终的路线大约16分钟长（每秒1帧，共948帧），并且在路线中添加了「每个人的临时办公桌」和「Lewis的办公桌」的叙述，分别在5:28和7:14帧，以实现个性化导航。包括：20条无须推理的指令（RF），15条需要推理的指令（RR），12条关于小物件的指令（SO），以及10条多模态指令（MM）。图3展示了，在给出「我想要更多这个」的多模态指令和桌子上几个可乐罐的图片时，Mobility VLA能够正确识别出包含冰箱的帧，并引导用户前往。在响应基本相同但来自不同用户的指令时，它能够正确地导航到不同的位置。
2024-08-01 15:03:21
703
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人