Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

About how to get multi-person 2D pose estimation accuracy rating #67

Open
zhanghongyong123456 opened this issue Aug 4, 2021 · 14 comments

Comments

@zhanghongyong123456
Copy link

How can 2-D pose estimation be realized in real time,Whether to use Openpose(https://github.com/CMU-Perceptual-Computing-Lab/openpose),Or any other way,I found this when I was testing
image

What measures do I need to take to prevent this from happening,Looking forward to your reply

@Arthur151
Copy link
Owner

您可以用中文描述问题

@zhanghongyong123456
Copy link
Author

您可以用中文描述问题
不好意思,英文不太擅长,没有表达清楚,
您好,我想请问一下,
1.对于人体的二维姿态估计是如何实现实时的,是否使用openpose官方实现的,或者是其他方法,
2.我在测试一个视频时候,出现了上图的两种情况,
<1>.姿态估计手臂不在正确的位置,
<2>.在视频中有些帧丢失了目标,例如坐椅子的人没有得到三维人体。
这个有什么提高或者解决的办法吗,期待您的回复

@Arthur151
Copy link
Owner

ROMP同时估计了3D人体网格和相机参数,从3D人体网格,我们可以回归出3D pose,也就是三维骨架,然后利用估计的相机参数,将三维骨架投影回图片中,就可以获得2D姿态了。ROMP就是要恢复图片中人体的大部分信息,可以说2D姿态是ROMP的副产物。
对于漏检,可以考虑适当降低lib/config.py中的centermap_conf_thresh, 比如降到0.1.

@zhanghongyong123456
Copy link
Author

ROMP同时估计了3D人体网格和相机参数,从3D人体网格,我们可以回归出3D pose,也就是三维骨架,然后利用估计的相机参数,将三维骨架投影回图片中,就可以获得2D姿态了。ROMP就是要恢复图片中人体的大部分信息,可以说2D姿态是ROMP的副产物。
对于漏检,可以考虑适当降低lib/config.py中的centermap_conf_thresh, 比如降到0.1.

哦哦,>我以为您的项目和这个项目(https://github.com/zju3dv/EasyMocap)思路一样呢,用二维姿态去估计三维姿态的,您的项目是直接得到三维姿态(不需要不借助二维姿态实现),对于二维姿态仅仅是顺带实现,是这样吗?

对于漏检我尝试修改一下配置。
对于rtsp:https://admin:[email protected]:554Streaming/Channels/101"视频流如何修改配置,我修改了video.yml中input_video_path,发现没有实现视频流读取。通常我在python中使用这个可以读取视频流cap = cv2.VideoCapture("rtsp:https://admin:[email protected]:554Streaming/Channels/101"),咱们项目是如何实现视频读取的。
我能问一下,对于多人的实时3D估计大概什么时候发布
再次感谢您的项目,期待您的回复

@Arthur151
Copy link
Owner

Arthur151 commented Aug 4, 2021

二维姿态只是估计了图片中三维人体信息和相机信息的副产物。
您的这个是网络摄像头吧,我猜?网络摄像头的用法请参见
多人的版本很快就发布了。当前开源的版本主要是卡在可视化速度上,无需可视化的话已经实时了。后面的开源的只是优化了可视化的速度,模型没变

@zhanghongyong123456
Copy link
Author

二维姿态只是估计了图片中三维人体信息和相机信息的副产物。
您的这个是网络摄像头吧,我猜?网络摄像头的用法请参见

是的是的,是网络摄像头,
我设置了centermap_conf_thresh = 0.1 仍然有失帧现象,并且在空白地方出现小的三维人体,这正常吗
image
image

@Arthur151
Copy link
Owner

我试着在后面的模型里优化这些问题吧。目前第一版模型只能做到这个程度了。

@zhanghongyong123456
Copy link
Author

我试着在后面的模型里优化这些问题吧。目前第一版模型只能做到这个程度了。

嗯嗯,好的,期待您的更新,
请教您一个其他的问题,有没有二维姿态估计实时的实现,类似于openpose 基于tensorRT 加持的实现,我使用官方的openpose 进行估计只能得到10fps,达不到实时。

@Arthur151
Copy link
Owner

@Arthur151
Copy link
Owner

Arthur151 commented Aug 4, 2021

抱歉,这方面不太清楚。我觉得各个方法都有自己的优势,AlphaPose挺不错的,使用很方便。

@zhanghongyong123456
Copy link
Author

抱歉,这方面不太清楚。

嗯嗯,感谢您的及时回复,嗯嗯,我的口误,我去试试,期待您项目的后续更新。

@zhanghongyong123456
Copy link
Author

。而且最好不要这么评价人家辛苦开
我删除了那个评论,对于这方面我也没有实际测试过,只是道听途说说,所以你说的对,我没有资格作出任何评价,同时也感谢开源的大神们.

@Arthur151
Copy link
Owner

客气了,我也是学习前人开源项目慢慢研究的,国内的开源氛围很不错,期待你的开源工作。

@zhanghongyong123456
Copy link
Author

客气了,我也是学习前人开源项目慢慢研究的,国内的开源氛围很不错,期待你的开源工作。

跟随大佬的脚步,期待未来也能为开源出一份力

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants