LLM生成的控制信号

[a1wj1]

论文4.2中提到，LLM生成必要的控制信号，并预测给定指令是否完成。但是我在代码中的leaderboard/team_code/lmdriver_agent.py里面，看到好像只有使用预测的waypoints进行导航，而并没有用到LLM预测的控制信号。
请问可以帮忙解释一下论文中LLM和控制信号的关系和起到的作用吗？我一开始以为是LLM和其他模态输入之后直接生成控制信号控制车辆运动。

[deepcs233]

你好！

1. 目前release的lmdriver_agent.py在一个阶段内只会有一个instruction出现，所以预测给定指令是否完成这个feature没有使用。在同时给多条连续指令时，这个预测会被采用
2. 除了默认输入的instruction，之后每一帧输入的sensor data都会生成这一帧对应的控制信号，然后控制信号会控制车辆运动。下一帧同理。你的理解应该没问题

[a1wj1]

我理解的是，模型输出预测轨迹点，然后用pid进行控制，我看lmdriver_agent.py里面是不是没有同时给多条连续指令的情况？

[PhilWallace]

+1, 论文里是这么写的：“To get
the final control signal, which includes braking, throttling,
and steering, following LBC [4], we use two PID controllers
for latitudinal and longitudinal control to track the heading
and velocity of predicted waypoints respectively”

请问LLM的作用主要还是生成future waypoints，然后控制还是由PID做吗？

[a1wj1]

请问什么时候可以开源，LLM生成控制信号的lmdriver_agent.py，现在只看到是由pid控制的