자율주행 연구노트

[논문 리뷰] "DriveVLM: The Convergence of Autonomous Driving and Large Vision-Language Models"

VLM은 scene understanding과 planning을 hybrid stack에 어떻게 넣는가?본 포스팅은 DriveVLM: The Convergence of Autonomous Driving and Large Vision-Language Models 논문을 읽고 정리한 글입니다.DriveLM을 읽으면 VLM이 perception–prediction–planning reasoning을 Graph VQA로 구조화할 수 있다는 점을 봤다. GPT-Driver는 trajectory를 language modeling으로 바꾸는 방향을 보여줬다.DriveVLM은 그 사이에서 다른 질문을 던진다.VLM이 장면 이해(scene understanding) 와 계층적 planning 을 language CoT로..

LLM은 어떻게 물리 세계에 Grounding되는가?본 포스팅은 PaLM-E: An Embodied Multimodal Language Model 논문을 읽고 정리한 글입니다.RT-1과 RT-2를 읽고 나면 자연스럽게 다음 질문이 생깁니다.Vision-Language Model이 robot action을 출력하려면, 그 전에 language model은 물리 세계를 어떻게 이해해야 할까?RT-1은 대규모 robot demonstration을 이용해 real-world robot policy를 학습하는 방향을 보여줬고, RT-2는 web-scale vision-language knowledge를 robot action으로 transfer할 수 있다는 가능성을 보여줬습니다.그런데 RT-2를 제대로 이해하려면..

자율주행에서 VLM은 어떻게 Perception, Prediction, Planning을 연결하는가?본 포스팅은 DriveLM: Driving with Graph Visual Question Answering 논문을 읽고 정리한 글입니다.RT-1과 RT-2를 읽으면서 VLA의 기본 흐름을 먼저 봤다면, DriveLM은 그 흐름이 자율주행으로 넘어왔을 때 어떤 형태로 변형되는지를 보여주는 논문이라고 볼 수 있습니다.RT-2가 로봇 manipulation에서 Vision-Language Model을 action-generating policy로 확장하려 했다면, DriveLM은 자율주행에서 VLM이 driving scene을 어떻게 이해하고, object interaction을 어떻게 추론하며, planni..