(정리) End-to-End Learning for Lane Keeping of Self-Driving Cars

2017 IEEE Intelligent Vehicles Symposium(IV)
Zhilu Chen and Xinming Huang, Senior Member, IEEE
End-to-End for LKS

Kim Yaecheol
Jul 21, 2017 · 5 min read

Abstract

LKS를 End-to-End Learning을 이용해서 구현했고 CNN을 이용했다.
dataset은 comma.ai dataset을 사용하였다.

Introduction

End-to-End Learning을 이용하면 기존 traditional approach에 비해 less manual effort가 드는 장점이 있다. 이 논문은 self-driving car in lane하게 하는 것에 집중하였다.

Implementation Details

Data pre-processing

comma.ai dataset을 사용하였고 이 dataset은 11개의 video clip recorded at 20Hz으로 이루어져있고 총 7.25시간으로 이루어져있다. dataset에는 steering angle, speed, GPS data, 등이 있고 input frame size는 320 x 160 pixel이다. 이 논문 러닝에서는 image frame과 steering angle data만 사용하였다.
문제를 단순화하기 위해 driving at night인 데이터는 사용하지 않았고 normal speed가 아닌 데이터도 제외해서 총 7 video clip about 2.5 hours가 나왔다. 커브가 포함된 데이터가 많지 않아 다섯배로 늘렸다.

CNN implementation details

  • Euclidean loss
  • 특별한 것이 없음
  • dataset이 적고 CNN이 steering angle prediction에 적합하지 않다는 점을 계속 강조

Evaluation

(left) error plot (right) visualization of two convolutional layers

Discussion

Evaluation

evaluation metric으로 ground truth angle과 predict angle의 차이를 계산하는 것은 바람직하지 않다. 첫째로 human driver가 globally optimal한 경로로 가고있다고 장담할 수가 없다. 예를들면 같은 레인에서 쭉 달리고 있는데 oscillation이 일어나거나 다른 차선으로 이동하는 경우는 예측하기가 힘들다. 또한 comma.ai dataset에서 적절하지 않은 steering angle을 가지고 있는 경우를 많이 찾았다.
이 문제를 해결하려면 즉각적인 조향각에대한 피드백을 받을 수 있는 시뮬레이터가 필요하다. 현재 데이터셋에서는 지금 잘못된 조향각도를 예측해도 다음 상태가 어떻게 될 지 예상하기 힘들고 이 문제를 해결하면 게임내 환경같은 시뮬레이터가 필요하다. 하지만 여기에도 시뮬레이터 내에서 트레이닝했을때의 값이 real world에도 적용되는지에 대한 문제가 있다.
대체제로 가지고 있는 dataset을 이용해 3d image projection을 할 수 있다. 현재 이미지에 있는 정보를 이용해 다음 정보를 예측하면 그럴듯한 정보를 얻을 수 있을 것이다.

Data augmentation

적절한 data를 많이 확보하려면 CNN에서 잘못된 조향각을 예측해도 그 방향으로 차가 움직여서 얻을 수 있는 이미지를 피드백해주는 시스템을 만들어야 한다. comma.ai dataet은 original sized frame이나 camera calibration parameters를 제공하지 않아 할 수 없었다. 그래서 시뮬레이터나 data augmentation에 관한 내용이 논문에 없는 것이다. future work에 이 내용이 포함될 것이다.

Conclusions

center-camera로부터 이미지를 얻어 조향각을 얻는게 가능하다는 것을 보였다. 적당한 결과가 나왔다.


정말 조잡하고 변명덩어리인 논문이었다. CNN구조는 End-to-End driving을 제안한 NVIDIA 논문보다도 조잡하고 discussion에는 변명뿐이며 누구나 앉아서 할수있는 생각을 논문에 써놓고 그걸 못한 변명을 구구절절 늘어놓는다. IEEE senior member라 받아준건가…

)
Welcome to a place where words matter. On Medium, smart voices and original ideas take center stage - with no ads in sight. Watch
Follow all the topics you care about, and we’ll deliver the best stories for you to your homepage and inbox. Explore
Get unlimited access to the best stories on Medium — and support writers while you’re at it. Just $5/month. Upgrade