(정리) Baidu Driving Dataset and End-to-End Reactive Control Mode
Jul 21, 2017 · 5 min read
2017 IEEE Inteligent Vehicle Symposium(IV)
End-to-end러닝 이용한 steering angle control쪽 논문
Abstract
Lateral Control은 CNN
Longitudinal control은 stacked convolutional LSTM 이용
10000 kilometers driving data for end-to-end 공개
Introduction
End-to-End autonomous driving기술은 기존 각각 파트를 나눠서 진행하는 traditional style과 다르게 인간이 이해할 수 없는 부분이 많고 실제 driving dataset이 부족하다. 현재 comma.ai, Udacity and Oxford등의 데이터셋이 공개되어있지만 모든 도로상황을 커버하기에는 부족하다.
이 논문에서는 CNN과 stacked convolutional LSTM을 이용해 주행각도와 속도를 각각 예측하였으며 추가로 10000km 상당의 Baidu Driving Dataset(BDD)를 소개하였다.
Baidu Driving Dataset
HD Data Collection Problem
- 3 X Monocular Camer, 2448 X 2048 X , 8Hz, one head to front and two heads to sides
- 1 X Lidar, 32 beams to reconstruct 3D environment
- 1 X IMU, collect altitude
Data Preprocessing
- ready-to-feed image size는 320x320x3이다

- steering angle 대신에 Vehicle curvature을 사용했다
- 이 식으로는 5m/s 이하일때 oscillation이 일어나기 대문에 (t-0.875, t+0.875)사이의 값들을 이용해 noise를 줄이게 된다
- desicion-making delay of driver를 고려해 image_t와 curvature_t+0.125를 페어링하였다
Reactive Model

Lateral Control
- curvature는 steering angle보다 다양한 상황에 robust하고 universal하다. 예를들어, 높은 속도일 때 steering angle은 tire friction, steering ratio등 다양한 조건에 영향을 받아 차량마다 다른 각도를 조향하게 되는데 curvature을 사용하였을 때에는 차량이 쓰기에 훨신 robust하다.
- Dave-2’s end-to-end steering model(NVIDIA)과 흡사하다.
- 5 convolutional layers, 2 fully connected layers
- input image: RGB format with 320 x 320 pixels, data normalized [-1, 1]
- use LeakyReLU with alpha value 0.2, dropout, MSE
- MSE를 사용하였기 때문에 작은 값에 영향을 많이 받게 하려고 value amplification을 사용하였고 5m/s보다 큰 데이터를 사용하였으며 optimizer로 rmsdrop을 이용하였다
Longitudinal Control

- 속도는 시간에서의 앞뒤 맥락과 주변 상황을 고려해야 하기 떄문에 Convolutional LSTM method를 사용하였다.
- 8FPS 환경에서 last 5 frames를 input으로 넣었다.
- LeakyReLU, MSE, rmsprop 사용
Results
- 10000km dataset은 1.6TB인데 58GB test, 57GB valid data로 사용하였다
- 동영상을 보면 길의 커브뿐만 아니라 vehicle 사이의 각도에 따라 조향각을 조절하는 것을 볼 수 있다. 하지만 lane changing이나 overtaking cases를 따라가진 못한다. 통계적으로 가장 많이 선택하는 action을 취하지 맥락을 이해하지는 못하는 것으로 보인다. so no further planning is made.
- Longitudinal control은 맥락을 어느정도 이해하는 것으로 보임


End-to-End관련해서 관심이 있어 읽어봤는데 딱히 큰 breakthrough는 보이지 않고 새로운 dataset을 발표했다는 것에 있어서 의의가 있는듯. 횡방향 종방향 둘다 End-to-End로 발표한 것은 처음이라고함.