(정리) Baidu Driving Dataset and End-to-End Reactive Control Mode

Kim Yaecheol
Jul 21, 2017 · 5 min read

2017 IEEE Inteligent Vehicle Symposium(IV)
End-to-end러닝 이용한 steering angle control쪽 논문

Abstract

Lateral Control은 CNN
Longitudinal control은 stacked convolutional LSTM 이용
10000 kilometers driving data for end-to-end 공개

Introduction

End-to-End autonomous driving기술은 기존 각각 파트를 나눠서 진행하는 traditional style과 다르게 인간이 이해할 수 없는 부분이 많고 실제 driving dataset이 부족하다. 현재 comma.ai, Udacity and Oxford등의 데이터셋이 공개되어있지만 모든 도로상황을 커버하기에는 부족하다.
이 논문에서는 CNN과 stacked convolutional LSTM을 이용해 주행각도와 속도를 각각 예측하였으며 추가로 10000km 상당의 Baidu Driving Dataset(BDD)를 소개하였다.

Baidu Driving Dataset

HD Data Collection Problem

  • 3 X Monocular Camer, 2448 X 2048 X , 8Hz, one head to front and two heads to sides
  • 1 X Lidar, 32 beams to reconstruct 3D environment
  • 1 X IMU, collect altitude

Data Preprocessing

  • ready-to-feed image size는 320x320x3이다
curvature’s formula
  • steering angle 대신에 Vehicle curvature을 사용했다
  • 이 식으로는 5m/s 이하일때 oscillation이 일어나기 대문에 (t-0.875, t+0.875)사이의 값들을 이용해 noise를 줄이게 된다
  • desicion-making delay of driver를 고려해 image_t와 curvature_t+0.125를 페어링하였다

Reactive Model

현재 기존 자율주행 알고리즘과의 비교점

Lateral Control

  • curvature는 steering angle보다 다양한 상황에 robust하고 universal하다. 예를들어, 높은 속도일 때 steering angle은 tire friction, steering ratio등 다양한 조건에 영향을 받아 차량마다 다른 각도를 조향하게 되는데 curvature을 사용하였을 때에는 차량이 쓰기에 훨신 robust하다.
  • Dave-2’s end-to-end steering model(NVIDIA)과 흡사하다.
  • 5 convolutional layers, 2 fully connected layers
  • input image: RGB format with 320 x 320 pixels, data normalized [-1, 1]
  • use LeakyReLU with alpha value 0.2, dropout, MSE
  • MSE를 사용하였기 때문에 작은 값에 영향을 많이 받게 하려고 value amplification을 사용하였고 5m/s보다 큰 데이터를 사용하였으며 optimizer로 rmsdrop을 이용하였다

Longitudinal Control

Architecture of longitudinal control model
  • 속도는 시간에서의 앞뒤 맥락과 주변 상황을 고려해야 하기 떄문에 Convolutional LSTM method를 사용하였다.
  • 8FPS 환경에서 last 5 frames를 input으로 넣었다.
  • LeakyReLU, MSE, rmsprop 사용

Results

  • 10000km dataset은 1.6TB인데 58GB test, 57GB valid data로 사용하였다
  • 동영상을 보면 길의 커브뿐만 아니라 vehicle 사이의 각도에 따라 조향각을 조절하는 것을 볼 수 있다. 하지만 lane changing이나 overtaking cases를 따라가진 못한다. 통계적으로 가장 많이 선택하는 action을 취하지 맥락을 이해하지는 못하는 것으로 보인다. so no further planning is made.
  • Longitudinal control은 맥락을 어느정도 이해하는 것으로 보임

End-to-End관련해서 관심이 있어 읽어봤는데 딱히 큰 breakthrough는 보이지 않고 새로운 dataset을 발표했다는 것에 있어서 의의가 있는듯. 횡방향 종방향 둘다 End-to-End로 발표한 것은 처음이라고함.

)
Welcome to a place where words matter. On Medium, smart voices and original ideas take center stage - with no ads in sight. Watch
Follow all the topics you care about, and we’ll deliver the best stories for you to your homepage and inbox. Explore
Get unlimited access to the best stories on Medium — and support writers while you’re at it. Just $5/month. Upgrade