OSAM - 자율주행

본 포스팅은 국방부 오픈소스 아카데미에서 자율주행 강의를 듣고 참고하여 작성한 포스팅 입니다.

 

자율주행 단계

 

0단계 - 비자동화

--- ADAS 전방 충돌방지 보조, 차로 유지 기능

1단계 - 운전자 보조

2단계 - 부분 자동화(자동 주차 기능, Smart Summon(차가 내 앞으로))

--- 운전자가 시스템의 요청 시 운전함

3단계 - 조건부 자동화(그래도 자율 주행은 가능함. 비 정상적인 상황(골목길 등)에서 인간 개입)

* 테슬라의 자율주행은 핸들을 잡고 있어야 한다.

--- 운전자가 시스템에 개입하지 않음

4단계 - 고도 자동화

5단계 - 완전 자동화(시스템이 모든 도로와 조건에서 운전함)

 

자율주행차의 하드웨어 구성

 

Urban Challenge의 우승자 - Tartan Racing(2007) >> waymo(2020) 큰 구성은 똑같음

50만줄의 코드로 Perception, planning & control SW 구현

 

Perception에 사용되는 장비 

- Cameras

가시광선 영역의 이미지를 기록하는 장치

구성 요소

    - 렌즈 : 빛을 받아들이고 센서에 초점을 맞춰주는 역할

    - 조리개 : 센서에 들어오는 빛의 양을 조절하는 역할

    - 이미지 센서 : 빛 정보를 RGB의 디지털 데이터로 바꾸어주는 장치(CCD/CMOS 등)

Camera에서 받아온 visual image를 ML algorithm을 이용해 도로의 semantic 정보를 추출 

semantic - 코드 조각의 의미를 확인(목적이나 역할이 무엇일까?)

알고리즘의 발전으로 사진의 정보를 더 잘 분석할 수 있음.

 

- LiDARs

Laser를 분사하고, 물체에 반사되어 돌아온 파동을 분석하여 주변을 인식하는 시스템.

360도로 주변 환경을 인식할 수 있음

주변의 밝기에 영향을 받지 않음(밤/낮으로 사용 가능)

파장이 매우 짧아서 고해상도로 작은 물체까지 인식 가능

비용이 비싸다는 한계

 

- Radars (단점 보완을 위해 Camera와 함께 사용함)

1mm ~ 10,000km 파장 범위의 radio wave를 분사하여 되돌아오는 파형을 분석하여 주변 상황을 인식하는 시스템

radio wave는 흡수율이 낮아서 먼 거리에 있는 영역까지 인식 가능

주변 물체의 속도를 인식할 수 있음

비, 눈 등 기상 환경에서도 동작 가능

인식된 물체가 어떤 물체인지 구분이 불가능(점으로 물체가 있다는 것만 인지할 수 있음)

 

Tesla의 자동차는 

LiDAR를 사용하지 않고, Camera와 Radar만 사용(LiDAR는 고가의 장비라는걸 잊지 말자.)

범위가 다른 여러개의 카메라를 동시에 사용하여 정확도를 끌어올린다.

 

Ai service vs Autonomous Driving Vehicles

제공자가 가지고 있는 서버에서 정보를 끌어와도 되는 Ai service와 달리,

연속적으로 순간의 판단을 해야하는 자율 주행 차는 차 자체가 하나의 컴퓨터가 되어야 한다.

--> 따라서 칩이 중요하고, 이미지 처리를 주로 하므로 GPU와 NPU가 주가 되는 칩이 들어간다.

NPU - 행렬 연산과 같은 인공지능 연산에 최적화 되어 있음.(스스로 학습하고 판단하여 개선한다고 한다.)

Neural Processing Unit

 

이런 칩을 만드는 회사와 모델 예시

NVIDIA - Jetson AGX

Tesla - FSD Chip

Mobileye(intel 자회사) - EyeQ

 

자율 주행 기술의 주요 요소

 

Object Detection(물체의 위치를 표시해줄 좌표가 중요함)

COCO와 Pascal VOC dataset 등의 open dataset으로 model을 개발 / 성능 평가

COCO는 80가지의 class들이 있고, 80,000장의 학습 데이터, 40,000장의 테스트 셋이 있다.

 

Tesla는 모델 자체보다는 데이터 셋의 역할을 중요하게 보고 있는데, 

자동차 뒤에 자전거를 싣고 가는 경우 자전거를 레이블링할 필요가 없는 것 같이,

예상하지 못한 상황에 대비할 수 있음.

 

또한 여러가지 모델을 동시에 사용하여, 정확도를 높인다.

(바퀴만 따로, 뒷면만 따로 이런식으로.)

 

Computer Vision분야에서는 Segmentation에 집중하고 있다.

(레이블링된 물체의 외곽선을 따내는 기능으로, 도로 영역을 찾는데 주요 사용한다.)]

 

Stitching - 여러 대의 카메라 영상을 이어붙여 LiDAR와 같이 주변 환경을 하나의 공간으로 인식하게 하는 기술

(Stitching이라는 단어는 바느질, 꿰메다 라는 뜻을 가지고 있음.) 

 

Road User Semantics - 사람의 포즈(관절 위치등)를 해석하여 어떤 상황인지 분류한다.

 

지도의 역할도 매우 중요하다.(신호 정보등 다다익선)

Computer Vision 기술이 모자라도 지도 정보만으로도 자율 주행을 할 수는 있음.