카메라 하나와, 말하기까지 필요한 모든 것.

눈높이의 USB 카메라가 Hailo-8 가속기로 프레임을 보냅니다. 받아들인 프레임마다 컴파일된 세 모델이 돕니다. 하나는 흰 선을 분할하고, 하나는 앞의 사람을 검출하고, 하나는 같은 프레임에서 깊이를 추정합니다. 깊이 센서도, LiDAR도, 두 번째 카메라도 없습니다. 깊이는 하나의 RGB 카메라에서 얻으므로 기기를 저렴하게 유지합니다.

프레임은 '최신 우선'으로 처리합니다. 추론이 늦어지면 오래된 프레임은 큐에 쌓지 않고 버립니다. 지나간 영상으로 안내하느니 침묵하는 편이 낫기 때문입니다.

마스크와 상자는 아직 안내가 아닙니다. 기하 정보로 바뀌어야 합니다. 레인의 방향, 그 안의 내 위치, 굽은 정도, 그리고 앞의 사람이 충분히 가까운지.

float32 그대로는 Raspberry Pi에서 실시간 프레임률을 낼 수 없었습니다. 그래서 모델을 Hailo 가속기용으로 컴파일합니다. 내부 표현으로 변환하고, 프로파일링하고, 실제 트랙 이미지로 보정하며 양자화한 뒤, 부팅 때 불러오는 실행 파일로 만듭니다.

러너의 시점에서 본 인도네시아 트랙 공개 데이터셋은 없습니다. 그래서 직접 만들었습니다. 파트리오트 찬드라바가를 비롯한 공공 트랙에서, 눈높이로, 앞에 사람이 있을 때와 없을 때 모두 촬영했습니다.

각 이미지에는 두 가지 주석을 답니다. 사람에는 바운딩 박스, 흰 선에는 폴리라인. 머리의 기울어짐, 카메라 흔들림, 눈부시거나 흐린 오후에도 견디도록 데이터를 증강합니다.

통합 프로토타입은 작동하지만 아래 항목에는 추가 개발 또는 검증이 필요합니다.