1台のカメラと、話せるようになるまでに必要なすべて。

目の高さの USB カメラが Hailo-8 アクセラレータへフレームを送ります。採用された各フレームで、コンパイル済みの3モデルが動作。1つは白線をセグメンテーションし、1つは前方の人物を検出し、1つは同じフレームから深度を推定します。深度センサーも LiDAR も2台目のカメラもありません。深度は1台の RGB カメラから得るため、端末を安価に保てます。

フレームは「最新優先」で処理します。推論が遅れた場合、古いフレームはキューに積まず破棄します。過去の映像で導くくらいなら黙るほうがましだからです。

マスクと矩形はまだ案内ではありません。幾何情報に変える必要があります。レーンの向き、その中の自分の位置、曲がり具合、そして前方の人物が十分に近いかどうか。

float32 のままでは Raspberry Pi でリアルタイムのフレームレートを保てませんでした。そこでモデルを Hailo アクセラレータ向けにコンパイルします。内部表現へ変換し、プロファイルを取り、実際の走路画像のキャリブレーションセットで量子化し、起動時に読み込む実行ファイルへ落とします。

ランナーの目線から見たインドネシアの走路を写した公開データセットは存在しません。だから自分たちで作りました。パトリオット・チャンドラバガ競技場をはじめとする公共の走路で、目の高さから、前方に人がいる場合といない場合の両方を撮影しています。

各画像には2種類の注釈を付けます。人物にはバウンディングボックス、白線にはポリライン。さらに、頭の傾きやカメラの揺れ、まぶしい日差しや曇り空にも耐えられるよう、データを拡張します。

統合プロトタイプは動作していますが、以下の項目には開発または検証が必要です。