RunSight

視覚障害のあるランナーのためのAIグラス。

runsight.labmino.com を見る GitHub

AIコンピュータビジョン組み込みシステムアクセシビリティ

RunSightは1台のカメラでトラックを読み取り、短い合図を音声で伝えます。視覚障害のあるランナーが、伴走者への依存を減らしてトレーニングできるように。

84.23%: レーン分割 IoU
88.24%: 人物検出 IoU
>10 FPS: リアルタイム目標
6×: 最適化後の高速化
Offline: インターネット不要
RGB: カメラ1台、LiDARなし

課題

インドネシアでは障害者のスポーツ参加に大きな開きが残っています。BPSは2023年に2,297万人の障害者を記録し、うち約400万人が視覚障害者です。Susenasのデータでは定期的に運動する障害者は11.6%にとどまり、国の目標は2029年までに15%です。

公共トラックでは、視覚障害のあるランナーはペース、方向、安全のために伴走者を必要とすることが多くあります。私たちの調査では、ナビゲーション、アクセシビリティ、リアルタイム精度、人間工学、電源、コストにわたる15のペインポイントが見つかりました。白杖は路面の変化を捉えきれず、GPSは5〜10メートルずれることがあり、既存デバイスには重すぎる、高すぎる、2時間持たないものもあります。

“伴走者が忙しいと、私のトレーニングは延期になるんです。”

Maria（フィールドインタビューに参加した競技アスリート）

システム

インテリジェンス

RunSight-AI

3つのビジョンモデルがデバイス上で動き、レーンを読み、前方の人を検出し、その近さを推定します。

ハードウェア

RunSight-Wearable

カメラ付きグラスとランニングベスト。ベストにはRaspberry Pi 5、Hailo AIアクセラレータ、GPS、バッテリー、イヤホンを搭載します。

アプリ

RunSight-Mobile

スクリーンリーダー対応のコンパニオンアプリ。デバイスのペアリング、ランの開始、距離・時間・ルートの確認、音声設定、週間目標、コミュニティ機能をまとめます。

1台のカメラがデバイス上の3つのモデルに映像を送ります。出力はランナーの位置、前方の人、レーン領域、対象までの距離、カーブの向きへと処理され、最後に音声の合図になります。

レーン分割

IoU 84.23%

U-Net · ResNet-18

レーンの線を見つけ、トラックが直線かカーブかを判定し、5つの領域のどこにランナーがいるかを推定します。

人物検出

IoU 88.24%

YOLOv8n

トラック前方の人を検出します。ランナーに最も必要な警告は、たいていこれです。

深度推定

単眼RGB

Sc-Depth V3

1台のカメラから距離を推定し、注意すべき近さにいる人を警告できるようにします。

ガイドの仕組み

音声の合図は短くしています。ランナーに必要なのは説明ではなく素早い指示だからです。システムはレーンの形、ランナーの位置、前方の人、距離をひとつの移動指示へ統合します。

直進

レーンが空いていて前方に何もない

左へ / 右へ曲がる

レーンがカーブしている

左へ / 右へ寄る

前方に人がいる、またはランナーがレーンから外れた

減速

前方に人がいて空いたレーンがない

デバイスの中身

カメラグラス

軽量なグラスに小型USBカメラを載せ、ランナーの視点からトラックを捉えます。

コンピュートベスト

ベストにはRaspberry Pi 5、Hailo AI HAT、GPS、バッテリーセル、プロトタイプ用の3Dプリント筐体を搭載します。

イヤホン

ランナーはイヤホンでガイドを聞きます。スマホや画面を見る必要はありません。

AIの作り方

モデルは、Patriot Candrabhagaスタジアムを含む競技トラックで収集した画像で学習しています。撮影はスマートフォンと、デバイスと同じカメラで行いました。Label Studioで人物のバウンディングボックスとレーン分割マスクをアノテーションし、反転、回転、パースペクティブ変形、モーションブラー、明るさ、コントラストなどの拡張を適用。エッジ展開に向けて、キャリブレーションとHEFコンパイルを含むHailoツールチェーンで変換・最適化しています。