Published on

2023~2024 年末年始読み物など

Authors
  • Name
    Twitter

今年大変役に立った資料集

Sim & Vision

ai

BTC & nostr

仮想通貨

others

備忘録

自動運転におけるNeRFの位置づけ

  • NeRF-based neural simulator(動画12分参照
  • NeRF
    • 松尾先生の意見
    • 次の単語の予測ができる
    • 常に予測することで学習(自己教師あり学習)
    • LLMはできてるが実世界側でできてない
    • 人間は世界モデル学習済み
    • 横から何が飛び出してくるかわかる
    • 実世界のアクチュエータ・センサでも世界モデルできるはずだができてないから、自動運転で高価なセンサ必要
    • 出来ない理由はあって、言語とセンサ・アクチュエータの違いの話になってくる。技術的に突破しないといけない状況。
  • 実世界データを使うのにNeRF?
    • 世界モデルの一部・見た目だけ。後ろ側からみたらこう見えるという人間の思考が、NeRFにはある。
    • 三次元の構造をみることができる。
    • 世界モデルに比べると時系列もなく、インタラクションもないので、スタート地点として使える
    • タクシーでドラレコに入ってるデータを一週間に一度もらって、NeRFにいれると通ったところを三次元復元できるに近いこと今できる状況。
  • 世界モデルのブレイクスルーは?
    • LLMも単純な世界モデルは学習してる
    • 簡単な絵は描ける状態。
    • センサ情報ってオーダー・スケール違う情報が混じっている
    • 周波数特性で分解するなどしていたが
    • NNのt, t+1 という定式化がおかしい、同じ幅のような時系列なら扱えるが、複数のスケーるが扱えないし、現実は複数を扱ってる
    • weaveAI