GPT-4でロボットを操作する技術　パナソニックコネクトと立命館大学開発

パナソニックコネクトと立命館大学は、大規模な言語モデルと世界モデルを組み合わせたロボット制御システムを開発した。このシステムでは、OpenAIの言語モデル「GPT-4」を使用する。人間の指示（プロンプト）をGPT-4を使用してロボット用のコードに変換するというもの。実行不可能なコードは排除され、指示を工夫することで、ほぼロボット制御に使用できるコードが生成されるのだという。コードを基に世界モデルの「ニュートニアンVAE」でロボットの動きを生成する（ニュースイッチ）。

例えば、「赤いブロックを青い円柱に重ねる」という指示が与えられると、ロボットは対応する映像を読み取り、その状態に近づけるためにハンドを動かすそうだ。位置の計測や軌道の計算などは必要ないという。積み木を使用した実験では、10回中10回成功、また「太陽の色のブロックを海の色の円柱に乗せる」といった指示にも対応し、GPT-4の言語理解能力が活かされているとしている。ただ現状、世界モデルが学習していない情報には対応が難しいとのこと。　

スラドのコメントを読む | テクノロジー | 人工知能 | ロボット

　関連ストーリー：
ダラス・ラブフィールド空港ではキオスク・ロボット「SCOT」がマスク着用を監視 2022年04月21日
Amazon、家庭用ロボット「Astro」から15インチ「Echo Show」まで複数製品を発表 2021年10月01日
中国で馬型ロボットが発表。人間も乗れるらしいが 2021年09月09日
徳島県の平等寺、リモート初詣で参拝客が約130倍に。コーディングは住職自身 2021年01月19日