カーネギーメロン大学の研究チームが開発した「LegoGPT」は、テキストによる指示から実際に組み立て可能なレゴモデルを自動生成するAIシステムである。視覚的な再現性にとどまらず、人間やロボットが現実に組み立てられる設計が特徴である。
LegoGPTはオートレグレッシブ型の言語モデルをベースとしており、文章中の次の単語を予測するように、レゴ構造の次のブロック配置を予測する。トレーニングには47,000以上の安定構造を収録した独自データセット「StableText2Lego」が用いられ、それぞれのモデルにはGPT-4oによる3Dレンダリングに基づいた説明文が付与されている。
生成過程では、各ブロックの衝突や無効な配置、物理的不安定性を検出し、問題があれば直前の安定状態にロールバックする「物理認識型ロールバック」機能を実装。さらに、リジェクションサンプリングによって無効なブロックを事前に排除する。
また、物理モデルに基づき圧縮、引張、剪断などの力を計算し、静的平衡に達した構造のみを完成品として採用する。この結果、他の3D生成手法（LLaMA-Mesh、XCube、Hunyuan3D-2）に比べ、LegoGPTは98.8%という高い構造安定性を達成した。
LegoGPTは色や質感も忠実に再現可能である。たとえば「和柄のしぼり布のソファ」といった指示には、藍色のテクスチャが適用される。また、ネオン風の塗装やサイバーパンク調の装飾も可能で、公式レゴカラーに対応した実物組み立てにも使える設計がなされている。
プロジェクトの詳細やデモはLegoGPTの公式ページおよびHuggingFaceで公開されている。
※本記事は、以下の記事をもとに翻訳・要約しています。
THE DECODER「LegoGPT generates buildable Lego models from text descriptions」
コメント
LegoGPTは、単なる3D生成を超え、実際に作れるレゴモデルをAIが提案するという点で非常に実用的かつ創造的なツールです。子どもからエンジニアまで幅広い層が活用でき、教育やロボティクス、設計支援など多様な応用が期待されます。特に、安定性や物理的な検証を自動で行う点は、現実での再現性を大きく高めており、これからのものづくり支援AIのモデルケースとなるかもしれません。