はじめに
こんにちは、newmoの自動運転開発チームのigaryoです。
newmoでは、自動運転タクシーの運行に向けて、自社の車両によって収集したデータを元に自動運転モデルを学習・構築し、そのモデルで車両を動かすことに挑戦しています。そのためには、
- 高品質・大量・多様なデータを集めるためのデータ収集基盤
- 大規模なモデルを学習・推論するための計算機基盤
- 学習済みモデルを用いて現実世界の車両を安全に制御するための制御基盤
といった複数の要素が複雑に絡み合っており、それぞれに多くの難しさが存在します。 newmoではこれらの課題に対して、社内外のメンバーと密に連携をしつつ日々開発を進めています。
こうした、「物理世界で動くもの」を対象としたAIは、最近 Physical AI(フィジカルAI) として注目されています。 これまでは、LLMやデータ分析などのデジタルな情報空間内で完結する応用が中心でしたが、AI技術や計算機性能の向上により、現実世界のモノを直接動かすAIへの期待が高まっています。 Physical AIの代表例としてよく挙げられるのが、ヒューマノイドロボットや自動運転システムです。
しかし、どちらも前述の通り高度な認識・判断に加えて、安全・高速・高精度な制御が求められるため、入門のハードルが非常に高い領域でもあります。
そこで、その入門としておすすめなのがロボットアームです。 ロボットアームは手軽に準備できる一方で、TransformerやDiffusionといった最新のモデルを利用した本格的なPhysical AI開発を行うことができます。
本記事では、オープンソースのロボットアームであるSO-Arm 101および強力なロボット学習フレームワークであるLeRobotを取り上げ、その特徴や活用方法について紹介します。
SO-Arm 101の特徴
SO-Arm 101のハードウェアは、遠隔操作に利用するリーダー (画像左) と実際に動作するフォロワー (画像右) によって構成されます。驚くべきことに、カメラやサーボ、配線などの電子部品を除いたすべての筐体は3DModelがGithub上で公開されており、自前の3D Printerがあれば、印刷して組み立てることが可能です。もちろん、印刷済みの部品や組み立て済みの筐体も各代理店から購入可能です。
SO-Arm101の大きな特徴として、機械学習向けに利用することに最適化されているというところがあります。
というのも、実際に機械学習モデルによってロボットアームを動かす時には、以下のフローでデータが伝搬されます。
そこで、SO-Arm101では、リーダーとフォロワーを利用したテレオペレーションを利用します。
人間が遠隔でリーダーを操作し、それにフォロワーが追従することで、カメラの情報と各サーボ角の情報をセットで保存することができます。
また、機械学習のプロセス全体を支えるソフトウェアフレームワークがHugging Face製のOSSであるLeRobotです。
SO-Arm101をはじめとして、LeKiwiやUnitree G1など、様々なハードウェアを公式にサポートしており、新たなハードウェアで対応することも可能です。また、機械学習モデルも複数サポートしており、Transformerを利用したACT (Action Chunking Transformer) やDiffusionを利用したDiffusion Policy、VLAを利用したsmolVLAなどモデルを同一のハードウェアで利用することができます。
データセットの収集の際は、LeRobotのスクリプトにより、適切にデータ量を削減、機械学習に最適化された形式に加工された上で自動的にHugging FaceのDatasetsにUploadされます。
そして、学習もLeRobotを利用して簡単に行え、学習したモデルも自動的にHugging FaceのModelsにUploadされます。
こうした、「データ収集」「モデルの学習」「実機での推論」の一連のプロセスを簡単かつ本格的に行えるのがSO-Arm101とLerobotの魅力です。
ハッカソン
グローバルで普及が進み、国内外でアウトプットの場があるのもSO-Arm101の魅力の一つです。
ここでは、国内で開催された2つのハッカソンについて紹介します。
Lerobot World Wide Hackathon
LeRobotによる初のハッカソンであるLeRobot Worldwide Hackathonは、2025年7月14-15日に開催されました。全世界で同時に開催され、日本では4箇所のオフライン会場が設けられた他、オンラインでも多くの参加者が参加していました。
参加者のうち、審査員による審査と相互投票による上位者30チームには賞品としてLekiwi (自律移動ロボット) やHope Jr (ヒューマノイドロボット) が与えられました。
私も今夏個人で参加し、ありがたいことに18位に入賞し、景品を獲得することができました。
AMD Open Robotics Hackathon
AMD OPEN ROBOTICS HACKATHONが今月初旬の2025年12月5-7日にAMD主催で秋葉原で行われました。
SO-ARM101やAMDのLaptop、潤沢な学習用の計算資源、非常に快適な開発環境 (物理) が与えられ、多くの参加者が参加していました。
賞金額も非常に高く、なんと優勝賞金は、$10,000 (約150万円) と太っ腹です。
社内の有志のメンバーで参加し、入賞することはできなかったものの、ロボットアームを利用した機械学習のプロセスを短期間で体験することができました。
まとめ
本記事では、newmoが取り組んでいる自動運転開発のような「Physical AI」の世界への入り口として、オープンソースのロボットアーム SO-Arm101 と LeRobot について紹介しました。
自動運転もロボットアームも、「現実世界の変化を認識し、適切な判断を下し、物理的に作用する」という本質的な難しさと面白さは共通しています。 ぜひ、皆さんもSO-Arm101やLeRobotを通じて、デジタル空間を飛び出したAIの可能性に触れてみてください。
newmoでは、こうした技術への理解を深めながら、さらに複雑で大規模な自動運転という社会課題の解決に挑み続けていきます。
また、newmoでは自動運転における機械学習やおよびその周辺領域に興味のあるエンジニアを積極的に採用中です！ careers.newmo.me
