OMY, le bras robotique de ROBOTIS, apprend à voir et à parler grâce à GraspNet et Gemini
Rendu 3D généré à partir de l’illustration — glissez pour tourner
← Retour aux actualitésGraspNet (développé par l’Université de Tsinghua) est un modèle de vision par ordinateur spécialisé dans la détection des points de préhension. Il permet à OMY de repérer des objets qu’il n’a jamais vus auparavant. Gemini (le modèle de langage de Google) ajoute une couche de compréhension : il traduit une instruction floue comme « le cube rouge à gauche » en une action précise. Télécharger les modèles GraspNet et Gemini. Configurer OMY pour qu’il communique avec ces IA. Tester la chaîne complète sur leur propre matériel. Démonstration vidéo de ROBOTIS (lien fictif, à remplacer par le lien réel si disponible) Documentation ROS 2 pour OMY Modèle GraspNet sur Hugging Face Modèle Gemini via Google AI
📑 Sommaire
💡 En 3 points clés
- GraspNet (développé par l’Université de Tsinghua) est un modèle de vision par ordinateur spécialisé dans la détection des points de préhension. Il permet à OMY de repérer des objets qu’il n’a jamais vus auparavant.
- Gemini (le modèle de langage de Google) ajoute une couche de compréhension : il traduit une instruction floue comme « le cube rouge à gauche » en une action précise.
- Télécharger les modèles GraspNet et Gemini.
Un bras robotique qui comprend vos ordres… et agit
Imaginez un robot capable de regarder un plateau d’objets éparpillés, de comprendre que vous lui demandez de saisir une tasse bleue, et de l’attraper sans la renverser. C’est exactement ce que ROBOTIS a démontré avec son bras OMY, en associant deux modèles d’IA : GraspNet pour repérer et saisir les objets, et Gemini pour comprendre les instructions en langage naturel.
Pour y parvenir, l’entreprise a enchaîné trois étapes simples :
1. Voir : GraspNet analyse l’image de la scène et génère des points de préhension possibles pour chaque objet.
2. Comprendre : Gemini interprète la demande en langage naturel (par exemple : « Prends la tasse bleue »).
3. Agir : OMY exécute le mouvement en suivant les données de GraspNet et les instructions de Gemini.
Pourquoi c’est malin ?
Avant cette démonstration, un robot devait être programmé au millimètre près pour chaque tâche. Ici, ROBOTIS mise sur des modèles open source pour rendre OMY autonome et adaptable :
Résultat ? OMY peut manipuler des objets sans avoir été entraîné spécifiquement pour eux. C’est un pas de géant vers des robots capables de s’adapter à des environnements changeants, comme un entrepôt ou un laboratoire.
Comment reproduire l’expérience ?
ROBOTIS ne se contente pas d’annoncer la fonctionnalité : l’entreprise fournit tout le code et les instructions pour la reproduire sous ROS 2, la plateforme open source dédiée à la robotique. Les développeurs peuvent ainsi :
C’est une aubaine pour les laboratoires, les écoles d’ingénieurs ou même les petites entreprises qui veulent expérimenter l’IA physique sans partir de zéro. Et pour ROBOTIS, c’est une façon de pousser son écosystème : en rendant OMY plus accessible, l’entreprise attire les développeurs et accélère l’innovation autour de ses robots.
Et demain ?
Cette démonstration est encore un prototype, mais elle montre une tendance de fond : les robots ne se contentent plus d’exécuter des tâches répétitives. Ils apprennent, comprennent et s’adaptent. Avec des modèles comme GraspNet et Gemini, ROBOTIS prouve que l’IA peut rendre les bras robotiques bien plus intelligents… et bien plus utiles.
Note de Hype-mètre : 4/5 (Une avancée technique majeure, mais encore réservée aux experts en robotique).