Saltar al contenido principal
eKoFeed

Nvidia detalla cómo crear simulaciones robóticas pick-and-place en Isaac Sim 6.2 con SimReady y OpenUSD

Nvidia detalla cómo simular tareas pick-and-place en Isaac Sim 6.2 ensamblando el brazo UR17G y la pinza Robotiq 2F-140 con activos OpenUSD SimReady.

·
Vista destacada en Isaac Sim del conjunto UR17G y pinza Robotiq 2F-140 ejecutando la secuencia de agarre y colocación de una lata de bebida (Hugging Face / NVIDIA)

Integrar brazos articulados, pinzas y objetos cotidianos en un entorno virtual exige que cada modelo responda con física realista desde el primer instante. Para agilizar ese montaje, NVIDIA presenta un flujo completo orientado a tareas robóticas pick-and-place sobre Isaac Sim 6.2 mediante activos prevalidados en el estándar OpenUSD.

Los ingenieros Dillon Bailey, Pomi Lee y Rishabh Chadha documentan este recorrido paso a paso en Hugging Face, apoyándose en la biblioteca abierta SimReady Central y en un agente de IA capaz de ensamblar la escena y generar el controlador en Python.

Qué aporta SimReady y cómo se validan los activos OpenUSD

Dentro de los flujos de robótica, la etiqueta SimReady indica que un recurso en OpenUSD incorpora las propiedades físicas imprescindibles para su caso de uso, entre ellas colisiones, masa, articulaciones (joints) y accionamientos (joint drives). El catálogo de SimReady Central distribuye estos modelos junto con evidencia verificable de cumplimiento de perfil.

La especificación técnica de SimReady Foundation organiza esas garantías en tres niveles encadenados para validar si un robot o componente responde correctamente antes de ejecutar la escena:

Nivel de especificaciónFunción dentro de SimReady FoundationEjemplo en simulación pick-and-place
ProfileAgrupación de capacidades exigidas para un caso de usoCuerpo robótico o pinza industrial
FeaturesCapacidades operativas requeridas en el activoArticulaciones controlables o geometría de colisión
RequirementsComprobaciones técnicas sobre cada parámetroAjustes de accionamiento (drive settings) verificados

En esta demostración intervienen tres assets públicos alojados en Hugging Face, cuyos paquetes aportan tanto la geometría tridimensional como los ajustes de simulación validados. A diferencia de esa base reutilizable, la escena de trabajo, las posiciones iniciales y el código que coordina el movimiento quedan en manos del desarrollador o del agente.

ComponenteRepositorio oficialArchivo OpenUSD principalValidación y propiedades
Brazo UR17GTeradyneRobotics/UniversalRobotsur17g_1300.usdaPerfil Robot-Body 4.0.0 (PhysX)
Pinza Robotiq 2F-140Robotiq-Official/simready-assetsRobotiq_2F_140.usda (índice enlazado a Robotiq_2F_85.usda)Perfil Robot-Gripper 3.0.0 (PhysX)
Lata de bebidanvidia/simready-assetssm_food_beverage_can_n01_01.usdColisiones y masa física para agarre

Los reportes de validación tanto del brazo como de la pinza superan las comprobaciones PhysX de articulaciones accionadas, encargadas de inspeccionar la configuración de los motores de cada junta. Ese respaldo establece un punto de partida común antes de comprobar cómo interactúan todos los elementos en conjunto.

Esquema de responsabilidades entre los modelos y ajustes físicos de SimReady Central y el código de escena añadido en Isaac Sim (Hugging Face / NVIDIA)
Esquema de responsabilidades entre los modelos y ajustes físicos de SimReady Central y el código de escena añadido en Isaac Sim (Hugging Face / NVIDIA)

Comprobaciones previas antes de ejecutar el agarre

Un robot puede lucir geométricamente correcto en reposo dentro de Isaac Sim y fallar en cuanto arranca el motor físico. Por ello, los ingenieros recomiendan verificar manualmente o mediante instrucciones al agente tres aspectos críticos antes de lanzar la rutina completa de manipulación:

  • Ajustes de articulación: revisar los límites de recorrido y los parámetros de accionamiento (drive settings) tanto del brazo como de la pinza.
  • Movimiento básico: comprobar un desplazamiento corto del brazo junto con la apertura y el cierre de los dedos de agarre.
  • Contacto físico: confirmar que la lata reposa sobre la superficie de trabajo sin atravesarla y comprobar durante el traslado si permanece sujeta entre las mordazas.

Requisitos de software, descarga de activos y búsqueda USD

Para reproducir la escena se requiere instalar Isaac Sim 6.2 y habilitar las herramientas descritas en la documentación oficial de Agent Skills. El ejemplo de referencia emplea GPT-6 Sol para escribir y ejecutar código Python contra el simulador, aunque cualquier agente compatible con esas skills puede operar con resultados variables.

El flujo también se apoya en el punto de acceso de búsqueda USD Search para localizar contenido mantenido por fabricantes originales y, de forma opcional, en la CLI de Hugging Face si se prefiere automatizar la descarga por consola en lugar de guardar carpetas desde el navegador.

Búsqueda y vista previa interactiva en SimReady Central de la pinza Robotiq 2F-140 y la lata de bebida en formato OpenUSD (Hugging Face / NVIDIA)
Búsqueda y vista previa interactiva en SimReady Central de la pinza Robotiq 2F-140 y la lata de bebida en formato OpenUSD (Hugging Face / NVIDIA)

Al obtener cada paquete desde SimReady Central, conviene conservar íntegras las tres carpetas de recursos para que Isaac Sim resuelva sin fallos sus archivos auxiliares y texturas. Con la estructura intacta, basta entregar al agente las rutas locales de cada archivo OpenUSD, siguiendo un formato como el de este ejemplo de la pinza:

~/ASSETS/hf/src/simready-assets-c7fa7615/Robotiq_2F_140/simready_usd/Robotiq_2F_140.usda
Opciones de descarga en SimReady Central para guardar el paquete completo en una carpeta local o mediante la CLI de Hugging Face (Hugging Face / NVIDIA)
Opciones de descarga en SimReady Central para guardar el paquete completo en una carpeta local o mediante la CLI de Hugging Face (Hugging Face / NVIDIA)

Ensamblaje en Isaac Sim 6.2 mediante servidor Python remoto

Con los archivos en disco, Isaac Sim 6.2 debe lanzarse desde su directorio de instalación activando el servidor remoto en Python. Esto permite que el agente interactúe en vivo con la escena abierta y acceda a las skills incluidas si también se inicia desde esa misma ruta:

./isaac-sim.sh --enable isaacsim.code_editor.python_server

Tras comprobar que los tres assets cargan sin rutas rotas e inspeccionar las juntas físicas, el siguiente paso une el brazo UR17G y la pinza Robotiq 2F-140 en una única articulación (articulation) controlable. Quienes opten por configurarlo a mano disponen de la guía oficial de Robot Assembler.

Cuando se delega la tarea al agente mediante un prompt que referencia las rutas locales de ambos modelos y la documentación del ensamblador, el sistema invoca las skills isaac-sim-remote y usd-articulation. Al concluir, valida automáticamente el comportamiento físico del conjunto antes de pasar a la fase de control.

Configuración de articulaciones y accionamientos físicos del brazo UR17G y la pinza Robotiq 2F-140 en NVIDIA Isaac Sim 6.2 (Hugging Face / NVIDIA)
Configuración de articulaciones y accionamientos físicos del brazo UR17G y la pinza Robotiq 2F-140 en NVIDIA Isaac Sim 6.2 (Hugging Face / NVIDIA)

Controlador pick-and-place y secuencia de prueba

Para ejecutar la maniobra completa, el controlador sincroniza la cinemática del brazo con la apertura y el cierre de la pinza. El equipo facilita además el tutorial para añadir un manipulador para inspeccionar o adaptar manualmente la lógica generada.

En el flujo automatizado, la instrucción solicita explícitamente un agarre basado en contacto (contact-based grasp) y la medición del error de posicionamiento al soltar el objeto. Para resolverlo, el agente combina las skills isaac-sim-remote, manipulaiton-ik y physics-simulation.

La prueba reinicia el entorno y encadena las fases de aproximación, agarre, elevación, sujeción, traslado y liberación desde el marcador amarillo de recogida hasta el punto verde de destino. Si la secuencia falla, el protocolo indica inspeccionar la escena, regenerar los controles y restablecer exactamente el estado inicial para comparar resultados.

Ejecución completa de pick-and-place en Isaac Sim 6.2 moviendo la lata desde el marcador amarillo hasta el punto verde a velocidad 4× (Hugging Face / NVIDIA)
Ejecución completa de pick-and-place en Isaac Sim 6.2 moviendo la lata desde el marcador amarillo hasta el punto verde a velocidad 4× (Hugging Face / NVIDIA)

Supuestos de simulación y límites frente al hardware real

Los autores subrayan que los resultados observados responden exclusivamente a un escenario guiado y controlado, por lo que no demuestran robustez ante incertidumbre posicional, cargas distintas ni transferencia directa sim-to-real sobre hardware físico. Para consultar las fuerzas de agarre reales del fabricante, remiten a la ficha técnica oficial de Robotiq.

Parámetro del escenarioCondición aplicada en el ejemploAlcance omitido en la prueba
Entorno y robotRobot anclado, lata en posición conocida y mesa despejadaSin visión artificial (vision) y con colisiones limitadas
Modelo del objetoLata rígida simplificada en OpenUSDSin deformación ni dinámica interna de líquidos (crushing)
Agarre y trayectoriaLímite de esfuerzo de 2 N·m ajustado en simulación y waypoints fijosSin calibración de fuerza en dedos ni replanificación (replanning)

Como vía para ampliar el ecosistema más allá de los ejemplos publicados, el equipo de NVIDIA apunta a guías dedicadas para preparar activos propios desde CAD mediante modelos fundacionales y a la guía de envío de SimReady Central en GitHub. Asimismo, destaca proyectos comunitarios como la demostración de realidad virtual controlada por voz de Michael Wagner y la simulación Microduck de Maziyar Panahi.

Fuente: Build a Robot Pick-and-Place Simulation with SimReady Assets