Physical AI 엔지니어

주요업무

두핸즈는 물류 포장 자동화(Packaging Automation)를 목표로, 싱글암 및 양팔 로봇에 적용 가능한 Physical AI 모델과 Robot Action Policy를 연구·개발합니다. 본 포지션은 Hugging Face의 LeRobot 오픈소스 생태계를 기반으로, 포장 시나리오에 특화된 Vision-Action(VA) 모델과 모방학습(Imitation Learning) 기반 작업 학습 모델을 설계하고 개선하는 역할을 담당합니다. 단순 연구 데모를 넘어, 실제 물류센터 환경에서 물체 인지 → Pick → Wrapping → Box Insert → Box Push 로 이어지는 장기 시퀀스(Long-horizon Task)를 자율 수행하는 현장 적용형 Physical AI 시스템을 구현하는 것이 핵심 과제입니다. 로봇 행동 모델(Action Policy) 설계 및 학습 포장 5단계 시나리오에 특화된 Robot Action Policy 설계 및 학습 단계별 스킬 정책(인지 · Pick · Wrapping · Insert · Push)을 정의하고, 하나의 연속 작업 흐름으로 연결하는 오케스트레이션 구조 설계 Imitation Learning, Behavior Cloning, Diffusion Policy, ACT(Action Chunking with Transformers) 기반 싱글암/양팔 로봇 행동 모델 설계 및 학습 Pi0Policy 기반 자연어 행동 모델(VLA 정책) 설계 및 학습 멀티모달 데이터 파이프라인 구축 및 자산화 LeRobot 프레임워크 기반 시연 데이터 수집 · 정제 · 라벨링 및 LeRobotDataset 포맷의 멀티모달 데이터셋 구축 데이터 품질 관리와 재현성 확보를 KPI로 하는 데이터 자산화 파이프라인 개발 RGB-D, 멀티뷰 카메라(전면 · 손목 · 상단), 로봇 관절 상태, 엔드이펙터 상태, 작업 결과 등 멀티모달 데이터 기반 정책 학습 LeRobot 외 타 오픈소스 프레임워크 기반 경험도 동등하게 인정 시스템 구현 및 엔지니어링 학습된 정책의 Inference 모듈 개발 Perception(물체 인지 · 파지점 추정), Sequencing, Control 시스템과의 안정적 연동 및 최적화 성능 평가 및 Sim-to-Real 개선 시뮬레이션 및 실제 로봇 환경에서 단계별 progress score 기반 성능 평가 실환경 적용 시 발생하는 실패 케이스 분석 및 Sim-to-Real 격차 개선 크로스오버 협업 로봇 SW · 제어 · 하드웨어 엔지니어 및 PM과의 긴밀한 협업을 통해 현장 적용 가능한 수준의 Physical AI 시스템 완성

자격요건

학력 로봇공학, 컴퓨터공학, 인공지능 등 관련 전공 석사 학위 이상 학사 학위 소지자도 LeRobot 프레임워크 활용 및 실로봇 조작 학습 분야에서 뚜렷한 프로젝트 실적 또는 포트폴리오가 있다면 지원 가능 경력 관련 분야 연구 및 개발 경력 2년 이상 핵심 역량 Python 및 PyTorch 기반 머신러닝/딥러닝 모델 개발 및 최적화 경험 Imitation Learning, Behavior Cloning, Diffusion Policy, Transformer 기반 시퀀스 모델 중 하나 이상에 대한 깊은 이해 또는 직접 구현 경험 로봇 조작(Manipulation), 로봇 러닝, 멀티모달 데이터 학습, 시뮬레이션 기반 학습 중 하나 이상의 프로젝트를 주도적으로 수행한 경험 실제 로봇 또는 시뮬레이션 환경에서 모델 성능을 정량적으로 평가하고 한계를 분석하여 개선한 경험 로봇 SW · 제어 · 하드웨어 엔지니어 및 PM 등 다양한 직군과 협업하여 현장 문제를 해결한 경험 기술 스택 AI & 딥러닝: Python, PyTorch, LeRobot, Hugging Face 로보틱스 & 시뮬레이션: ROS 2, NVIDIA Isaac Sim, Isaac Lab, MuJoCo 컴퓨터 비전: OpenCV, Open3D MLOps & 배포: Docker, Git, WandB, TensorRT, ONNX

우대사항

Hugging Face LeRobot 생태계(데이터셋 기록, ACT/Diffusion Policy 학습, Hub 활용, 실로봇 배포) 실사용 경험 — 본 포지션의 핵심 우대 요건 SO-100/SO-101, ALOHA, Koch 등 LeRobot 지원 하드웨어로 pick-and-place 또는 멀티스텝 조작 정책을 직접 학습·배포한 경험 피스피킹, 패킹, 팔레타이징/디팔레타이징 등 물류 로봇 태스크 경험, 또는 박스 인서트·컨베이어 연계 작업 경험 천·필름·포장재 등 변형 물체 조작을 데이터 기반으로 다룬 경험 — 포장지 감기 단계와 직결 장기 시퀀스 작업을 단계별 스킬로 분절하고 연결한 경험, 또는 멀티스텝 조작 정책 설계 경험 Isaac Sim/Lab, MuJoCo 등 물리 시뮬레이터 활용 및 Domain Randomization, Sim-to-Real 개선 경험 RGB-D, 2D/3D 비전, Pose Estimation, Grasp Planning 경험 대규모 로봇 시연 데이터셋 구축·정제·품질 관리 파이프라인 개발 경험

기술스택

Python, Pytorch, Docker, Packer, Git, Pose Estimation, Stable Diffusion, TensorBoard, Pandas, NumPy, ROS, OpenCV, Stack AI, Obviously AI, Hugging Face, Transformer, Machine Learning, Physical AI, MLOps, Chunking Strategy, Workflow Automation, ROS 2, TensorRT, ONNX Runtime, Lambda Labs

채용절차

[채용 전형] •서류 전형 - 1차 인터뷰 - 레퍼런스 체크- 2차 인터뷰 - 처우 협의 - 최종 합격 * 채용 절차는 포지션에 따라 생략/추가될 수 있습니다. * 모든 면접은 두핸즈 성수오피스에서의 대면 진행을 원칙으로 합니다. • 입사 지원 서류에 허위 사실이 발견될 경우, 채용 확정 이후라도 채용이 취소될 수 있습니다. 우리는 오래 함께할 동료를 찾고 있어요. 함께 두핸즈를 만들어갈 두핸더를 기다립니다.💛