danny1002/act-trash-gathering

ACT — trash gathering (SO-ARM101 bimanual)

책상 위 쓰레기를 빗자루와 쓰레받기로 쓸어 담는 SO-ARM101 양팔 ACT 정책.

동작 데모와 통합 파이프라인: donghee-ai/PAI

⚠️ 이 정책은 언어 비조건부(language-unconditioned)다

ACT 라 instruction 의 내용 으로 행동이 바뀌지 않는다. 어떤 문자열을 task 로 넣든 학습된 단일 태스크(쓰레기 모으기)만 수행한다.

그래서 통합 파이프라인에서는 LLM 이 "말대로 조종"하지 않고, 의도를 판별해 트리거만 건다 — 사용자 입력이 쓰레기-모으기 의도일 때만 정책을 구동하고, 그 외에는 대화 응답만 한다. 자세한 구조는 PAI 저장소를 참고.

구성

항목	값
정책	ACT (VAE 인코더 4층, dim_model=512, n_heads=8)
비전 백본	ResNet18 (ImageNet1K_V1 사전학습)
액션 청크	chunk_size=100, n_action_steps=100
관측	observation.state, observation.images.left_front, observation.images.left_wrist
출력	action (양팔 관절)
로봇	SO-ARM101 bimanual (bi_so_follower)

학습

항목	값
데이터셋	danny1002/trash_gathering
steps	20,000
batch size	32
learning rate	1e-5
seed	1000
LeRobot	v0.5.2

사용

# 가중치만 받기 (토큰 불필요)
curl -fL -o model.safetensors \
  https://huggingface.co/danny1002/act-trash-gathering/resolve/main/model.safetensors

LeRobot 롤아웃에서는 --policy.path 로 이 디렉터리를 가리키면 된다. 카메라 관측키는 bi_so_follower 가 left_arm 의 카메라 dict 키(front/wrist)에 left_ 접두어를 붙여 left_front / left_wrist 로 만든다.

전체 실행 절차(Docker · udev 포트 고정 · 3창 파이프라인)는 PAI 런북에 있다.

한계

• 단일 태스크 전용. 언어로 다른 작업을 시킬 수 없다.
• 학습 환경(책상 배치·조명·카메라 각도)에서 벗어나면 성능이 떨어진다.
• 카메라 2대(front/wrist) 관측을 전제한다. 관측 구성이 다르면 그대로 쓸 수 없다.
• 제어 주파수는 학습 시 25Hz. 낮추면 동작이 그만큼 느려진다.

하드웨어

Jetson AGX Thor (aarch64, CUDA 13 / sm_110) + SO-ARM101 양팔 + UVC 웹캠 2대에서 수집·학습·검증했다.