1부에 이어 서울 출장 셋째 날이다. 첫날에는 졸려서 버티느라 바빴는데, 이제는 실습도 좀 더 여유 있게 따라갈 수 있었다. 대학에서 배웠던 내용을 다시 보기도 하고, 새로운 개념도 배우면서 수업을 들었다.
셋째 날, OpenCV와 ROS 실습
이날은 OpenCV로 영상을 처리하고, MediaPipe로 손을 인식한 결과를 ROS 2에 연결하는 내용을 배웠다. ROS는 로봇을 구성하는 프로그램들이 서로 정보를 주고받도록 해주는 도구다. 화면 속 거북이를 움직이는 turtlesim부터 영상과 손동작을 연결하는 내용까지 다뤘다.
OpenCV나 YOLO를 만지다 보니 대학에서 전공 공부하던 때가 생각났다. 회사 일을 하다 보면 필요한 부분 위주로 보게 되는데, 이렇게 시간을 잡고 AI를 공부하니 재미있었다. 석사도 한번 해보고 싶다는 생각이 들더라.
점심은 함경도찹쌀순대
이날부터 서울지사 선임분이 점심에 합류하셨다. 주변 맛있는 집을 찾아주셔서 점심 메뉴를 고르기가 편해졌다. 첫날 마제소바, 둘째 날 칼국수를 먹었으니 오늘은 밥이 먹고 싶었다.
⭐ 내 별점: 4.0 / 5
나는 병천 근처에 살아서 순대국밥을 먹을 일이 꽤 있는데, 여기는 그중에서도 맛있는 편이었다. 국물이 진하고 약간 MSG가 느껴지는 듯한 맛이었다. 깔끔한 맛보다는 진하고 자극적인 쪽이었다. 딱 내 취향이었다.
주변 회사에서 점심 먹으러 온 듯한 사람들도 많았다. 선임분 덕분에 점심부터 잘 먹고 들어가서 오후 수업을 들었다.
저녁은 메이플버거
저녁에는 전날 미혼술관에서 추천받은 메이플버거에 갔다. 동료분들도 같이 데리고 갔는데, 주유소 옆에 있는 수제버거집이었다. 위치가 좀 특이했다.
⭐ 내 별점: 2.5 / 5
먹을 자리가 없어서 포장한 뒤 각자 숙소에서 먹기로 했다. 나는 아임파인버거를 골랐다. 단품부터 저녁 식대를 넘겨버려서 이건 무조건 맛있어야 했다.
먹어보니 흔히 먹는 수제버거 정도의 맛이었다. 맛이 없지는 않았지만 가격을 생각하면 조금 아쉬웠다. 추천받아서 동료분들까지 데리고 왔는데, 엄청 맛있다고 하기는 애매했다.
당시에는 주유하면 아메리카노도 준다고 했다. 주유하러 왔다가 버거까지 먹는 사람에게는 괜찮을 것 같았다.
넷째 날, VLM과 행동 연결
넷째 날에는 VLM과 VLA 이야기가 나왔다. VLM은 이미지를 보고 언어로 답하는 모델이고, VLA는 여기에 행동까지 연결하는 모델이다. 사진을 보고 설명하는 데서 끝나는 게 아니라 로봇이 어떻게 움직일지까지 다루는 것이다.
이날 실습은 모델이 판단한 결과를 사람이 만든 제어 코드에 연결하는 방식이었다. YOLO로 물체나 자세를 인식하고, 좌표와 판단 결과를 ROS로 전달해 움직임에 활용하는 내용을 배웠다. 교재에서는 이런 구성을 Pseudo-VLA라고 설명했다.
학부 때 AI를 다뤘지만, 모델의 판단을 로봇의 움직임으로 연결하는 방식은 새롭게 느껴졌다. 그러면 VLA는 어떤 데이터로 학습시키는 걸까 궁금했다. 아는 내용은 실습하면서 다시 확인하고, 새로운 부분은 따로 찾아보는 재미가 있었다. 당시에는 Physical AI 쪽으로 해볼 게 많겠다는 생각도 들었다.
점심은 반궁 가락점
점심에는 반궁 가락점에 갔다. 반상을 파는 곳인데, 나는 생선을 별로 안 좋아해서 제육반상을 골랐다.
점심치고는 가격이 좀 있었지만 정갈하게 잘 나왔다. 반찬도 다 괜찮았고, 좋아하는 누룽지도 있어서 마음에 들었다. 출장 와서 계속 밖에서 먹다 보니 이런 깔끔한 한 끼가 좋더라. 점심으로 먹기에는 이번 주에 간 곳 중에서도 꽤 만족스러웠다.
저녁은 박호
수업이 끝나고 친구를 만나려고 했는데, 친구의 배포 일정이 밀려서 약속이 취소됐다. 그래서 바에서 추천받은 곳 중에 박호를 혼자 찾아갔다. 프랑스식 쌀국수를 하는 집이라고 해서 궁금했다.
⭐ 내 별점: 4.5 / 5
쌀국수 국물에 바게트를 찍어 먹는 게 신기했다. 국물이 좋아서 맛있게 먹었고, 바게트랑도 잘 어울렸다. 여기는 이번 출장에서 먹은 곳 중에 특히 추천하고 싶다.
다만 가격은 있는 편이었고 바게트도 따로 주문해야 했다. 혼자 먹기에는 양이 많아서 조금 남겼다. 둘이 가면 바게트 하나를 나눠 먹는 게 좋을 것 같다. 친구랑 같이 왔으면 딱 좋았겠네.
다섯째 날, VLA와 개인 데모
금요일에는 학습된 VLA 모델이 시뮬레이션에서 동작하는 과정을 봤다. MuJoCo와 LIBERO 환경에서 기존 SmolVLA 모델을 실행하는 내용이었다. 카메라 영상과 지시, 로봇 상태를 입력하면 모델이 여러 단계의 행동을 예측한다. 예측한 행동 중 앞부분을 실행한 뒤, 바뀐 상태를 다시 보고 다음 움직임을 정하는 식이다.
전날에는 모델의 판단을 제어 코드에 연결했다면, 이날은 학습된 모델이 행동을 출력하는 과정을 다뤘다. 수업에서 모델을 처음부터 학습한 것은 아니고, 준비된 모델을 실행하며 입력과 출력이 어떻게 이어지는지 확인했다. 로봇 AI가 관측한 정보를 어떻게 행동으로 바꾸는지 이해하는 데 도움이 됐다.
수업 내용을 응용해 검사 공정 시뮬레이션을 구현했다. YOLO로 물체와 불량을 검출하고 LLM·VLM으로 판정한 뒤, 그 결과를 로봇팔 동작에 연결했다. 로봇팔에는 이미지와 현재 상태를 받아 움직임을 예측하도록 학습시킨 모델을 사용했다.
평소 회사에서 만드는 Agent와는 다르게 모델의 판단을 움직임으로 연결하는 작업이라 재미있었다. 검출, 판정, 동작을 하나의 흐름으로 묶으면서 수업에서 배운 내용을 직접 적용할 수 있었다.
첫 주 교육을 마치고
수업을 마치고 집으로 돌아갔다. 금요일이라 그런지 열차 표 잡기가 쉽지 않았다. 겨우 수서에서 오송으로 가는 표를 구해서 내려왔다.
첫날에는 잠도 못 자고 캐리어 끌고 올라오느라 피곤했는데, 돌아갈 때는 실습도 하고 데모도 하나 만들었다는 생각에 뿌듯했다. 익숙한 내용도 다시 봤고, VLA처럼 궁금했던 개념도 배웠다.
며칠 동안 호텔에서 지내면서 수업 듣고, 동료분들과 밥 먹고, 저녁에는 근처를 돌아다녔다. 이렇게 길게 출장을 온 건 처음이라 공부하는 재미도 있었고 서울에서 지내는 것도 괜찮았다. 막상 돌아가려니 조금 아쉬웠다.
집에 오니 미호가 반겨줬다. 첫 주 교육은 이렇게 끝났다. 다음 주에는 회사로 돌아가고, 그다음 주에는 남은 일주일 교육을 들으러 다시 서울에 올 예정이었다.
