TraviaTechPie Review

AI 이미지 생성기에 사람 한 명을 그려 달라고 하면 정말 잘 그립니다. 피부, 머리카락, 조명까지 완벽합니다. 그런데 두 사람이 악수하는 장면, 부모가 아이를 안아 올리는 장면, 친구 넷이 어깨동무하는 장면을 요청해 보면 이야기가 달라집니다.

합성 미디어가 이렇게 감쪽같아질수록, EU의 AI 라벨링 의무처럼 라벨을 강제하려는 시도가 뒤따릅니다.

손이 서로 뭉개지고, 팔이 엉뚱한 어깨에서 자라나고, 다리가 세 개가 되기도 합니다. 지금의 모델은 사람을 그릴 줄은 알지만, 사람들이 서로 무언가를 하는 장면은 아직 잘 못 그립니다.

코넬대학교(Cornell University) 연구진이 바로 이 약점을 정면으로 파고들었습니다.

한 명씩 순서대로 쌓아 올리는 방식입니다

논문 제목은 “Composing People Together”입니다. 우리말로 옮기면 “사람들을 함께 구성하기” 정도입니다. 지난 7월 로스앤젤레스에서 열린 컴퓨터 그래픽스 학회 SIGGRAPH 2026에서 발표됐습니다.

저자는 컴퓨터과학 박사과정 원쉬안 펑(Wenxuan Peng), 바라스 하리하란(Bharath Hariharan) 부교수, 그리고 코넬 테크의 하다르 아베르부흐엘로르(Hadar Averbuch-Elor) 조교수입니다.

핵심 아이디어는 의외로 단순합니다. 여러 사람을 한꺼번에 그리는 대신 한 명씩 순서대로 쌓아 올립니다.

기존 방식이 어려운 이유가 여기 있습니다.

• 지금의 이미지 생성 모델(diffusion)은 화면 전체를 한꺼번에 그립니다.
• 사람이 한 명일 때는 몸이 하나뿐이라 괜찮습니다.
• 그런데 두 몸이 물리적으로 맞닿는 순간, 어느 팔이 누구 것인지 모델이 판단할 근거가 사라집니다.

코넬 연구진의 방법은 이 흐름을 바꿉니다. 먼저 첫 번째 사람의 자세(pose)만 예측합니다. 아베르부흐엘로르 교수의 설명대로, 이 예측을 조건으로 넣어 두 번째 사람을 그리고, 다시 그 위에 세 번째 사람을 올립니다.

이렇게 하면 새로 그려지는 사람이 앞서 그려진 사람들을 보면서 자기 위치를 잡습니다. 혼란스러운 동시 작업을 질서 있는 순서 작업으로 바꾼 셈입니다.

‘자세’를 따로 그려서 구조를 잡습니다

이 순서가 작동하려면 두 가지 장치가 필요합니다.

첫째는 자세와 이미지를 함께 예측하는 방식입니다. 모델은 픽셀만 칠하지 않습니다. 사람마다 관절과 팔다리를 나타내는 뼈대 그림(OpenPose 형식)을 따로 예측하고, 이것을 이미지와 같은 방식으로 처리합니다. 몸의 구조와 겉모습을 나란히 놓고 판단하는 것입니다.

둘째는 ‘누가 누구에게 무엇을 하는지’를 묶어 주는 장치입니다. 같은 사람에 속한 정보(설명 문장, 자세, 이미지 영역)에 같은 표식을 붙여서, “컵을 건네는 여성”이라는 설명이 엉뚱한 사람에게 옮겨 붙지 않게 합니다.

기술적으로 영리한 점은 따로 있습니다. 처음부터 새로 만들지 않았습니다.

• 기반 모델은 블랙 포레스트 랩스가 2024년에 공개한 오픈 모델 FLUX입니다.
• 거대한 이미지 모델을 다시 학습시키지 않고, 자세를 다루는 부분에만 소량의 학습(LoRA)을 붙였습니다.
• 학습 데이터는 코넬대가 2021년에 만든 ‘Who’s Waldo’ 데이터셋에서 뽑은 약 3만 장의 상호작용 이미지입니다.

숫자로 보면 확실히 나아졌습니다

연구진이 직접 만든 평가 기준 ‘DrawWaldoWorlds’에서, 이 모델은 난이도별로 0.84, 0.72, 0.56의 정확도를 기록했습니다. 같은 기준에서 FLUX는 0.71, 0.56, 0.39, 스테이블 디퓨전 3.5는 0.68, 0.55, 0.31에 그쳤습니다.

사람 20명을 대상으로 한 선호도 조사에서는 약 2대 1로 코넬 모델을 선택했습니다. FLUX 기본형 대비 63.3%, FLUX Kontext 대비 79.0%였습니다.

다만 솔직하게 짚을 점도 있습니다. 20명은 작은 표본이고, 선호도 조사는 주관적입니다. 개선은 분명하지만 도약이라기보다 한 걸음입니다. 가장 쉬운 난이도에서도 0.84이니, ‘누가 누구에게’는 나아진 것이지 완전히 풀린 것은 아닙니다. 아직은 연구 시제품이라 당장 브라우저에서 써 볼 수 있는 제품도 아닙니다.

진짜 흥미로운 건 화질이 아니라 ‘방법’입니다

제가 여기서 눈여겨본 것은 그림의 품질이 아니라 접근 방식입니다.

지난 몇 년간 생성 AI의 지배적인 습관은 “하나의 거대한 모델이 한 번에 다 처리하게 하라”였습니다. 더 큰 모델, 더 많은 데이터, 화면 전체를 한꺼번에. 그런데 이번 결과는 정반대 쪽에 표를 던집니다. 어려운 문제를 순서 있는 단계로 쪼개고, 각 단계가 앞 단계에 기대게 하는 방식입니다.

이 접근 방식은 이 블로그가 계속 강조해 온 방향과 맞닿아 있습니다.

한 번에 답을 내는 대신 루프를 돌며 스스로 상태를 점검하는 에이전트 AI와 같은 모양입니다. 로봇이 세상을 한 순간씩 감지하며 반응하는 ‘피지컬 AI’와도 통합니다. 앞서 구글 딥마인드가 휴머노이드에 시각-언어-행동 모델을 얹은 소식을 다뤘을 때도 결이 같았습니다. 어려운 문제는 한 번의 추측이 아니라 피드백 구조로 접근하면 훨씬 다루기 수월해집니다.

여기서 ‘자세’라는 개념이 조용히 강력합니다. 뼈대 그림은 픽셀 덩어리와 달리 눈으로 보고, 고치고, 따져 볼 수 있는 명확한 정보입니다. 이 논문의 진짜 기여는 다른 데 있습니다. 모델에게 쪼갤 수 있는 명시적 구조를 주고 한 조각씩 채우게 하는 방식이, 전체를 한꺼번에 지어내게 하는 것보다 낫다는 것, 바로 그 증명입니다.

한 가지 더 있습니다. 이것은 천문학적 연산 비용을 쓰는 최전선 연구소의 결과가 아닙니다. 오픈 모델 위에 3만 장의 이미지와 소량의 학습을 정교하게 얹은 대학 연구실의 작업입니다. 기반 모델이 계속 열리는 시대에, 영리한 아이디어는 점점 이런 곳에서 나옵니다. 누가 가장 큰 장비를 가졌느냐가 아니라, 모델이 어떻게 생각해야 하는가를 가장 날카롭게 묻는 쪽이 앞서는 시대입니다.

여러 사람의 상호작용은 그 질문으로 좋은 주제였습니다. 다른 연구자들이 조용히 넘어간 문제였기 때문입니다.

※ 이 글은 정보 제공 목적입니다.

원문 출처 / Source: https://news.cornell.edu/stories/2026/07/strike-pose-creating-more-realistic-multi-person-images

이미지: Sarah Sheedy / Unsplash