정보 제공 목적이며 특정 기술·제품 도입을 권유하는 글이 아닙니다.
관련해서 또 하나의 효율형 MoE, SKT A.X K2도 함께 참고하시면 좋습니다.
관련해서 메타의 오픈웨이트 뮤즈 글리머도 함께 참고하시면 좋습니다.
큰 인공지능 모델을 만드는 사람들 사이에서 조용히 골칫거리로 남아 있던 문제가 하나 있습니다.
모델을 키우면서도 속도를 유지하려고 다들 쓰는 기술이 있습니다. 바로 MoE(Mixture-of-Experts, 전문가 혼합)입니다. 그런데 이 기술에는 성가신 부작용이 따라옵니다. 모델이 자꾸 무거워집니다.
먼저 MoE가 무엇인지 짧게 풀어 보겠습니다. 이 이야기 전체가 여기에 걸려 있어서입니다.
보통의 신경망은 입력을 모든 매개변수에 다 통과시킵니다. 모델이 커질수록 이 연산 비용이 급격히 불어납니다. MoE는 모델을 ‘전문가’라고 부르는 여러 개의 작은 전문 신경망으로 쪼갠 다음, ‘라우터’라는 작은 교통 정리 장치가 각 입력을 그중 일부에게만 보냅니다.
그래서 모델은 매개변수를 아주 많이 품고 있으면서도, 입력 하나당 실제로는 그중 일부만 깨어납니다. 머리는 크지만 한 번 처리할 때 드는 연산은 적습니다. DeepSeek, Mixtral 같은 최신 모델들이 이 방식에 기대는 이유입니다.
문제는 여기서 생깁니다.
기존 방식은 신경망의 층마다 전문가 집단을 따로 뒀습니다. 100개 층에 각각 1,000명의 전문가를 두면, 메모리에 전문가 10만 명을 이고 다녀야 합니다. 그런데 그중 상당수는 결국 거의 비슷한 것을 배웁니다. 중복된 매개변수, 불어나는 파일 크기, 그리고 한 번도 안 쓰더라도 계속 물고 있어야 하는 메모리입니다.
울산과학기술원(UNIST) 연구팀이 바로 이 지점을 공략했습니다.
인공지능대학원 김태환 교수팀이며, 제1저자는 석사과정 홍건우 연구원입니다. 이들이 만든 구조의 이름이 GMoE(Global Mixture-of-Experts)입니다. 이 논문은 ‘GMoE: Global Mixture of Experts with Logit Propagation’이라는 제목으로, 자연어 처리 분야 최고 권위 학회로 꼽히는 ACL 2026에 채택됐습니다.
아이디어는 막상 들어 보면 단순합니다.
층마다 전문가를 따로 두는 대신, 모든 층이 함께 쓰는 ‘공용 전문가’ 한 묶음을 두고, 각 층에는 그 층에만 필요한 ‘전용 전문가’를 하나씩만 붙입니다. 연구팀이 든 예로 설명하면, 100개 층에 각각 1,000명을 둬서 10만 명을 끌고 다니는 대신, 공용 전문가 1,000명에 층별 전용 전문가 100명을 더해 약 1,100명으로 줄이는 식입니다.
수치가 흥미롭습니다.
중간 규모 모델에서 매개변수를 5억 4,900만 개에서 2억 400만 개로, 약 63% 줄였습니다. 그런데 평균 정답률은 39.51%로, 기존 모델의 39.55%와 사실상 같았습니다. 모든 수치는 연구팀이 보고한 값이며, 팀은 소·중·대 규모 모델에서 이 방식을 검증했다고 밝혔습니다.
그런데 저는 두 번째 결과가 더 중요하다고 봅니다. 그냥 지나치기 쉬운 부분입니다.
MoE 라우터에는 ‘라우팅 붕괴’라는 고질병이 있습니다. 라우터가 게을러져서 늘 몇몇 단골 전문가에게만 입력을 몰아주는 현상입니다. 그러면 비싼 값을 치르고 만든 전문가 상당수가 놀고먹으며 제대로 배우지 못합니다.
GMoE는 이 부담을 훨씬 고르게 나눴다고 합니다. 실제로 활용된 서로 다른 경로 수가 8만 1,000개를 넘어 기존의 3배 이상으로 늘었고, 한 경로에 쏠리던 비율은 약 25~46%에서 11% 수준으로 떨어졌습니다. 더 많은 전문가가 제 몫을 했다는 뜻입니다.
여기에는 논문이 ‘로짓 전파(logit propagation)’라고 부르는 요소가 작용합니다. 층마다 라우터가 따로 판단하는 대신, 층을 가로질러 공유되는 GRU 기반 전역 라우터가 라우팅 로짓을 다음 층으로 전달합니다. 층별 선택이 제각각 흩어지지 않고 전체 층에서 서로 맞물려 움직이게 하는 방식입니다.
여기서 짚을 것이 하나 있습니다.
이 연구가 눈에 들어온 이유는 ‘63% 감소’라는 헤드라인이 아닙니다. 절감이 어디서 비롯됐는지가 핵심입니다.
요즘 제가 다룬 효율화 이야기들은 대부분 문제를 바깥에서 공략했습니다. 리퀴드 AI의 초소형 온디바이스 모델은 모델 전체를 줄여 폰에 넣었고, 티모신의 잉클링 스몰은 크기를 4분의 1로 깎았습니다. 하드웨어 쪽에서는 AI의 진짜 병목이 조용히 메모리로 넘어갔습니다.
GMoE는 구조(아키텍처) 층위에서 논 것입니다. 기존 MoE 설계 자체가 필요도 없는 전문가를 중복으로 이고 다녀서 애초에 낭비였다는 지적입니다. 설계를 고치니 양자화나 증류에 손대기도 전에 절감의 상당 부분이 공짜로 따라온 셈입니다.
이 구분이 중요한 이유가 있습니다. 이 접근들은 서로 보완합니다. 더 날씬한 구조 위에, 더 작은 크기, 그 밑에 더 나은 메모리 하드웨어. 서로 경쟁하는 게 아니라 같은 목표를 향한 서로 다른 층위입니다. 그리고 그 싸움은 결국 ‘더 적은 메모리에 더 많은 능력을 담는’ 한 가지로 수렴합니다.
솔직하게 두 가지를 짚어 두겠습니다.
첫째, 여기 정답률(약 39%)은 절대값으로 보면 낮습니다. GPT급이 아니라 벤치마크 위의 연구 규모 모델이라는 뜻입니다. 주장의 요지는 ‘최고 성능’이 아니라 ‘같은 정확도에 63% 더 가볍다’는 것입니다. 이 방식이 초대형 규모에서도 그대로 통할지는 아직 열린 질문이며, 산업에서 실제로 채택할지를 가르는 지점이기도 합니다.
둘째, ‘공용 전문가’라는 개념 자체가 UNIST의 발명은 아닙니다. DeepSeek 등도 공통 지식을 담으려고 공용 전문가 아이디어를 이미 씁니다. GMoE의 새로움은 그 공유를 층을 가로질러 전역으로 밀어붙였다는 점, 그리고 라우팅 다양성에서 보고한 개선입니다.
한국 독자 입장에서 하나 더 짚고 싶은 대목이 있습니다. DeepSeek, Mixtral 같은 굵직한 MoE 연구는 대부분 막대한 연산 자원을 깔고 있는 대형 산업 연구소에서 나옵니다. GMoE는 국내 대학원의 학술 성과이며, 석사과정 연구원이 제1저자로 최고 권위 학회에 올렸습니다. 아키텍처 연구는 GPU 창고 없이도 의미 있는 말을 할 수 있는 몇 안 되는 영역이며, 이번 결과가 그 좋은 예입니다.
제 생각은 이렇습니다. 이 층간 공유 아이디어를 더 큰 연구소가 받아 규모를 키우는지 지켜볼 만합니다. 학술 연구의 아이디어가 실제로 통할지는 보통 거기서 갈립니다.
정보 제공 목적이며 특정 기술·제품 도입을 권유하는 글이 아닙니다.
원문 출처 / Source: https://www.sedaily.com/article/20077470 · https://aclanthology.org/2026.acl-long.2065/
이미지: Growtika / Unsplash
댓글 남기기