๐Ÿ’ซ ์ „์ฒด ๋ชจ๋ธ ๋Œ€์‹  ์–ด๋Œ‘ํ„ฐ๋ฅผ ์šด์˜ํ•˜๊ธฐ
2026๋…„ 5์›” 3์ฃผ์ฐจ ์…€๋ ‰ํŠธ์Šคํƒ€ ๋‰ด์Šค๋ ˆํ„ฐ
์—๋””ํ„ฐ: ์ •์ธ์˜                                   
๐Ÿ“ฐ MinT: LLM ๋ฒ„์ „์„ ๊ด€๋ฆฌํ•˜๋Š” ์ƒˆ๋กœ์šด ๋ฐฉ์‹

AI ์„œ๋น„์Šค๋Š” ๋ณดํ†ต ํ•˜๋‚˜์˜ ๊ฑฐ๋Œ€ํ•œ ๊ธฐ๋ณธ ๋ชจ๋ธ๋งŒ ๊ทธ๋Œ€๋กœ ์“ฐ์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๊ฐ™์€ ๊ธฐ๋ณธ ๋ชจ๋ธ์„ ๋ฐ”ํƒ•์œผ๋กœ๋„ ๋ชฉ์ ์— ๋”ฐ๋ผ ์—ฌ๋Ÿฌ ๋ฒ„์ „์ด ๊ณ„์† ์ƒ๊ธฐ์ง€์š”. ์˜ˆ๋ฅผ ๋“ค์–ด ๋ฒ•๋ฅ ํŒ€์€ ๋ฒ•๋ฅ  ๋ฐ์ดํ„ฐ๋กœ ์ถ”๊ฐ€ ํ•™์Šตํ•œ ๋ฒ„์ „์„ ์“ฐ๊ณ , ๊ณ ๊ฐ A์‚ฌ๋Š” A์‚ฌ ์ „์šฉ ๋ฒ„์ „์„, ๊ณ ๊ฐ B์‚ฌ๋Š” B์‚ฌ ์ „์šฉ ๋ฒ„์ „์„ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์—ฌ๊ธฐ์— ์–ด์ œ ์‹คํ—˜ํ•œ ๋ฒ„์ „๊ณผ ์˜ค๋Š˜ ์‹คํ—˜ํ•œ ๋ฒ„์ „, ๋ฌธ์ œ๊ฐ€ ์ƒ๊ฒผ์„ ๋•Œ ๋˜๋Œ์•„๊ฐ€๊ธฐ ์œ„ํ•œ ๋กค๋ฐฑ ์ง€์ ๋„ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.


๊ทธ๋™์•ˆ ์ด๋Ÿฐ ๋ฒ„์ „๋“ค์„ ๊ด€๋ฆฌํ•˜๋ ค๋ฉด, ๊ฐ๊ฐ์„ ๋ณ„๋„์˜ ์ „์ฒด ์ฒดํฌํฌ์ธํŠธ์ฒ˜๋Ÿผ ๋‹ค๋ค„์•ผ ํ•˜๋Š” ๊ฒฝ์šฐ๊ฐ€ ๋งŽ์•˜์Šต๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด 30B ๋ชจ๋ธ์€ ํŒŒ๋ผ๋ฏธํ„ฐ๊ฐ€ ์•ฝ 300์–ต ๊ฐœ์ด๊ณ , ์ด๋ฅผ 16๋น„ํŠธ ํ˜•์‹์œผ๋กœ ์ €์žฅํ•˜๋ฉด ๊ฐ€์ค‘์น˜๋งŒ ์•ฝ 60GB๊ฐ€ ๋˜๋Š”๋ฐ์š”. ์ด๋Ÿฐ ๋ณ€ํ˜•์ด 100๊ฐœ๋งŒ ์žˆ์–ด๋„ ๋‹จ์ˆœ ๊ณ„์‚ฐ์œผ๋กœ 6TB ๊ทœ๋ชจ์— ๋‹ฌํ•ฉ๋‹ˆ๋‹ค. ์ด ์ฒดํฌํฌ์ธํŠธ๋“ค์„ ํ›ˆ๋ จ ์„œ๋ฒ„์™€ ์„œ๋น™ ์„œ๋ฒ„ ์‚ฌ์ด์—์„œ ์˜ฎ๊ธฐ๊ณ , ๋กœ๋”ฉํ•˜๊ณ , ์บ์‹ฑํ•˜๋ ค๋ฉด ์ €์žฅ ๊ณต๊ฐ„๋ฟ ์•„๋‹ˆ๋ผ ๋„คํŠธ์›Œํฌ ์ „์†ก ์‹œ๊ฐ„, GPU ๋ฉ”๋ชจ๋ฆฌ, ๋กœ๋”ฉ ๋Œ€๊ธฐ ์‹œ๊ฐ„๊นŒ์ง€ ํ•จ๊ป˜ ๋Š˜์–ด๋‚ฉ๋‹ˆ๋‹ค. ๋ฒ„์ „์ด ๋งŽ์•„์งˆ์ˆ˜๋ก ์ƒˆ ๋ชจ๋ธ์„ ๋ฐฐํฌํ•˜๋Š” ์†๋„๋Š” ๋А๋ ค์ง€๊ณ , ์—ฌ๋Ÿฌ ์‹คํ—˜์„ ๋™์‹œ์— ๋Œ๋ฆฌ๊ฑฐ๋‚˜ ๋น ๋ฅด๊ฒŒ ๋กค๋ฐฑํ•˜๋Š” ์ผ๋„ ์–ด๋ ค์›Œ์ง€์ง€์š”. ๊ทธ๋Ÿฐ๋ฐ,


์ •๋ง ๋งค๋ฒˆ ์ „์ฒด ๋ชจ๋ธ์„ ์ƒˆ๋กœ ๋งŒ๋“ค๊ณ  ์˜ฎ๊ฒจ์•ผ ํ• ๊นŒ์š”?

๋งŒ์•ฝ ๊ฑฐ๋Œ€ํ•œ ๊ธฐ๋ณธ ๋ชจ๋ธ์€ ๊ทธ๋Œ€๋กœ ๋‘๊ณ ,
๋ฐ”๋€Œ๋Š” ํ–‰๋™๋งŒ ์ž‘์€ ๋ถ€ํ’ˆ์ฒ˜๋Ÿผ ๊ฐˆ์•„ ๋ผ์šธ ์ˆ˜ ์žˆ๋‹ค๋ฉด ์–ด๋–จ๊นŒ์š”? ๐Ÿค”


๋…ผ๋ฌธ MinT(Managed Infrastructure for Training and Serving Millions of LLMs)๋Š” ๋ฐ”๋กœ ์ด ์•„์ด๋””์–ด์—์„œ ์ถœ๋ฐœํ•ฉ๋‹ˆ๋‹ค.

LoRA๋ฅผ ๋‹ค๋ฅด๊ฒŒ ๋ณด์ž

LoRA(Low-Rank Adaptation)๋Š” ๊ฑฐ๋Œ€ํ•œ ๋ชจ๋ธ ์ „์ฒด๋ฅผ ๋‹ค์‹œ ํ•™์Šตํ•˜์ง€ ์•Š๊ณ , ์ผ๋ถ€ ๋ณ€ํ™”๋งŒ ์ž‘์€ ์ €๋žญํฌ ํ–‰๋ ฌ๋กœ ํ•™์Šตํ•˜๋Š” ๋ฐฉ๋ฒ•์ž…๋‹ˆ๋‹ค. ๊ฐ„๋‹จํ•˜๊ฒŒ ๋งํ•˜๋ฉด, ๊ธฐ๋ณธ ๋ชจ๋ธ ์ „์ฒด๋ฅผ ๊ณ ์น˜๋Š” ๋Œ€์‹ , ๋ชจ๋ธ์— ์ž‘์€ ์ถ”๊ฐ€ ๋ถ€ํ’ˆ์„ ๋ถ™์—ฌ ์›ํ•˜๋Š” ํ–‰๋™์„ ๋งŒ๋“ค๋„๋ก ํ•˜๋Š” ๋ฐฉ์‹์ž…๋‹ˆ๋‹ค. ๊ธฐ์กด ์‹œ๊ฐ๊ณผ ๋‹ค๋ฅด๊ฒŒ, MinT๋Š” LoRA๋ฅผ ๋‹จ์ˆœํ•œ ๊ฒฝ๋Ÿ‰ ํ•™์Šต ๊ธฐ๋ฒ•์œผ๋กœ ๋ณด์ง€ ์•Š์Šต๋‹ˆ๋‹ค. LoRA๋ฅผ ํ›ˆ๋ จ, ํ‰๊ฐ€, ์„œ๋น™, ๋กค๋ฐฑ๊นŒ์ง€ ์ด์–ด์ง€๋Š” ์„œ๋น„์Šค ์šด์˜์˜ ๊ธฐ๋ณธ ๋‹จ์œ„๋กœ ์‚ฌ์šฉํ•˜์ง€์š”.


๊ธฐ์กด ๋ฐฉ์‹์„ ๊ฐ„๋‹จํ•˜๊ฒŒ ์•Œ์•„๋ณผ๊นŒ์š”? ๋จผ์ €, ์ „์ฒด fine-tuning์€ ๊ฐ ๋ฒ„์ „๋งˆ๋‹ค ์ „์ฒด ๋ชจ๋ธ ์ฒดํฌํฌ์ธํŠธ๋ฅผ ๋งŒ๋“ญ๋‹ˆ๋‹ค. LoRA merge ๋ฐฉ์‹์€ ํ•™์Šต์€ LoRA๋กœ ๊ฐ€๋ณ๊ฒŒ ํ•˜์ง€๋งŒ, ์„œ๋น™ ์ „์— LoRA๋ฅผ ๊ธฐ๋ณธ ๋ชจ๋ธ์— ๋ณ‘ํ•ฉํ•ด ๋‹ค์‹œ ์ „์ฒด ๋ชจ๋ธ ํŒŒ์ผ์„ ๋งŒ๋“ญ๋‹ˆ๋‹ค. ๊ฒฐ๊ตญ ์„œ๋น™ ๋‹จ๊ณ„์—์„œ๋Š” ์—ฌ์ „ํžˆ ๋ฌด๊ฑฐ์šธ ์ˆ˜๋ฐ–์— ์—†์Šต๋‹ˆ๋‹ค. 


๋ฐ˜๋ฉด MinT๋Š” ๊ธฐ๋ณธ ๋ชจ๋ธ์„ inference worker, ์ฆ‰ ๋‹ต๋ณ€์„ ์ƒ์„ฑํ•˜๋Š” ์„œ๋ฒ„์— ๊ณ„์† ์˜ฌ๋ ค๋‘๋Š”๋ฐ์š”. ํ•™์Šต์ด ๋๋‚˜๋ฉด ์ „์ฒด ๋ชจ๋ธ์„ ์ƒˆ๋กœ ๋งŒ๋“ค์ง€ ์•Š๊ณ , ํ•™์Šต์œผ๋กœ ๋ฐ”๋€ ๋ถ€๋ถ„๋งŒ ๋‹ด์€ LoRA ์–ด๋Œ‘ํ„ฐ ๋ฒ„์ „์„ ๋”ฐ๋กœ ์ €์žฅํ•ด ์„œ๋น™ ์—”์ง„์— ๋ถ™์ž…๋‹ˆ๋‹ค. ๋…ผ๋ฌธ์—์„œ๋Š” ์ด ๊ณ ์ •๋œ ์–ด๋Œ‘ํ„ฐ ๋ฒ„์ „์„ adapter revision์ด๋ผ๊ณ  ๋ถ€๋ฆ…๋‹ˆ๋‹ค. ์ฆ‰ ํ›ˆ๋ จ๊ณผ ์„œ๋น™ ์‚ฌ์ด๋ฅผ ์˜ค๊ฐ€๋Š” ๋Œ€์ƒ์ด '์ „์ฒด ๋ชจ๋ธ'์ด ์•„๋‹ˆ๋ผ '์ž‘์€ ์–ด๋Œ‘ํ„ฐ ๋ฆฌ๋น„์ „'์œผ๋กœ ๋ฐ”๋€๋‹ค๊ณ  ๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

ํ›ˆ๋ จ์—์„œ ์„œ๋น™์œผ๋กœ ์ด๋™ํ•˜๋Š” ๋Œ€์ƒ์˜ ๋น„๊ต. ์ถœ์ฒ˜: ๋…ผ๋ฌธ.

MinT์˜ ํ•ต์‹ฌ ๊ฐœ๋…์„ ์•Œ์•„๋ณด์ž

์•ž์„œ ๋งํ•œ adapter revision(์–ด๋Œ‘ํ„ฐ ๋ฆฌ๋น„์ „)์€ MinT์—์„œ ๊ฐ€์žฅ ์ค‘์š”ํ•œ ๋‹จ์œ„์ž…๋‹ˆ๋‹ค. ์ด๋Š” ํŠน์ • ์‹œ์ ์— ๊ณ ์ •๋œ LoRA ์–ด๋Œ‘ํ„ฐ ๋ฒ„์ „์ธ๋ฐ์š”. ํ‰๊ฐ€ํ•  ๋•Œ๋„, ๋ชจ๋ธ์ด ์‹ค์ œ ๋‹ต๋ณ€์ด๋‚˜ ํ–‰๋™์„ ์ƒ์„ฑํ•˜๋Š” rollout์„ ๋งŒ๋“ค ๋•Œ๋„, ์˜จ๋ผ์ธ ์„œ๋น™์„ ํ•  ๋•Œ๋„, ๋˜ ๋ฌธ์ œ๊ฐ€ ์ƒ๊ฒจ ์ด์ „ ์ƒํƒœ๋กœ ๋˜๋Œ๋ฆด ๋•Œ๋„ ์ด ๊ณ ์ •๋œ ๋ฆฌ๋น„์ „์„ ๊ธฐ์ค€์œผ๋กœ ์‚ผ์Šต๋‹ˆ๋‹ค. ์‰ฝ๊ฒŒ ๋งํ•˜๋ฉด '์ด ํ–‰๋™์„ ๋‚ด๋Š” ํ™•์ •๋œ LoRA ํŒŒ์ผ'์ž…๋‹ˆ๋‹ค.


ํ•˜์ง€๋งŒ ์–ด๋Œ‘ํ„ฐ ํŒŒ์ผ๋งŒ ์žˆ๋‹ค๊ณ  ์šด์˜์ด ๋˜์ง€๋Š” ์•Š๊ฒ ์ง€์š”? ์ด ์–ด๋Œ‘ํ„ฐ๊ฐ€ ์–ด๋–ค ๊ธฐ๋ณธ ๋ชจ๋ธ๊ณผ ํ˜ธํ™˜๋˜๋Š”์ง€, ์–ด๋–ค ์„ค์ •์œผ๋กœ ํ•™์Šต๋˜์—ˆ๋Š”์ง€, ์ตœ์‹  ํ•™์Šต ์ƒํƒœ๋Š” ์–ด๋””์— ์žˆ๋Š”์ง€, ์–ด๋–ค rollout ๊ธฐ๋ก์„ ๊ฐ€์ง€๊ณ  ์žˆ๋Š”์ง€, ์–ด๋–ค ๋ฆฌ๋น„์ „๋“ค์ด ์„œ๋น™ ๊ฐ€๋Šฅํ•œ ์ƒํƒœ์ธ์ง€๋„ ํ•จ๊ป˜ ๊ด€๋ฆฌํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. MinT๋Š” ์ด๋Ÿฐ ์ •๋ณด๋ฅผ policy record, ์ฆ‰ ์ •์ฑ… ๋ ˆ์ฝ”๋“œ์— ์ €์žฅํ•ฉ๋‹ˆ๋‹ค.


MinT๋ฅผ ์ดํ•ดํ•˜๊ธฐ ์œ„ํ•ด์„œ๋Š” ๋ฐ”๋กœ ์ด ๋‘ ๊ฐœ๋…, ์–ด๋Œ‘ํ„ฐ ๋ฆฌ๋น„์ „๊ณผ ์ •์ฑ… ๋ ˆ์ฝ”๋“œ๊ฐ€ ์ค‘์š”ํ•œ๋ฐ์š”. ๊ฐ„๋‹จํ•˜๊ฒŒ ๋งํ•˜์ž๋ฉด ์–ด๋Œ‘ํ„ฐ ๋ฆฌ๋น„์ „์€ ํ–‰๋™์„ ๋‹ด์€ ์‹คํ–‰ ๋‹จ์œ„์ด๊ณ , ์ •์ฑ… ๋ ˆ์ฝ”๋“œ๋Š” ๊ทธ ํ–‰๋™์„ ์žฌํ˜„, ํ•™์Šต, ํ‰๊ฐ€, ์„œ๋น™, ๊ทธ๋ฆฌ๊ณ  ๋กค๋ฐฑํ•˜๊ธฐ ์œ„ํ•œ ๊ด€๋ฆฌ ์ƒํƒœ์ž…๋‹ˆ๋‹ค. ์ด ๊ตฌ๋ถ„ ๋•๋ถ„์— MinT๋Š” ์ˆ˜๋งŽ์€ ๋ชจ๋ธ ๋ฒ„์ „์„ ์ „์ฒด ์ฒดํฌํฌ์ธํŠธ๊ฐ€ ์•„๋‹ˆ๋ผ ์ž‘์€ ์–ด๋Œ‘ํ„ฐ์™€ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ๋กœ ๊ด€๋ฆฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

MinT์˜ ๊ฐœ์š”. ์ถœ์ฒ˜: ๋…ผ๋ฌธ.


์œ„ ๊ทธ๋ฆผ์€ MinT๊ฐ€ ์‚ฌ์šฉ์ž์˜ ์š”์ฒญ์„ ์–ด๋–ป๊ฒŒ ์‹ค์ œ ์ž‘์—…์œผ๋กœ ๋ฐ”๊พธ๋Š”์ง€ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค. ์‚ฌ์šฉ์ž๊ฐ€ ๊ธฐ๋ณธ ๋ชจ๋ธ, ๋ฐ์ดํ„ฐ์™€ ๋ณด์ƒ, LoRA ํ•™์Šต ์„ค์ •, ํ‰๊ฐ€๋‚˜ ์„œ๋น™ ๋ชฉํ‘œ๋ฅผ ์ •ํ•˜๋ฉด, MinT๋Š” ์ด๋ฅผ API๋ฅผ ํ†ตํ•ด ๋ฐ›์•„ ์ž‘์—… ํ์— ๋„ฃ๊ณ , ์ •์ฑ… ์ƒํƒœ์™€ ์–ด๋Œ‘ํ„ฐ ๋ฆฌ๋น„์ „์œผ๋กœ ๊ด€๋ฆฌํ•ฉ๋‹ˆ๋‹ค. ๋•๋ถ„์— ํ•˜๋‚˜์˜ ๊ณต์œ ๋œ ๊ธฐ๋ณธ ๋ชจ๋ธ ์œ„์—์„œ ์—ฌ๋Ÿฌ ์–ด๋Œ‘ํ„ฐ ๋ฒ„์ „์„ ํ›ˆ๋ จํ•˜๊ณ , ํ‰๊ฐ€ํ•˜๊ณ , ์„œ๋น™ํ•˜๊ณ , ํ•„์š”ํ•  ๋•Œ ๋กค๋ฐฑํ•  ์ˆ˜ ์žˆ์ง€์š”. ์Šค์ผ€์ค„๋ง, ์žฅ์•  ๋ณต๊ตฌ, ์บ์‹œ ๊ด€๋ฆฌ์ฒ˜๋Ÿผ ๋ณต์žกํ•œ ์ธํ”„๋ผ ์ž‘์—…์€ ์„œ๋น„์Šค ๋‚ด๋ถ€์—์„œ ์ฒ˜๋ฆฌ๋ฉ๋‹ˆ๋‹ค.

MinT๊ฐ€ ํ•ด๊ฒฐํ•˜๋ ค๋Š” ์„ธ ๊ฐ€์ง€ ๋ฌธ์ œ

๊ทธ๋ ‡๋‹ค๋ฉด MinT์˜ ๊ตฌ์กฐ๋Š” ์‹ค์ œ๋กœ ์–ด๋–ค ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•  ์ˆ˜ ์žˆ์„๊นŒ์š”? 


1. Scale Down

๋จผ์ €, ํ›ˆ๋ จ๊ณผ ์„œ๋น™ ์‚ฌ์ด์—์„œ ์˜ค๊ฐ€๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ์ „์ฒด ๋ชจ๋ธ ์ฒดํฌํฌ์ธํŠธ์—์„œ ์ž‘์€ ์–ด๋Œ‘ํ„ฐ ๋ฆฌ๋น„์ „์œผ๋กœ ์ค„์ด๋Š” ๋ฐฉ์‹์ž…๋‹ˆ๋‹ค. ๊ธฐ์กด ๋ฐฉ์‹์—์„œ๋Š” ํ•™์Šต์ด ๋๋‚œ ๋’ค ์ „์ฒด ๋ชจ๋ธ ์ฒดํฌํฌ์ธํŠธ๋ฅผ ๋งŒ๋“ค๊ณ , ์ด๋ฅผ ์„œ๋น™ ์„œ๋ฒ„๋กœ ์˜ฎ๊ธฐ๊ณ , ๋‹ค์‹œ ๋กœ๋”ฉํ•ด์•ผ ํ–ˆ๋Š”๋ฐ์š”. MinT๋Š” ์ด๋ฏธ ๊ธฐ๋ณธ ๋ชจ๋ธ์ด ์˜ฌ๋ผ๊ฐ€ ์žˆ๋Š” ์„œ๋น™ ์—”์ง„์— ์ž‘์€ ์–ด๋Œ‘ํ„ฐ ๋ฆฌ๋น„์ „๋งŒ ๋ถ™์ž…๋‹ˆ๋‹ค. ์‹คํ—˜ ๊ฒฐ๊ณผ์— ๋”ฐ๋ฅด๋ฉด, ์ด ๋ฐฉ์‹์€ ํ•™์Šต ๊ฒฐ๊ณผ๋ฅผ ์„œ๋น™ ๋‹จ๊ณ„๋กœ ๋„˜๊ธฐ๋Š” ์ „ํ™˜ ์‹œ๊ฐ„์„ Qwen3-4B ๋ชจ๋ธ์—์„œ๋Š” ๊ธฐ์กด merge ๋ฐฉ์‹๋ณด๋‹ค 18.3๋ฐฐ, Qwen3-30B ๋ชจ๋ธ์—์„œ๋Š” 2.85๋ฐฐ ์ค„์˜€๋‹ค๊ณ  ํ•ด์š”! ๐Ÿ˜ฎ

ํ•™์Šต ๊ฒฐ๊ณผ๋ฅผ ์„œ๋น™ ๋‹จ๊ณ„๋กœ ๋„˜๊ธฐ๋Š” ์‹œ๊ฐ„ ๋น„๊ต. ์ถœ์ฒ˜: ๋…ผ๋ฌธ.

2. Scale Up

์—ฐ๊ตฌ์ง„์€ MinT๊ฐ€ ์ž‘์€ ๋ชจ๋ธ์—์„œ๋งŒ ํ†ตํ•˜๋Š” ๋ฐฉ์‹์ด ์•„๋‹ˆ๋ผ, ํ›จ์”ฌ ํฐ Dense ๋ชจ๋ธ์ด๋‚˜ MoE ๋ชจ๋ธ์—์„œ๋„ ๊ฐ™์€ ๊ตฌ์กฐ๊ฐ€ ์œ ์ง€๋˜๋Š”์ง€๋ฅผ ํ™•์ธํ•ฉ๋‹ˆ๋‹ค. ํŠนํžˆ ์–ด๋ ค์šด ๋Œ€์ƒ์€ MoE ๋ชจ๋ธ์ธ๋ฐ์š”. MoE ๋ชจ๋ธ์€ ๋งค๋ฒˆ ๋ชจ๋“  ํŒŒ๋ผ๋ฏธํ„ฐ๋ฅผ ์“ฐ์ง€ ์•Š๊ณ , ํ† ํฐ๋งˆ๋‹ค ์ผ๋ถ€ expert๋ฅผ ์„ ํƒํ•ด ๊ณ„์‚ฐํ•ฉ๋‹ˆ๋‹ค. ๊ทธ๋ž˜์„œ rollout์„ ๋งŒ๋“ค ๋•Œ ์„ ํƒ๋œ ๊ฒฝ๋กœ์™€, ๋‚˜์ค‘์— ํ•™์Šตํ•  ๋•Œ ๋‹ค์‹œ ๊ณ„์‚ฐํ•œ ๊ฒฝ๋กœ๊ฐ€ ๋‹ฌ๋ผ์ง€๋ฉด ํ•™์Šต ์‹ ํ˜ธ๊ฐ€ ๋ถˆ์•ˆ์ •ํ•ด์งˆ ์ˆ˜ ์žˆ์ง€์š”. MinT๋Š” ์ด๋Ÿฐ ๊ฒฝ๋กœ ์ •๋ณด๋ฅผ ๊ธฐ๋กํ•˜๊ฑฐ๋‚˜, ์žฌํ˜„ํ•  ์ˆ˜ ์—†๋Š” ๊ฒฝ์šฐ ํ•ด๋‹น ํ† ํฐ์„ ํ•™์Šต ์‹ ํ˜ธ์— ๋ฐ˜์˜ํ•˜์ง€ ์•Š๋„๋ก ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค. ์ด๋ฅผ ํ†ตํ•ด rollout๊ณผ ํ•™์Šต ์‚ฌ์ด์˜ ๋ถˆ์ผ์น˜๋ฅผ ์ค„์ด๋ ค๋Š” ๊ฒƒ์ด์ง€์š”.


3. Scale Out

๋งˆ์ง€๋ง‰์œผ๋กœ ์—ฐ๊ตฌ์ง„์€ ์ˆ˜๋งŽ์€ ์–ด๋Œ‘ํ„ฐ ์ •์ฑ…์„ ์„œ๋น„์Šค์—์„œ ์–ด๋–ป๊ฒŒ ๊ด€๋ฆฌํ•  ์ˆ˜ ์žˆ๋Š”์ง€ ์‚ดํŽด๋ณด๋Š”๋ฐ์š”. ์—ฌ๊ธฐ์„œ '๋งŽ์€ ์–ด๋Œ‘ํ„ฐ๋ฅผ ๊ด€๋ฆฌํ•œ๋‹ค'๋Š” ๋ง์€ '๋ชจ๋“  ์–ด๋Œ‘ํ„ฐ๋ฅผ ๋™์‹œ์— GPU์— ์˜ฌ๋ฆฐ๋‹ค'๋Š” ๋œป์€ ์•„๋‹™๋‹ˆ๋‹ค. MinT๋Š” ์ˆ˜๋งŽ์€ ์–ด๋Œ‘ํ„ฐ๋ฅผ ์ด๋ฆ„์œผ๋กœ ์„ ํƒํ•  ์ˆ˜ ์žˆ๊ฒŒ ํ•ด๋‘๋˜, ์‹ค์ œ๋กœ ์ž์ฃผ ์“ฐ์ด๊ฑฐ๋‚˜ ํ˜„์žฌ ์š”์ฒญ์— ํ•„์š”ํ•œ ์–ด๋Œ‘ํ„ฐ๋งŒ ์„œ๋ฒ„ ๊ทผ์ฒ˜์˜ ์บ์‹œ๋‚˜ GPU ์‹คํ–‰ ๋‹จ๊ณ„๋กœ ์˜ฌ๋ฆฝ๋‹ˆ๋‹ค. ๋•๋ถ„์— ์ „์ฒด ์ •์ฑ… ๋ชฉ๋ก์€ ํฌ๊ฒŒ ์œ ์ง€ํ•˜๋ฉด์„œ๋„, ์‹ค์ œ GPU์™€ ๋ฉ”๋ชจ๋ฆฌ ์‚ฌ์šฉ๋Ÿ‰์€ ์ œํ•œ๋œ ๋ฒ”์œ„ ์•ˆ์—์„œ ๊ด€๋ฆฌํ•  ์ˆ˜ ์žˆ์ง€์š”.


๊ทธ๋Ÿฐ๋ฐ ์ด๋ ‡๊ฒŒ ์šด์˜ํ•˜๋ ค๋ฉด ํ•œ ๊ฐ€์ง€ ์ค‘์š”ํ•œ ๋ฌธ์ œ๊ฐ€ ์ƒ๊น๋‹ˆ๋‹ค. ์š”์ฒญ๋œ ์–ด๋Œ‘ํ„ฐ๊ฐ€ ์ด๋ฏธ ์บ์‹œ์— ์žˆ์œผ๋ฉด ๋น ๋ฅด๊ฒŒ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์ง€๋งŒ, ์ฒ˜์Œ ์š”์ฒญ๋˜๊ฑฐ๋‚˜ ์˜ค๋ž˜ ์“ฐ์ด์ง€ ์•Š์€ ์–ด๋Œ‘ํ„ฐ๋ผ๋ฉด ์ €์žฅ์†Œ์—์„œ ๊ฐ€์ ธ์™€ ์„œ๋น™ ์—”์ง„์— ์ƒˆ๋กœ ๋“ฑ๋กํ•ด์•ผ ํ•˜๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค. ํŠนํžˆ MoE ๋ชจ๋ธ์˜ LoRA ์–ด๋Œ‘ํ„ฐ๋Š” ์ž‘์€ tensor ์กฐ๊ฐ์ด ๋งค์šฐ ๋งŽ์•„์งˆ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด ๊ฒฝ์šฐ ํŒŒ์ผ ํฌ๊ธฐ ์ž์ฒด๋ณด๋‹ค, ์ˆ˜๋งŽ์€ ์ž‘์€ ์กฐ๊ฐ์„ ์ฝ๊ณ  ๋“ฑ๋กํ•˜๋Š” ๊ณผ์ •์ด ๋ณ‘๋ชฉ์ด ๋˜์ง€์š”. ์—ฐ๊ตฌ์ง„์€ ๊ธฐ์กด ์–ด๋Œ‘ํ„ฐ์˜ 37,248๊ฐœ tensor object๋ฅผ 672๊ฐœ๋กœ ์ค„์ด๋Š” ๋ฐฉ์‹์„ ์‚ฌ์šฉํ–ˆ๊ณ , ๊ทธ ๊ฒฐ๊ณผ live engine loading ๊ตฌ๊ฐ„์ด 8.5~8.7๋ฐฐ ๋นจ๋ผ์กŒ๋‹ค๊ณ  ๋ณด๊ณ ํ•ฉ๋‹ˆ๋‹ค.

AI/DX ์˜คํ”„๋ผ์ธ ๋„คํŠธ์›Œํ‚น ์ด๋ฒคํŠธ๐Ÿ”ฅ

๊ธˆ์œต์‚ฌ์—์„œ ์ƒ์„ฑํ˜• AI, ์‹ค์ œ๋กœ ์–ด๋–ป๊ฒŒ ์šด์˜๋ ๊นŒ์š”?


๊ทœ์ œ ๋Œ€์‘๋ถ€ํ„ฐ ํ”Œ๋žซํผ ๊ตฌ์ถ•๊นŒ์ง€, ํ˜„์—… AI ์—”์ง€๋‹ˆ์–ด๊ฐ€ ์ง์ ‘ ๊ฒฝํ—˜ํ•œ LLM ๋„์ž…์˜ ํ˜„์‹ค๊ณผ ์ธ์‚ฌ์ดํŠธ๋ฅผ ๊ณต์œ ํ•ฉ๋‹ˆ๋‹ค!

๊ทธ๋ž˜์„œ ์ด ์—ฐ๊ตฌ๊ฐ€ ์™œ ์ค‘์š”ํ• ๊นŒ?

์ธ์ƒ ๊นŠ์€ ๊ฒฐ๊ณผ์ด์ง€๋งŒ, ์ด๋ฅผ ๊ณผ์žฅํ•ด์„œ ์ฝ์„ ํ•„์š”๋Š” ์—†์Šต๋‹ˆ๋‹ค. ๋…ผ๋ฌธ ์ œ๋ชฉ์ฒ˜๋Ÿผ '์ˆ˜๋ฐฑ๋งŒ ๊ฐœ์˜ LLM(Millions of LLMs)์„ ๊ด€๋ฆฌํ•œ๋‹ค'๋Š” ๋ง์€ ์ˆ˜๋ฐฑ๋งŒ ๊ฐœ์˜ ์ „์ฒด ๋ชจ๋ธ์„ ๋™์‹œ์— GPU์— ์˜ฌ๋ฆฌ๊ฑฐ๋‚˜ ์‹คํ–‰ํ•œ๋‹ค๋Š” ๋œป์ด ์•„๋‹™๋‹ˆ๋‹ค. ์ˆ˜๋งŽ์€ ์–ด๋Œ‘ํ„ฐ๋ฅผ ์ด๋ฆ„ํ‘œ๊ฐ€ ๋ถ™์€ ๋ชฉ๋ก์ฒ˜๋Ÿผ ๊ด€๋ฆฌํ•ด๋‘๊ณ , ์š”์ฒญ์ด ๋“ค์–ด์˜ค๋ฉด ๊ทธ์ค‘ ํ•„์š”ํ•œ ์–ด๋Œ‘ํ„ฐ๋งŒ ๋ถˆ๋Ÿฌ์™€ ์“ฐ๋Š” ๋ฐฉ์‹์— ๊ฐ€๊น์ง€์š”. ๋˜ํ•œ 8.5~8.7๋ฐฐ ๋นจ๋ผ์กŒ๋‹ค๋Š” ๊ฒฐ๊ณผ๋„ ์ „์ฒด ์‚ฌ์šฉ์ž ์š”์ฒญ ์‹œ๊ฐ„์ด ๊ทธ๋งŒํผ ์ค„์—ˆ๋‹ค๋Š” ๋œป์€ ์•„๋‹™๋‹ˆ๋‹ค. ์ •ํ™•ํžˆ๋Š” ์–ด๋Œ‘ํ„ฐ๋ฅผ ์„œ๋น™ ์—”์ง„์— ์˜ฌ๋ฆฌ๋Š” ๊ตฌ๊ฐ„์ด ๋นจ๋ผ์กŒ๋‹ค๋Š” ์˜๋ฏธ์ž…๋‹ˆ๋‹ค.


๊ทธ๋Ÿผ์—๋„ ์ด๋ฒˆ ์—ฐ๊ตฌ๋Š” ํฅ๋ฏธ๋กญ์Šต๋‹ˆ๋‹ค. MinT๋Š” LoRA๋ฅผ ๋‹จ์ˆœํžˆ '๊ฐ€๋ณ๊ฒŒ ํŒŒ์ธํŠœ๋‹ํ•˜๋Š” ๋ฐฉ๋ฒ•'์œผ๋กœ๋งŒ ๋ณด์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๋Œ€์‹  LoRA ์–ด๋Œ‘ํ„ฐ๋ฅผ ํ•™์Šต, ํ‰๊ฐ€, ์„œ๋น™, ๋กค๋ฐฑ๊นŒ์ง€ ์ด์–ด์ง€๋Š” ํ•˜๋‚˜์˜ ์šด์˜ ๋‹จ์œ„๋กœ ๋ฐ”๋ผ๋ณด์ง€์š”.


์ง€๊ธˆ๊นŒ์ง€๋Š” ๋ชจ๋ธ์„ ๊ฐœ์„ ํ•˜๋ฉด ์ƒˆ๋กœ์šด ๋ชจ๋ธ ์ฒดํฌํฌ์ธํŠธ๋ฅผ ๋งŒ๋“ค๊ณ , ์ด๋ฅผ ๋‹ค์‹œ ๋ฐฐํฌํ•˜๋Š” ๋ฐฉ์‹์ด ์ž์—ฐ์Šค๋Ÿฌ์› ์Šต๋‹ˆ๋‹ค. ํ•˜์ง€๋งŒ ๋ชจ๋ธ์ด ์ปค์ง€๊ณ , ์„œ๋น„์Šค์—์„œ ํ•„์š”ํ•œ ๋ฒ„์ „์ด ๋งŽ์•„์งˆ์ˆ˜๋ก ์ด ๋ฐฉ์‹์€ ์ ์  ๋ถ€๋‹ด์Šค๋Ÿฌ์›Œ์งˆ ์ˆ˜๋ฐ–์— ์—†๋Š”๋ฐ์š”. MinT๋Š” ๊ธฐ๋ณธ ๋ชจ๋ธ์€ ๊ณต์œ ํ•˜๊ณ , ๋ฐ”๋€Œ๋Š” ํ–‰๋™๋งŒ ์–ด๋Œ‘ํ„ฐ๋กœ ๊ด€๋ฆฌํ•˜์ž๋Š” ๋ฐฉํ–ฅ์„ ์ œ์‹œํ•ฉ๋‹ˆ๋‹ค. ๊ฑฐ๋Œ€ํ•œ ๋ชจ๋ธ์„ ๊ณ„์† ๋ณต์‚ฌํ•˜์ง€ ๋ง๊ณ , ๊ฑฐ๋Œ€ํ•œ ๊ธฐ๋ณธ ๋ชจ๋ธ ์œ„์—์„œ ์ˆ˜๋งŽ์€ ์ž‘์€ ํ–‰๋™ ๋ฒ„์ „์„ ๊ด€๋ฆฌํ•˜์ž๊ณ  ๋ง์ด์ง€์š”. ๊ทธ๋ฆฌ๊ณ  ๊ทธ ์ž‘์€ ํ–‰๋™ ๋ฒ„์ „์ด ์–ด๋””์— ์žˆ๊ณ , ์–ด๋–ค ์ƒํƒœ์ด๋ฉฐ, ์–ธ์ œ ์„œ๋น™ ๊ฐ€๋Šฅํ•œ์ง€๋ฅผ ์‹œ์Šคํ…œ์ด ์ฑ…์ž„์ง€๊ฒŒ ๋งŒ๋“ค์ž๋Š” ์ œ์•ˆ์ž…๋‹ˆ๋‹ค.

MinT๋Š” LoRA๋ฅผ ๋‹จ์ˆœํ•œ ๊ฒฝ๋Ÿ‰ ํŒŒ์ธํŠœ๋‹ ๊ธฐ๋ฒ•์ด ์•„๋‹ˆ๋ผ, ๋Œ€๊ทœ๋ชจ AI ์„œ๋น„์Šค๋ฅผ ์šด์˜ํ•˜๊ธฐ ์œ„ํ•œ ์ธํ”„๋ผ ๋‹จ์œ„๋กœ ๋ฐ”๋ผ๋ณด๊ฒŒ ๋งŒ๋“œ๋Š” ์—ฐ๊ตฌ์ž…๋‹ˆ๋‹ค. ์•ž์œผ๋กœ AI ์„œ๋น„์Šค๊ฐ€ ๋” ๊ฐœ์ธํ™”๋˜๊ณ , ๋” ์ž์ฃผ ์—…๋ฐ์ดํŠธ๋˜๊ณ , ๋” ๋งŽ์€ ์กฐ์ง ๋ฐ ๋ชฉ์ ๋ณ„ ๋ฒ„์ „์„ ํ•„์š”๋กœ ํ•˜๊ฒŒ ๋œ๋‹ค๋ฉด, ์ด๋Ÿฐ ์–ด๋Œ‘ํ„ฐ ์ค‘์‹ฌ ์šด์˜ ๋ฐฉ์‹์€ ์ ์  ๋” ์ค‘์š”ํ•ด์งˆ ๊ฐ€๋Šฅ์„ฑ์ด ํฌ์ง€์š”. ์•ž์œผ๋กœ์˜ ๊ฒฝ์Ÿ๋ ฅ์€ '์–ผ๋งˆ๋‚˜ ํฐ ๋ชจ๋ธ์„ ๊ฐ–๊ณ  ์žˆ๋А๋ƒ'๋ฅผ ๋„˜์–ด, ๊ทธ ๋ชจ๋ธ ์œ„์—์„œ ์ƒ๊ฒจ๋‚˜๋Š” ์ˆ˜๋งŽ์€ ๋ฒ„์ „์„ ์–ผ๋งˆ๋‚˜ ๋น ๋ฅด๊ณ  ์•ˆ์ •์ ์œผ๋กœ ์šด์˜ํ•  ์ˆ˜ ์žˆ๋А๋ƒ์—์„œ๋„ ๊ฐˆ๋ฆด ์ˆ˜ ์žˆ๊ฒ ์Šต๋‹ˆ๋‹ค.

Solution for Trustworthy AI

์‹ ๋ขฐํ•  ์ˆ˜ ์žˆ๋Š” AI๋ฅผ ์œ„ํ•œ ์„ ํƒ


๐Ÿ“‹ ์‚ฌ์—… ๋ฐ ์ œํœด ๋ฌธ์˜ contact@selectstar.ai
๐Ÿ“จ ์ฝ˜ํ…์ธ  ๋ฐ ํ–‰์‚ฌ ๋ฌธ์˜ marketing@selectstar.ai