#Pixtral #Qwen I ๋‹˜, ํž˜๋‚ด์š”โ˜˜๏ธ
ํ•จ๊ป˜ ๊ณต์œ ํ•˜๊ณ  ์„ฑ์žฅํ•˜๋Š” ์—ฐ๊ตฌ ๋ฌธํ™”๋ฅผ ์ „ํŒŒํ•ด์š”
2024๋…„ 9์›” 23์ผ ๋ชจ๋‘๋ ˆํ„ฐ
created with Ideogram 2.0 "์ผ๋‹จ ์ข€ ์‰ฌ์ž๐Ÿ’ค"
๋‹˜, ๋ชจ๋‘๋ ˆํ„ฐ๊ฐ€ ์™”์–ด์š”!
๋‹˜์€ ๋ฌด๊ธฐ๋ ฅํ•  ๋•Œ ์–ด๋–ป๊ฒŒ ํ•˜๋‚˜์š”?
์ „ ์•„์ฃผ ์ž‘๊ฒŒ๋ผ๋„ ์›€์ง์ด๋ฉด์„œ ํ–‰๋ณต์„ ๋งŒ๋“ค๋ ค๊ณ  ํ•ด์š”.
๊ทธ๋Ÿผ ์กฐ๊ธˆ์”ฉ ๋‚˜์•„์ง€๋”๋ผ๊ตฌ์š”.
๊ทธ๋ฆฌ๊ณ  ์Œ์•… ๋น„ํƒ€๋ฏผ์„ ๊ผญ ์ฑ™๊ฒจ๋จน์–ด์š”โ˜˜๏ธ
9์›”์˜ ๋งˆ์ง€๋ง‰, ์ด๋ฒˆ์ฃผ๋„ ๊ฐ™์ด ํž˜๋‚ด์š”!
์ด๋ฒˆ์ฃผ AI ์†Œ์‹ 
  • ๋ฏธ์ŠคํŠธ๋ž„ AI, ์ฒซ ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ๋ชจ๋ธ ๊ณต๊ฐœ
  • ํ์› 2.5 ๋ชจ๋ธ ์‹œ๋ฆฌ์ฆˆ ๊ณต๊ฐœ
์—ด๋ฆฐ ์„ธ๋ฏธ๋‚˜: ๐Ÿ’Œ์˜คํ”ˆ์†Œ์Šค ๋ชจ๋ฐ”์ผ ์ฒญ์ฒฉ์žฅ ๋งŒ๋“ค๊ธฐ I ์—‘์…€ ์—…๋ฌด ์†๋„ 10๋ฐฐ ๋†’์ด๊ธฐ(feat.์ฑ—GPT)
๋ฏธ์ŠคํŠธ๋ž„ AI, ์ฒซ ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ๋ชจ๋ธ ๊ณต๊ฐœ
ยฉMistral AI

์–ธ์–ด ๋ชจ๋ธ ๋ฏธ์ŠคํŠธ๋ž„(Mistral), MoE(Mixture of Experts) ๊ธฐ๋ฒ•์„ ์‚ฌ์šฉํ•œ ๋ฏน์ŠคํŠธ๋ž„(Mixtral)๋กœ ์ž˜ ์•Œ๋ ค์ ธ ์žˆ๋Š” ๋ฏธ์ŠคํŠธ๋ž„ AI(Mistral AI)๊ฐ€ ์ƒˆ๋กœ์šด ๋ชจ๋ธ ํ”ฝ์ŠคํŠธ๋ž„ 12B(Pixtral 12B)๋ฅผ ๊ณต๊ฐœํ–ˆ์Šต๋‹ˆ๋‹ค. ๋ฏธ์ŠคํŠธ๋ž„ AI์—์„œ๋Š” ์ฒ˜์Œ์œผ๋กœ ๊ฐœ๋ฐœ๋œ ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ(multimodal) ๋ชจ๋ธ์ธ๋ฐ์š”. ์ด๋ฏธ์ง€์™€ ํ…์ŠคํŠธ๊ฐ€ ๊ฒฐํ•ฉ๋œ ๋ฐ์ดํ„ฐ๋กœ ํ•™์Šต๋˜์–ด ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ํƒœ์Šคํฌ์—์„œ ๋›ฐ์–ด๋‚œ ์„ฑ๋Šฅ์„ ๋ณด์˜€๋‹ค๊ณ  ํ•ฉ๋‹ˆ๋‹ค. ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ํƒœ์Šคํฌ๋ฟ๋งŒ ์•„๋‹ˆ๋ผ, ํ…์ŠคํŠธ ๋ฒค์น˜๋งˆํฌ ํ…Œ์ŠคํŠธ์—์„œ๋„ ํด๋กœ๋“œ ํ•˜์ด์ฟ (Claude Haiku), ์ œ๋ฏธ๋‚˜์ด ํ”Œ๋ž˜์‹œ(Gemini Flash) ๋“ฑ ์ตœ์‹  ๋ชจ๋ธ๊ณผ ์ ์ˆ˜๊ฐ€ ๋น„์Šทํ•˜๊ฒŒ ๋‚˜์™”๋‹ค๊ณ  ํ•˜๋„ค์š”. 

ํ”ฝ์ŠคํŠธ๋ž„ ๋ชจ๋ธ์€ ์ด๋ฏธ์ง€๋ฅผ ํ† ํฐ์œผ๋กœ ๋ณ€ํ™˜ํ•˜๋Š” ๋น„์ „ ์ธ์ฝ”๋”(vision encoder)์™€ ๋‹ค์Œ ํ† ํฐ์„ ์˜ˆ์ธกํ•˜๋Š” ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ํŠธ๋žœ์Šคํฌ๋จธ ๋””์ฝ”๋”(transformer decoder)๋กœ ์ด๋ฃจ์–ด์ ธ ์žˆ์Šต๋‹ˆ๋‹ค. ํ—ˆ๊น…ํŽ˜์ด์Šค, vLLM์„ ํ†ตํ•ด์„œ๋„ ์‚ฌ์šฉํ•ด ๋ณผ ์ˆ˜ ์žˆ์œผ๋‹ˆ ๊ด€์‹ฌ ์žˆ๋Š” ๋ถ„๋“ค์€ ์ฐธ๊ณ ํ•ด ์ฃผ์„ธ์š”!

ํ์› 2.5 ๋ชจ๋ธ ์‹œ๋ฆฌ์ฆˆ ๊ณต๊ฐœ
ยฉQwen

์ค‘๊ตญ์˜ ์•Œ๋ฆฌ๋ฐ”๋ฐ” ํด๋ผ์šฐ๋“œ ํŒ€์ด ๊ฐœ๋ฐœํ•œ ์–ธ์–ด ๋ชจ๋ธ ํ์›(Qwen)์˜ 2.5 ๋ฒ„์ „์ด ๊ณต๊ฐœ๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ์ผ๋ฐ˜์ ์ธ LLM(Large Language Model)์ธ 'ํ์› 2.5'์™€ ํ•จ๊ป˜, ์ˆ˜ํ•™ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๋Š” 'ํ์›2.5-๋งค์Šค(Qwen2.5-Math)'์™€ ์ฝ”๋”ฉ์— ํŠนํ™”๋œ 'ํ์›2.5-์ฝ”๋”(Qwen2.5-Coder)' ์‹œ๋ฆฌ์ฆˆ๊ฐ€ ๋ฐœํ‘œ๋˜์—ˆ์Šต๋‹ˆ๋‹ค. 

ํ์›์›2.5์—๋Š” 0.5B(ํŒŒ๋ผ๋ฏธํ„ฐ 5์–ต ๊ฐœ)๋ถ€ํ„ฐ 72B๊นŒ์ง€ ๋‹ค์–‘ํ•œ ํฌ๊ธฐ์˜ ๋ชจ๋ธ์ด ์žˆ๊ณ ์š”. ์„ฑ๋Šฅ ์ธก๋ฉด์—์„œ๋Š” ๊ธฐ์กด์˜ ํ์›2 ๋ชจ๋ธ๋ณด๋‹ค ํฌ๊ฒŒ ํ–ฅ์ƒ๋œ ๊ฒƒ์€ ๋ฌผ๋ก , 72B ๋ชจ๋ธ ๊ธฐ์ค€ '๋ผ๋งˆ 3 70B', '๋ฏน์ŠคํŠธ๋ž„ 8x22B'๋ณด๋‹ค ๋†’์€ ๋ฒค์น˜๋งˆํฌ ์ ์ˆ˜๋ฅผ ๊ธฐ๋กํ–ˆ์Šต๋‹ˆ๋‹ค. ํ์›2.5-๋งค์Šค ๋ชจ๋ธ์€ ์˜์–ด์™€ ์ค‘๊ตญ์–ด๋กœ ๋œ ์ˆ˜ํ•™ ๋ฌธ์ œ๋งŒ ์ฒ˜๋ฆฌํ•  ์ˆ˜ ์žˆ์ง€๋งŒ, ๊ธฐ์กด ๋ชจ๋ธ์˜ CoT(Chain-of-Thought) ๊ธฐ๋ฒ•๊ณผ ํ•จ๊ป˜ Tool-integrated Reasoning ๊ธฐ๋ฒ•์„ ์‚ฌ์šฉํ•˜์—ฌ ํ˜„์žฌ ์ตœ๊ณ  ์ˆ˜์ค€์˜ ์„ฑ๋Šฅ์„ ๊ธฐ๋กํ–ˆ๋‹ค๊ณ  ํ•ฉ๋‹ˆ๋‹ค.

๋ชจ๋‘์˜์—ฐ๊ตฌ์†Œ ์†Œ์‹
LAB ์—ฐ๊ตฌ์› ๋งž์•„์š”
๐Ÿ•๏ธ์ง€๊ธˆ 63๊ฐœ์˜ LAB์ด '์—ฐ๊ตฌ ์ค‘'์ด์—์š”
์นด์นด์˜ค์ž„ํŒฉํŠธ์™€ ํ•จ๊ป˜ํ•˜๋Š” <ํ…Œํฌํฌ์ž„ํŒฉํŠธ LAB>
๐Ÿ‘จโ€๐Ÿ‘ฉโ€๐Ÿ‘งโ€๐Ÿ‘ฆ์‚ฌํšŒ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•  ๊ธฐ์ˆ  ๊ด€๋ จ ๊ฒฐ๊ณผ๋ฌผ์„ ํ•จ๊ป˜ ๋งŒ๋“ค์–ด ๋‚ด์š”
์—ด๋ฆฐ ์„ธ๋ฏธ๋‚˜
๊ฐœ๋ฐœ์ž ๋ถ€๋ถ€์˜ ์‚ฌ์ด๋“œ ํ”„๋กœ์ ํŠธ : ๐Ÿ’Œ์˜คํ”ˆ์†Œ์Šค ๋ชจ๋ฐ”์ผ ์ฒญ์ฒฉ์žฅ ๋งŒ๋“ค๊ธฐ
  • ์ผ์‹œ: 9์›” 27์ผ ๊ธˆ์š”์ผ 19:00 - 21:00
  • ์žฅ์†Œ: ๋ชจ๋‘์˜์—ฐ๊ตฌ์†Œ ๋Œ€์ „์บ ํผ์Šค
  • ์—ฐ์‚ฌ: ํ™ฉํฌ์ง„(์Šค๋ชฐ๋น…์›จ๋”ฉ, FE ๊ฐœ๋ฐœ ๋ฐ ์šด์˜), ์žฅ๋ž˜์˜(์ฃผ์‹ํšŒ์‚ฌ ๋น„ํ–…ํƒ์Šค, Software Development ํŒ€ ๋ฆฌ๋”)
  • ๋‚ด์šฉ: ์‚ฌ์ด๋“œ ํ”„๋กœ์ ํŠธ ์ œ์ž‘๊ธฐ ์Šคํ† ๋ฆฌ ยท ๊ธฐํš, ๋””์ž์ธ, ๊ฐœ๋ฐœ ๊ทธ๋ฆฌ๊ณ  ์ถœ์‹œ์—์„œ ํ™๋ณด๊นŒ์ง€ ยท ํ”„๋กœ์ ํŠธ๋ฅผ ํ†ตํ•ด ๋ฐฐ์šด ์  ยท ๋‚˜๋งŒ์˜ ๋ชจ๋ฐ”์ผ ์ฒญ์ฒฉ์žฅ ์ œ์ž‘ ์‹ค์Šต
ChatGPT ๋™๋ฃŒ์™€ ํ•จ๊ป˜ ์—‘์…€ ์—…๋ฌด ์†๋„ 10๋ฐฐ ๋†’์ด๊ธฐ
  • ์ผ์‹œ: 9์›” 30์ผ ์›”์š”์ผ 19:00 - 21:00
  • ์žฅ์†Œ: ๋ชจ๋‘์˜์—ฐ๊ตฌ์†Œ ๋Œ€์ „์บ ํผ์Šค
  • ์—ฐ์‚ฌ: ๊น€์œค์ˆ™(์ถฉ๋ถ๋Œ€ํ•™๊ต ๊ตญ๊ฐ€์œ„๊ธฐ๊ด€๋ฆฌ์—ฐ๊ตฌ์†Œ)
  • ๋‚ด์šฉ: ์ด ์ •์‚ฐ์•ก ๊ณ„์‚ฐํ•˜๋Š” ๋ฐฉ๋ฒ• ยท ๊ฒฐ์ œ ์ˆ˜๋‹จ์— ๋”ฐ๋ฅธ ์ •์‚ฐ์•ก ๊ณ„์‚ฐํ•˜๋Š” ๋ฐฉ๋ฒ• ยท ์ „์ฒด ๊ฒฐ์ œ๊ธฐ๊ด€ ๋ฆฌ์ŠคํŠธ ์ถœ๋ ฅํ•˜๋Š” ๋ฐฉ๋ฒ• ยท ์‹ ์šฉ์นด๋“œ๋กœ ๊ฒฐ์ œํ•œ ๊ธฐ๊ด€ ์ˆ˜ ์นด์šดํŠธ ๋ฐฉ๋ฒ• ยท ํŠน์ • ๊ตฌ๋งค์ž์˜ ๊ฒฐ์ œ ์ˆ˜๋‹จ ํ™•์ธ ๋ฐฉ๋ฒ• ยท ๊ฐ„๋‹จํ•œ ๋งคํฌ๋กœ ํ™œ์šฉ๋ฒ•
์˜ค๋Š˜๋„ ๋‹˜์˜ ์„ฑ์žฅ์„ ์‘์›ํ• ๊ฒŒ์š”! :)
์„œ์šธ์‹œ ๊ฐ•๋‚จ๊ตฌ ๊ฐ•๋‚จ๋Œ€๋กœ 324(์—ญ์‚ผ๋””์˜ค์ŠˆํŽ˜๋ฆฌ์›€) 2F