#Pixtral #Qwen I ๋, ํ๋ด์โ๏ธ ํจ๊ป ๊ณต์ ํ๊ณ ์ฑ์ฅํ๋ ์ฐ๊ตฌ ๋ฌธํ๋ฅผ ์ ํํด์ |
|
|
2024๋
9์ 23์ผ ๋ชจ๋๋ ํฐ |
|
|
created with Ideogram 2.0 "์ผ๋จ ์ข ์ฌ์๐ค" |
|
|
๋, ๋ชจ๋๋ ํฐ๊ฐ ์์ด์! |
|
|
๋์ ๋ฌด๊ธฐ๋ ฅํ ๋ ์ด๋ป๊ฒ ํ๋์?
์ ์์ฃผ ์๊ฒ๋ผ๋ ์์ง์ด๋ฉด์ ํ๋ณต์ ๋ง๋ค๋ ค๊ณ ํด์.
๊ทธ๋ผ ์กฐ๊ธ์ฉ ๋์์ง๋๋ผ๊ตฌ์.
9์์ ๋ง์ง๋ง, ์ด๋ฒ์ฃผ๋ ๊ฐ์ด ํ๋ด์!
|
|
|
- ๋ฏธ์คํธ๋ AI, ์ฒซ ๋ฉํฐ๋ชจ๋ฌ ๋ชจ๋ธ ๊ณต๊ฐ
- ํ์ 2.5 ๋ชจ๋ธ ์๋ฆฌ์ฆ ๊ณต๊ฐ
|
|
|
์ด๋ฆฐ ์ธ๋ฏธ๋: ๐์คํ์์ค ๋ชจ๋ฐ์ผ ์ฒญ์ฒฉ์ฅ ๋ง๋ค๊ธฐ I ์์
์
๋ฌด ์๋ 10๋ฐฐ ๋์ด๊ธฐ(feat.์ฑGPT) |
|
|
๋ฏธ์คํธ๋ AI, ์ฒซ ๋ฉํฐ๋ชจ๋ฌ ๋ชจ๋ธ ๊ณต๊ฐ |
|
|
์ธ์ด ๋ชจ๋ธ ๋ฏธ์คํธ๋(Mistral), MoE(Mixture of Experts) ๊ธฐ๋ฒ์ ์ฌ์ฉํ ๋ฏน์คํธ๋(Mixtral)๋ก ์ ์๋ ค์ ธ ์๋ ๋ฏธ์คํธ๋ AI(Mistral AI)๊ฐ ์๋ก์ด ๋ชจ๋ธ ํฝ์คํธ๋ 12B(Pixtral 12B)๋ฅผ ๊ณต๊ฐํ์ต๋๋ค. ๋ฏธ์คํธ๋ AI์์๋ ์ฒ์์ผ๋ก ๊ฐ๋ฐ๋ ๋ฉํฐ๋ชจ๋ฌ(multimodal) ๋ชจ๋ธ์ธ๋ฐ์. ์ด๋ฏธ์ง์ ํ
์คํธ๊ฐ ๊ฒฐํฉ๋ ๋ฐ์ดํฐ๋ก ํ์ต๋์ด ๋ฉํฐ๋ชจ๋ฌ ํ์คํฌ์์ ๋ฐ์ด๋ ์ฑ๋ฅ์ ๋ณด์๋ค๊ณ ํฉ๋๋ค. ๋ฉํฐ๋ชจ๋ฌ ํ์คํฌ๋ฟ๋ง ์๋๋ผ, ํ
์คํธ ๋ฒค์น๋งํฌ ํ
์คํธ์์๋ ํด๋ก๋ ํ์ด์ฟ (Claude Haiku), ์ ๋ฏธ๋์ด ํ๋์(Gemini Flash) ๋ฑ ์ต์ ๋ชจ๋ธ๊ณผ ์ ์๊ฐ ๋น์ทํ๊ฒ ๋์๋ค๊ณ ํ๋ค์. |
|
|
ํฝ์คํธ๋ ๋ชจ๋ธ์ ์ด๋ฏธ์ง๋ฅผ ํ ํฐ์ผ๋ก ๋ณํํ๋ ๋น์ ์ธ์ฝ๋(vision encoder)์ ๋ค์ ํ ํฐ์ ์์ธกํ๋ ๋ฉํฐ๋ชจ๋ฌ ํธ๋์คํฌ๋จธ ๋์ฝ๋(transformer decoder)๋ก ์ด๋ฃจ์ด์ ธ ์์ต๋๋ค. ํ๊น
ํ์ด์ค, vLLM์ ํตํด์๋ ์ฌ์ฉํด ๋ณผ ์ ์์ผ๋ ๊ด์ฌ ์๋ ๋ถ๋ค์ ์ฐธ๊ณ ํด ์ฃผ์ธ์! |
|
|
ํ์ 2.5 ๋ชจ๋ธ ์๋ฆฌ์ฆ ๊ณต๊ฐ |
|
|
์ค๊ตญ์ ์๋ฆฌ๋ฐ๋ฐ ํด๋ผ์ฐ๋ ํ์ด ๊ฐ๋ฐํ ์ธ์ด ๋ชจ๋ธ ํ์(Qwen)์ 2.5 ๋ฒ์ ์ด ๊ณต๊ฐ๋์์ต๋๋ค. ์ผ๋ฐ์ ์ธ LLM(Large Language Model)์ธ 'ํ์ 2.5'์ ํจ๊ป, ์ํ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๋ 'ํ์2.5-๋งค์ค(Qwen2.5-Math)'์ ์ฝ๋ฉ์ ํนํ๋ 'ํ์2.5-์ฝ๋(Qwen2.5-Coder)' ์๋ฆฌ์ฆ๊ฐ ๋ฐํ๋์์ต๋๋ค.
|
|
|
ํ์์2.5์๋ 0.5B(ํ๋ผ๋ฏธํฐ 5์ต ๊ฐ)๋ถํฐ 72B๊น์ง ๋ค์ํ ํฌ๊ธฐ์ ๋ชจ๋ธ์ด ์๊ณ ์. ์ฑ๋ฅ ์ธก๋ฉด์์๋ ๊ธฐ์กด์ ํ์2 ๋ชจ๋ธ๋ณด๋ค ํฌ๊ฒ ํฅ์๋ ๊ฒ์ ๋ฌผ๋ก , 72B ๋ชจ๋ธ ๊ธฐ์ค '๋ผ๋ง 3 70B', '๋ฏน์คํธ๋ 8x22B'๋ณด๋ค ๋์ ๋ฒค์น๋งํฌ ์ ์๋ฅผ ๊ธฐ๋กํ์ต๋๋ค. ํ์2.5-๋งค์ค ๋ชจ๋ธ์ ์์ด์ ์ค๊ตญ์ด๋ก ๋ ์ํ ๋ฌธ์ ๋ง ์ฒ๋ฆฌํ ์ ์์ง๋ง, ๊ธฐ์กด ๋ชจ๋ธ์ CoT(Chain-of-Thought) ๊ธฐ๋ฒ๊ณผ ํจ๊ป Tool-integrated Reasoning ๊ธฐ๋ฒ์ ์ฌ์ฉํ์ฌ ํ์ฌ ์ต๊ณ ์์ค์ ์ฑ๋ฅ์ ๊ธฐ๋กํ๋ค๊ณ ํฉ๋๋ค. |
|
|
๋ชจ๋์์ฐ๊ตฌ์ ์์ |
|
|
๐๏ธ์ง๊ธ 63๊ฐ์ LAB์ด '์ฐ๊ตฌ ์ค'์ด์์ |
|
|
์นด์นด์ค์ํฉํธ์ ํจ๊ปํ๋ <ํ
ํฌํฌ์ํฉํธ LAB> |
|
|
๐จโ๐ฉโ๐งโ๐ฆ์ฌํ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ ๊ธฐ์ ๊ด๋ จ ๊ฒฐ๊ณผ๋ฌผ์ ํจ๊ป ๋ง๋ค์ด ๋ด์ |
|
|
๊ฐ๋ฐ์ ๋ถ๋ถ์ ์ฌ์ด๋ ํ๋ก์ ํธ : ๐์คํ์์ค ๋ชจ๋ฐ์ผ ์ฒญ์ฒฉ์ฅ ๋ง๋ค๊ธฐ |
|
|
- ์ผ์: 9์ 27์ผ ๊ธ์์ผ 19:00 - 21:00
- ์ฅ์: ๋ชจ๋์์ฐ๊ตฌ์ ๋์ ์บ ํผ์ค
- ์ฐ์ฌ: ํฉํฌ์ง(์ค๋ชฐ๋น
์จ๋ฉ, FE ๊ฐ๋ฐ ๋ฐ ์ด์), ์ฅ๋์(์ฃผ์ํ์ฌ ๋นํ
ํ์ค, Software Development ํ ๋ฆฌ๋)
- ๋ด์ฉ: ์ฌ์ด๋ ํ๋ก์ ํธ ์ ์๊ธฐ ์คํ ๋ฆฌ ยท ๊ธฐํ, ๋์์ธ, ๊ฐ๋ฐ ๊ทธ๋ฆฌ๊ณ ์ถ์์์ ํ๋ณด๊น์ง ยท ํ๋ก์ ํธ๋ฅผ ํตํด ๋ฐฐ์ด ์ ยท ๋๋ง์ ๋ชจ๋ฐ์ผ ์ฒญ์ฒฉ์ฅ ์ ์ ์ค์ต
|
|
|
ChatGPT ๋๋ฃ์ ํจ๊ป ์์
์
๋ฌด ์๋ 10๋ฐฐ ๋์ด๊ธฐ |
|
|
- ์ผ์: 9์ 30์ผ ์์์ผ 19:00 - 21:00
- ์ฅ์: ๋ชจ๋์์ฐ๊ตฌ์ ๋์ ์บ ํผ์ค
- ์ฐ์ฌ: ๊น์ค์(์ถฉ๋ถ๋ํ๊ต ๊ตญ๊ฐ์๊ธฐ๊ด๋ฆฌ์ฐ๊ตฌ์)
- ๋ด์ฉ: ์ด ์ ์ฐ์ก ๊ณ์ฐํ๋ ๋ฐฉ๋ฒ ยท ๊ฒฐ์ ์๋จ์ ๋ฐ๋ฅธ ์ ์ฐ์ก ๊ณ์ฐํ๋ ๋ฐฉ๋ฒ ยท ์ ์ฒด ๊ฒฐ์ ๊ธฐ๊ด ๋ฆฌ์คํธ ์ถ๋ ฅํ๋ ๋ฐฉ๋ฒ ยท ์ ์ฉ์นด๋๋ก ๊ฒฐ์ ํ ๊ธฐ๊ด ์ ์นด์ดํธ ๋ฐฉ๋ฒ ยท ํน์ ๊ตฌ๋งค์์ ๊ฒฐ์ ์๋จ ํ์ธ ๋ฐฉ๋ฒ ยท ๊ฐ๋จํ ๋งคํฌ๋ก ํ์ฉ๋ฒ
|
|
|
์ค๋๋ ๋์ ์ฑ์ฅ์ ์์ํ ๊ฒ์! :) |
|
|
์์ธ์ ๊ฐ๋จ๊ตฌ ๊ฐ๋จ๋๋ก 324(์ญ์ผ๋์ค์ํ๋ฆฌ์) 2F
|
|
|
|
|