#GPT-4o mini #MistralNeMo ํจ๊ป ๊ณต์ ํ๊ณ ์ฑ์ฅํ๋ ์ฐ๊ตฌ ๋ฌธํ๋ฅผ ์ ํํด์ |
|
|
2024๋
7์ 22์ผ ๋ชจ๋๋ ํฐ |
|
|
๋, ๋ชจ๋๋ ํฐ๊ฐ ์์ด์! |
|
|
๋์ ์ฌ๋ฆ ํด๊ฐ ๊ณํ์ด ์๋์?
์ ์น๊ตฌ์ ๊ตญ๋ด ์ฌํ์ ์ค๋น ์ค์ด์์!๐ซง
์ ์๋๋ง ์ผ๊ณผ ์ผ์์์ ์์ ๋ก์์ ธ ๋ณด๋ ค๊ณ ์.
์ด๋ฒ์ฃผ๋ ๋น, ๋์ ์กฐ์ฌํ๊ณ ํ๋ด์ธ์๐ซถ |
|
|
- '์ธ๊ณ ๊ฐ๋ฒผ์ด AI' GPT-4o ๋ฏธ๋ ์ถ์
- ์๋น๋์-๋ฏธ์คํธ๋AI, ์๋ก์ด AI ๋ชจ๋ธ ๊ณต๊ฐ
|
|
|
์ด๋ฆฐ ์ธ๋ฏธ๋: ์๊ณํ ๋์์ด๋์๊ฒ ์ฑGPT ์ถ๋ณต์ด ๋์ด์๋ค |
|
|
'์ธ๊ณ ๊ฐ๋ฒผ์ด AI' GPT-4o ๋ฏธ๋ ์ถ์ |
|
|
์คํAI๊ฐ ๊ฐ๋ฐํ ์ต์ ๋ชจ๋ธ GPT-4o์ ๋ฏธ๋(mini) ๋ฒ์ ์ด ์ถ์๋์์ต๋๋ค. '๋ฏธ๋'๋ผ๋ ์ด๋ฆ๋งํผ ๊ฐ๋ณ์ง๋ง ๋ฐ์ด๋ ์ฑ๋ฅ์ ๊ฐ์กฐํ๊ณ ์๋๋ฐ์. ๊ธฐ์กด GPT-3.5 ํฐ๋ณด(Turbo) ๋ชจ๋ธ๋ณด๋ค ํ ํฐ ๋น ๋น์ฉ์ด 60% ์ด์ ์ ๋ ดํ๋ฉด์๋(100๋ง ํ ํฐ ๋น 15์ผํธ(input), 60์ผํธ(output)) ๋ฒค์น๋งํฌ ํ
์คํธ ์ฑ๋ฅ์ GPT-4o์ ์กฐ๊ธ ๋ชป ๋ฏธ์น๋ ์์ค์ด๊ณ ์. ํด๋ก๋ ํ์ด์ฟ (Claude Haiku)๋ ์ ๋ฏธ๋์ด ํ๋์(Gemini Flash) ๋ฑ ๋ค๋ฅธ ๊ธฐ์
์ ํ๋๊ทธ์ญ ๋ชจ๋ธ ์๋ฆฌ์ฆ์ ๋น๊ตํ์ ๋๋ ์ข์ ์ฑ๋ฅ์ ๋ณด์๋ค๊ณ ํฉ๋๋ค. |
|
|
GPT-4o ๋ฏธ๋๋ ํ์ฌ ์ฑGPT๋ฅผ ํตํด์๋ ์ฌ์ฉํด ๋ณผ ์ ์์ด์. ์คํAI API๋ก๋ ํ
์คํธใป์ด๋ฏธ์ง ์ฒ๋ฆฌ ๊ธฐ๋ฅ๋ง ์ง์ํ๊ณ ์์ต๋๋ค. ๋์์ใป์ค๋์ค ์ฒ๋ฆฌ ๊ธฐ๋ฅ๊ณผ ํ์ธํ๋(fine-tuning) ๋ฑ ๋ ๋ง์ ๊ธฐ๋ฅ์ ์ถํ์ ์ถ๊ฐ๋ ์์ ์ด๋ผ๊ณ ํ๋ค์! |
|
|
์๋น๋์-๋ฏธ์คํธ๋AI, ์๋ก์ด AI ๋ชจ๋ธ ๊ณต๊ฐ |
|
|
๋ฏธ์คํธ๋ AI(Mistral AI)๊ฐ ์๋น๋์(NVIDIA)์ ํ๋ ฅํ์ฌ ์ธ์ด ๋ชจ๋ธ '๋ฏธ์คํธ๋ ๋ค๋ชจ(Mistral NeMo)'๋ฅผ ์ถ์ํ์ต๋๋ค. ๋ฏธ์คํธ๋ ๋ค๋ชจ๋ ํฌ๊ธฐ๊ฐ 12B์ธ๋ฐ, ์ฝํ
์คํธ ์๋์ฐ ํฌ๊ธฐ๋ ์ ฌ๋ง(Gemma) 2 9B, ๋ผ๋ง(Llama) 3 8B ๋ฑ ๋น์ทํ ๊ท๋ชจ์ ๋ชจ๋ธ๋ณด๋ค ํฐ 128k์
๋๋ค. ๋ฒค์น๋งํฌ ์ ์๋ ๋ฏธ์คํธ๋ ๋ค๋ชจ ๋ฒ ์ด์ค ๋ชจ๋ธ์ด ์ฌ์ ํ์ต๋(pre-trained) ์ ฌ๋ง 2, ๋ผ๋ง 3๋ณด๋ค ์กฐ๊ธ ๋ ๋๊ฒ ์ธก์ ๋์์ต๋๋ค. |
|
|
๋ฏธ์คํธ๋ ๋ค๋ชจ์ ์ฅ์ ์ ๋ค๊ตญ์ด ์ฒ๋ฆฌ ๋ฅ๋ ฅ์ ์๋๋ฐ์. ์์ด๋ฟ๋ง ์๋๋ผ ํ๊ตญ์ด, ํ๋์ค์ด, ๋
์ผ์ด ๋ฑ ๋ค์ํ ์ธ์ด ๋ฐ์ดํฐ์์ ๋ผ๋ง 3 8B ๋ชจ๋ธ์ ํฌ๊ฒ ์๋๋ ์ ์๋ฅผ ๊ธฐ๋กํ์ต๋๋ค. 'Tiktoken ํ ํฌ๋์ด์ (tokenizer)'๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํ 'Tekken ํ ํฌ๋์ด์ '๋ฅผ ์ฌ์ฉํ์ฌ ํ๊ตญ์ด์ ์๋์ด์ ๊ฒฝ์ฐ ํจ์จ์ด 2~3๋ฐฐ, ๋ค๋ฅธ ์ฃผ์ ์ธ์ด๋ค์ ๊ฒฝ์ฐ ์ฝ 30% ๋ ํจ์จ์ ์ด์๋ค๊ณ ํฉ๋๋ค. |
|
|
๋ชจ๋์์ฐ๊ตฌ์ ์์ |
|
|
๐ฅ์ง๊ธ 64๊ฐ์ LAB์ด '์ฐ๊ตฌ ์ค'์ด์์ |
|
|
์๊ณํ ๋์์ด๋์๊ฒ ์ฑGPT ์ถ๋ณต์ด ๋์ด์๋ค |
|
|
๐ฃ์ธ์ง๋ง ๋ฐ๋ณด์ผ, ํ์ฌ ๋ด N์ก๋ฌ ์์กดํ ๋์์ด๋ ๋ชจ์ฌ๋ผ |
|
|
- ์ผ์: 7์ 31์ผ ์์์ผ 7PM - 9PM
- ์ฅ์: ๋ชจ๋์์ฐ๊ตฌ์ ๋์ ์บ ํผ์ค
- ์ฐ์ฌ: ๊น์์ค(ํ๋ฆฌ๋์ ํ๋ก๋ํธ ๋์์ด๋)
- ๋ด์ฉ: ์ฑGPT์ ๊ธฐ๋ณธ ์ดํด ยท ์ฑGPT์ ๋ค๋ฅธ LLM ํด ๋น๊ต ๋ถ์ ยท ํ๋กฌํํ
ํ ยท ์ค๋ฌด ํ์ฉ ์์ ๋ฑ
|
|
|
์ค๋๋ ๋์ ์ฑ์ฅ์ ์์ํ ๊ฒ์! |
|
|
์์ธ์ ๊ฐ๋จ๊ตฌ ๊ฐ๋จ๋๋ก 324(์ญ์ผ๋์ค์ํ๋ฆฌ์) 2F
|
|
|
|
|