#CodeLlama70B๐Ÿฆ™ #Eagle #ReactHook
ํ•จ๊ป˜ ๊ณต์œ ํ•˜๊ณ  ์„ฑ์žฅํ•˜๋Š” ์—ฐ๊ตฌ ๋ฌธํ™”๋ฅผ ์ „ํŒŒํ•ด์š”
2024๋…„ 2์›” 5์ผ ๋ชจ๋‘๋ ˆํ„ฐ
created with DALLยทE
๋‹˜, ๋ชจ๋‘๋ ˆํ„ฐ๊ฐ€ ์™”์–ด์š”!
๋‹˜์€ ํ˜น์‹œ ๋งํฌ๋“œ์ธ ์ž์ฃผ ์“ฐ๋‚˜์š”?
์ด์ œ ๋งํฌ๋“œ์ธ์—์„œ๋„ ๋ชจ๋‘๋ ˆํ„ฐ๋ฅผ ๋ณผ ์ˆ˜ ์žˆ์–ด์š”(๊ตฌ๋… ๊พธ~์šฑ).
์ด๋ฒˆ์ฃผ๋„ ํž˜๋‚ด๊ณ , ๊ธฐ๋ถ„ ์ข‹์€ ์„ค ์—ฐํœด ๋ณด๋‚ด์š”!๐Ÿ˜บ
๋ง. ์„ค ์—ฐํœด๋Š” ๋ชจ๋‘๋ ˆํ„ฐ๋„ ํ•œ ์ฃผ ์‰ฌ์–ด๊ฐ‘๋‹ˆ๋‹ค.
์ด๋ฒˆ์ฃผ SW/AI ์†Œ์‹ 
  • ์˜คํ”ˆ ์†Œ์Šค ์ตœ๊ฐ•? ์ฝ”๋“œ ๋ผ๋งˆ 70B ๋ชจ๋ธ ๊ณต๊ฐœ
  • ํŠธ๋žœ์Šคํฌ๋จธ ์—†๋Š” ์–ธ์–ด ๋ชจ๋ธ์ด๋ผ๊ตฌ?
  • ๋ฆฌ์•กํŠธ ์‹ ๊ทœ 'ํ›…' ๋ฏธ๋ฆฌ๋ณด๊ธฐ
์—ด๋ฆฐ ์„ธ๋ฏธ๋‚˜: ํ‡ด๊ทผ์‹œ๊ฐ„ ์•ž๋‹น๊ฒจ์ฃผ๋Š” ์—…๋ฌด์ž๋™ํ™”
์˜คํ”ˆ ์†Œ์Šค ์ตœ๊ฐ•? ์ฝ”๋“œ ๋ผ๋งˆ 70B ๋ชจ๋ธ ๊ณต๊ฐœ
ยฉMeta
๋ฉ”ํƒ€๊ฐ€ ํŒŒ๋ผ๋ฏธํ„ฐ 700์–ต ๊ฐœ ํฌ๊ธฐ์˜ ์ฝ”๋“œ ์ƒ์„ฑ ๋ชจ๋ธ '์ฝ”๋“œ ๋ผ๋งˆ(Code Llama) 70B' ๋ชจ๋ธ์„ ๊ณต๊ฐœํ–ˆ์Šต๋‹ˆ๋‹ค. ์ง€๋‚œ 8์›”์— ์ฝ”๋“œ ๋ผ๋งˆ 7B, 13B, 34B ๋ชจ๋ธ์„ ๋ฐœํ‘œํ•œ ์ดํ›„ ์•ฝ 5๊ฐœ์›” ๋งŒ์˜ ์†Œ์‹์ธ๋ฐ์š”. ํ•™์Šต์— 5000์–ต ๊ฐœ์˜ ํ† ํฐ์„ ์‚ฌ์šฉํ–ˆ๋˜ ์ด์ „ ๋ชจ๋ธ๊ณผ ๋‹ฌ๋ฆฌ 70B ๋ชจ๋ธ์€ ํ† ํฐ 1์กฐ ๊ฐœ๋ฅผ ์‚ฌ์šฉํ–ˆ๋‹ค๊ณ  ํ•ฉ๋‹ˆ๋‹ค๐Ÿ˜ฏ. ๊ธฐ๋ณธ ์ฝ”๋“œ ๋ผ๋งˆ 70B ๋ชจ๋ธ ์ด์™ธ์—๋„, ํŒŒ์ด์ฌ ์ฝ”๋“œ์— ํŠนํ™”๋œ 'CodeLlama-70B-Python'๊ณผ ์ž์—ฐ์–ด ์ง€์‹œ๋ฌธ(Instruction) ์ดํ•ด์— ํŠนํ™”๋œ 'CodeLlama-70B-Instruct' ๋ชจ๋ธ๋„ ํ•จ๊ป˜ ๊ณต๊ฐœ๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ํฌ๊ธฐ๊ฐ€ ํฐ ๋ชจ๋ธ์ธ๋งŒํผ, 70B ๋ชจ๋ธ์€ HumanEval, MBPP ๋ฒค์น˜๋งˆํฌ์—์„œ ๋‹ค๋ฅธ ์–ธ์–ด ๋ชจ๋ธ๋“ค๋ณด๋‹ค ๋›ฐ์–ด๋‚œ ์„ฑ๋Šฅ์„ ๋ณด์˜€์Šต๋‹ˆ๋‹ค. ์ฝ”๋“œ ๋ผ๋งˆ๋Š” ๋ผ๋งˆ 2์ฒ˜๋Ÿผ ์˜คํ”ˆ ์†Œ์Šค๋กœ ์ œ๊ณต๋˜๋ฉฐ, ์—ฐ๊ตฌ์šฉ์ด๋‚˜ ์ƒ์—…์  ์šฉ๋„๋กœ ๋ฌด๋ฃŒ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๊ณ ์š”. ํ—ˆ๊น…ํŽ˜์ด์Šค๋ฅผ ํ†ตํ•ด์„œ๋„ ๋ชจ๋ธ์„ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค!
ํŠธ๋žœ์Šคํฌ๋จธ ์—†๋Š” ์–ธ์–ด ๋ชจ๋ธ์ด๋ผ๊ตฌ?
RWKV(Receptance Weighted Key Value, 'RwaKuv'๋ผ๊ณ  ์ฝ์–ด์š”!๐Ÿ’ฌ) ์•„ํ‚คํ…์ฒ˜๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•˜๋Š” ์–ธ์–ด ๋ชจ๋ธ '์ด๊ธ€(Eagle)'์ด ์ถœ์‹œ๋˜์—ˆ์Šต๋‹ˆ๋‹ค!๐Ÿฆ… RWKV๋Š” EMNLP 2023 ํ•™ํšŒ์—์„œ ๋ฐœํ‘œ๋œ ์•„ํ‚คํ…์ฒ˜๋กœ, RNN์ฒ˜๋Ÿผ ์ถ”๋ก (Inference) ๊ณผ์ •์ด ๊ฐ„๋‹จํ•˜๋ฉด์„œ๋„ ํŠธ๋žœ์Šคํฌ๋จธ์™€ ๊ฐ™์ด ํ•™์Šต์„ ๋ณ‘๋ ฌ์ ใƒปํšจ์œจ์ ์œผ๋กœ ํ•  ์ˆ˜ ์žˆ๋‹ค๋Š” ์žฅ์ ์ด ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๊ธ€ 7B ๋ชจ๋ธ์€ RWKV-v5 ์•„ํ‚คํ…์ฒ˜๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ์ผ๋ฐ˜์ ์ธ ํŠธ๋žœ์Šคํฌ๋จธ ๊ธฐ๋ฐ˜ ๋ชจ๋ธ๋ณด๋‹ค ์ถ”๋ก  ๋น„์šฉ์ด 10~100๋ฐฐ ๋‚ฎ๊ณ ์š”. ๋น„์Šทํ•œ ํฌ๊ธฐ์˜ ๋ชจ๋ธ ์ค‘์—์„œ ํ† ํฐ ๋‹น ์†Œ๋ชจํ•˜๋Š” ์—๋„ˆ์ง€๊ฐ€ ๊ฐ€์žฅ ์ ๋‹ค๊ณ  ํ•ฉ๋‹ˆ๋‹ค. ํŠนํžˆ ๋‹ค๊ตญ์–ด ์ฒ˜๋ฆฌ์— ๊ฐ•์ ์„ ๋ณด์ด๊ณ  ์žˆ๋‹ค๊ณ  ํ•ด์š”. ์ด๊ธ€์€ ์ด๋ฒˆ ๋‹ฌ์— ๋ผ๋งˆ(Llama) 2 7B ๋ชจ๋ธ๊ณผ ์„ฑ๋Šฅ์„ ๋น„๊ตํ•  ์˜ˆ์ •์ด๊ณ , 3์›”์— MoE(Mixture of Experts) ๊ธฐ๋ฐ˜ ๋ชจ๋ธ๊ณผ RWKV-v6 'Finch' ๋ชจ๋ธ์ด ์ถœ์‹œ๋  ์˜ˆ์ •์ด๋ผ๊ณ  ํ•ฉ๋‹ˆ๋‹ค.
๋ฆฌ์•กํŠธ ์‹ ๊ทœ 'ํ›…' ๋ฏธ๋ฆฌ๋ณด๊ธฐ
๋ฆฌ์•กํŠธ์˜ ๋‚ด์žฅ ํ•จ์ˆ˜์ธ ํ›…(Hook)์€ ํ•จ์ˆ˜ ์ปดํฌ๋„ŒํŠธ(Function component) ๊ธฐ๋ฐ˜์˜ ๋ฆฌ์•กํŠธ ํ”„๋กœ์ ํŠธ์—์„œ ์ƒํƒœ ๊ด€๋ฆฌ, ์ตœ์ ํ™” ๋“ฑ์˜ ๊ธฐ๋Šฅ์„ ์ œ๊ณตํ•˜๋Š” ํ•จ์ˆ˜์ž…๋‹ˆ๋‹ค. ์›๋ž˜ ๋ฆฌ์•กํŠธ์—์„œ UI ์ปดํฌ๋„ŒํŠธ๋ฅผ ๊ตฌํ˜„ํ•  ๋•Œ ํด๋ž˜์Šค ๊ตฌ์กฐ๋ฅผ ์‚ฌ์šฉํ–ˆ๋Š”๋ฐ, ํ•จ์ˆ˜๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ๋ฐฉ๋ฒ•์ด ๋„์ž…๋˜๋ฉด์„œ ์—ฌ๋Ÿฌ ๊ฐ€์ง€ ํ›…์„ ์ œ๊ณตํ•˜๊ฒŒ ๋˜์—ˆ๋‹ค๊ณ  ํ•ด์š”. ๋ฆฌ์•กํŠธ ํŒ€์€ ์„œ๋ฒ„ ์ปดํฌ๋„ŒํŠธ๋‚˜ Next.js๋ฟ๋งŒ ์•„๋‹ˆ๋ผ ํด๋ผ์ด์–ธํŠธ ํ›… ๊ธฐ๋Šฅ๋„ ์ง€์†์ ์œผ๋กœ ๊ฐœ๋ฐœํ•˜๊ณ  ์žˆ๋Š”๋ฐ์š”. ๋ฆฌ์•กํŠธ ์นด๋‚˜๋ฆฌ(Canary) ๋ฒ„์ „๊ณผ ์‹คํ—˜ ๋ฒ„์ „์— ์—…๋ฐ์ดํŠธ๋œ ํ›…์„ ์†Œ๊ฐœํ•ฉ๋‹ˆ๋‹ค. use, useFormState, useFormStatus ๋“ฑ์˜ ์‹ ๊ทœ ํ›…๋“ค์€ ๋ฐ์ดํ„ฐ ๋ถˆ๋Ÿฌ์˜ค๊ธฐ(Data fetching)์™€ ํผ(Form) ๊ด€๋ จ ๊ธฐ๋Šฅ์— ์ง‘์ค‘๋˜์–ด ์žˆ๋‹ค๊ณ  ํ•˜๋„ค์š”. ์ด ํ›…๋“ค์€ ์•ž์œผ๋กœ ์ถœ์‹œ๋  ๋ฆฌ์•กํŠธ 19 ๋ฒ„์ „์— ํฌํ•จ๋  ๊ฐ€๋Šฅ์„ฑ์ด ์žˆ๋‹ค๊ณ  ํ•˜๋Š”๋ฐ์š”. ์ž์„ธํ•œ ๋‚ด์šฉ์€ ์•„๋ž˜ ๋งํฌ์—์„œ ํ™•์ธํ•ด ๋ณด์„ธ์š”!
๋ชจ๋‘์˜์—ฐ๊ตฌ์†Œ ์†Œ์‹
์ปค๋ฎค๋‹ˆํ‹ฐ์™€ SW/AI ๊ต์œก
LAB ์—ฐ๊ตฌ์› ์ฐพ์•„์š”
๐ŸŒค๏ธ์šฐ๋ฆฌ ๋ชจ์ž„์˜ ์—ฐ๊ตฌ ํ™œ๋™/์„ฑ๊ณผ๋ฅผ ์•Œ๋ฆฌ๊ณ  ์‹ถ๋‹ค๋ฉด? ์ œ๋ณดํ•˜๊ธฐ
Flutter ํ•˜๋‚˜๋กœ 100๋งŒ ๋‹ค์šด๋กœ๋“œ ์•ฑ ๋งŒ๋“ค ์ˆ˜ ์žˆ๋‹ค?
์š”์ฆ˜ ์‚ฌ์ด๋“œ์žก, ์ทจ์ฐฝ์—… ์ˆ˜๋‹จ์œผ๋กœ ํ”Œ๋Ÿฌํ„ฐ(Flutter) ์•ฑ ๊ฐœ๋ฐœ์ด ํ•ซํ•˜์ฃ ? ๊ทธ ์ค‘ ๋‹จ๊ธฐ๊ฐ„ ๋ฌด๋ ค 100๋งŒ ๋‹ค์šด๋กœ๋“œ์™€ โญ๏ธํ‰์  4.1์„ ๋‹ฌ์„ฑํ•œ 'Quick Memo'๋ผ๋Š” ์•ฑ์ด ์žˆ๋Š”๋ฐ์š”. ์ด ์•ฑ์„ ๊ฐœ๋ฐœํ•œ ํ”Œ๋Ÿฌํ„ฐ ์ „๋ฌธ๊ฐ€์™€ ํ•จ๊ป˜ ๋‚˜๋งŒ์˜ ์„ฑ๊ณต์ ์ธ ์•ฑ์„ ๋งŒ๋“ค๊ณ  ์‹ถ๋‹ค๋ฉด, ๋‹˜์—๊ฒŒ ์ด ๊ณผ์ •์„ ์ถ”์ฒœํ•ฉ๋‹ˆ๋‹ค๐Ÿ˜บ.
์—ด๋ฆฐ ์„ธ๋ฏธ๋‚˜
ํ‡ด๊ทผ์‹œ๊ฐ„ ์•ž๋‹น๊ฒจ์ฃผ๋Š” ์—…๋ฌด์ž๋™ํ™”
  • ์—ฐ์‚ฌ: ํ•œ์ค€๊ตฌ(์‚ผ์–‘์ดˆ๋“ฑํ•™๊ต ๊ต์‚ฌ)
  • ๋‚ด์šฉ: ํ•˜์ดํด๋ž˜์Šค ์„œ๋ฅ˜ ์ƒ์„ฑ ๋ฐ ๊ณต์œ ํ•˜๊ธฐ ยท ํ•ธ๋“œํฐ ์นด๋ฉ”๋ผ๋กœ PDF ํŒŒ์ผ ์Šค์บ”ํ•˜๊ธฐ ยท PDF๋กœ 1์ดˆ ์•ˆ์— ์‹ธ์ธํ•˜๊ธฐ ยท ๊ณต๋ฌธ ์ƒ์„ฑ ํˆดํ‚ท ์†Œ๊ฐœ ๋ฐ ์‹ค์Šต ยท ๊ฒฐ์„๊ณ„ ์ž๋™ํ™” ์†Œ๊ฐœ ๋ฐ ์‹ค์Šต
๋งจ๋•…์—์„œ ๊ตฌ์ถ•ํ•ด๋ณธ ๊ฐœ์ธํ™” ์‹œ์Šคํ…œ ๊ตฌ์ถ•๊ธฐ
  • ์—ฐ์‚ฌ: ์ด์ˆ˜์ง„(์›…์ง„์”ฝํฌ๋น… ML์—”์ง€๋‹ˆ์–ด)
  • ๋‚ด์šฉ: ์ถ”์ฒœ ์‹œ์Šคํ…œ์ด๋ž€? ยท ๋ฐ์ดํ„ฐ์˜ ์ค‘์š”์„ฑ ยท ์ถ”์ฒœ ์‹œ์Šคํ…œ ํ”„๋กœ์ ํŠธ ์ง„ํ–‰์‹œ ์ค‘์š”ํ•œ ์ ์€?
์˜ค๋Š˜๋„ ๋‹˜์˜ ์„ฑ์žฅ์„ ์‘์›ํ• ๊ฒŒ์š”!
์•—, ๋ ˆํ„ฐ๊ฐ€ ๋ฉ”์ผํ•จ์—์„œ ์•ˆ ๋ณด์ด๋‚˜์š”?
  • ์ŠคํŒธ๋ฉ”์ผํ•จ์—์„œ ์šธ๊ณ  ์žˆ์„์ง€๋„ ๋ชฐ๋ผ์š”. ์ฐพ์•„๊ฐ€ ํ™•์ธํ•ด ๋ณด์„ธ์š”!
  • ์ฃผ์†Œ๋ก์— ๋ชจ๋‘์˜์—ฐ๊ตฌ์†Œ ์ด๋ฉ”์ผ ์ฃผ์†Œ(modulabs01@gmail.com)๋ฅผ ์ถ”๊ฐ€ํ•ด ์ฃผ์„ธ์š”.
์„œ์šธ์‹œ ๊ฐ•๋‚จ๊ตฌ ๊ฐ•๋‚จ๋Œ€๋กœ 324(์—ญ์‚ผ๋””์˜ค์ŠˆํŽ˜๋ฆฌ์›€) 2F