#Keras3.0 #AndrejKarpathy #LLM
ํ•จ๊ป˜ ๊ณต์œ ํ•˜๊ณ  ์„ฑ์žฅํ•˜๋Š” ์—ฐ๊ตฌ ๋ฌธํ™”๋ฅผ ์ „ํŒŒํ•ด์š”
2023๋…„ 12์›” 4์ผ ๋ชจ๋‘๋ ˆํ„ฐ
created with DALLยทE
๋‹˜, ๋ชจ๋‘๋ ˆํ„ฐ๊ฐ€ ์™”์–ด์š”!
๊ตฐ๊ณ ๊ตฌ๋งˆ์˜ ๊ณ„์ ˆ์ด ๋Œ์•„์™”๋„ค์š”๐Ÿ .
ํ•œํ•ด์˜ ๋ 12์›”์€ ๋ชจ๋‘์ฝ˜์˜ ๊ณ„์ ˆ์ด๊ธฐ๋„ ํ•œ๋ฐ์š”.
์–ด๋А๋ง ์ด๋ฒˆ์ฃผ ํ† ์š”์ผ์— ์—ด๋ฆฝ๋‹ˆ๋‹ค!~๐ŸŽŠ
์ž‘๋…„์—” ํ•จ๋ฐ•๋ˆˆ์ด ํŽ‘ํŽ‘, ์˜ฌํ•ธ ์–ด๋–ค ํ’๊ฒฝ์ผ๊นŒ์š”?
์ด๋ฒˆ์ฃผ SW/AI ์†Œ์‹ 
  • ๋งˆ์นจ๋‚ด, Keras 3.0 ์ •์‹ ์ถœ์‹œ
  • Andrej Karpathy์˜ LLM ํŠน๊ฐ•
  • Django vs Flask, ์ตœ๊ณ ์˜ ํŒŒ์ด์ฌ ์›น ํ”„๋ ˆ์ž„์›Œํฌ๋Š”?
์—ด๋ฆฐ ์„ธ๋ฏธ๋‚˜&์ฝ˜ํผ๋Ÿฐ์Šค: MODUCON 2023 
๋งˆ์นจ๋‚ด, Keras 3.0 ์ •์‹ ์ถœ์‹œ
ยฉKeras
์ง€๋‚œ 7์›”, ์ผ€๋ผ์Šค ์ฝ”์–ด(Keras Core) ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ๊ณต๊ฐœ์™€ ํ•จ๊ป˜ ์ผ€๋ผ์Šค 3.0์ด ์˜ฌํ•ด ๊ฐ€์„ ๋ฐœํ‘œ๋  ์˜ˆ์ •์ด๋ผ๋Š” ์†Œ์‹์„ ์ „ํ–ˆ๋Š”๋ฐ์š”. ๊ทธ ์ผ€๋ผ์Šค 3.0์ด ๋งˆ์นจ๋‚ด ์ •์‹ ์ถœ์‹œ๋์Šต๋‹ˆ๋‹ค. ์ผ€๋ผ์Šค ์ฝ”์–ด์™€ ๊ฐ™์ด ์ผ€๋ผ์Šค 3.0๋„ ๋ฉ€ํ‹ฐ ๋ฐฑ์—”๋“œ๋ฅผ ์ง€์›ํ•˜๊ธฐ ๋•Œ๋ฌธ์— ์ผ€๋ผ์Šค๋กœ ์ž‘์„ฑํ•œ ์ฝ”๋“œ๋Š” ํ…์„œํ”Œ๋กœ(TensorFlow), ํŒŒ์ดํ† ์น˜(PyTorch), JAX ํ™˜๊ฒฝ์—์„œ ๋ฐ”๋กœ ์‹คํ–‰๋  ์ˆ˜ ์žˆ์–ด์š”. ๋˜ํ•œ ๋„˜ํŒŒ์ด(Numpy) ํ•จ์ˆ˜๋“ค๊ณผ ํ•จ๊ป˜ ์‹ ๊ฒฝ๋ง ๊ตฌํ˜„์— ์ž์ฃผ ์‚ฌ์šฉ๋˜๋Š” ํ•จ์ˆ˜๋“ค์„ 'keras.ops' ๋ชจ๋“ˆ๋กœ ์ œ๊ณตํ•˜์—ฌ, ๋„˜ํŒŒ์ด์™€ ํŠน์ • ๋ฐฑ์—”๋“œ ํ•จ์ˆ˜๋กœ ๊ตฌํ˜„๋๋˜ ๊ธฐ๋Šฅ๋“ค๋„ 'keras.ops'๋กœ ๊ตฌํ˜„ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ผ€๋ผ์Šค ํ•จ์ˆ˜๋งŒ์„ ์‚ฌ์šฉํ•ด์„œ ๋ชจ๋ธ ํ•™์Šต์„ ํ•˜๋Š” ๊ฒƒ๋ณด๋‹ค๋Š”, ๊ธฐ์กด ๋ฐฑ์—”๋“œ ์ฝ”๋“œ์˜ ํ๋ฆ„์— ์˜ํ–ฅ์„ ์ฃผ์ง€ ์•Š๋„๋ก ํ•˜๋Š” ๋ฐ ์ง‘์ค‘ํ–ˆ๋‹ค๊ณ  ํ•˜๋„ค์š”. ํ…์„œํ”Œ๋กœ 2.0 ๋ฒ„์ „ ์ดํ›„๋กœ ์˜ˆ์ „๊ฐ™์ง€ ์•Š๋˜ ์ผ€๋ผ์Šค์˜ ์ธ๊ธฐ, ์ด๋ฒˆ ๋ฐœํ‘œ๋กœ ๋‹ค์‹œ ๋– ์˜ค๋ฅผ ์ˆ˜ ์žˆ์„๊นŒ์š”?
Andrej Karpathy์˜ LLM ํŠน๊ฐ•
์˜คํ”ˆAI์˜ ์•ˆ๋“œ๋ ˆ ์นดํŒŒ์‹œ(Andrej Karpathy)๊ฐ€ 1์‹œ๊ฐ„ ๋ถ„๋Ÿ‰์˜ LLM(Large Language Model) ๊ฐ•์˜๋ฅผ ์œ ํŠœ๋ธŒ์— ๊ณต๊ฐœํ–ˆ์Šต๋‹ˆ๋‹ค. ํŒŒํŠธ 1์—์„œ๋Š” LLM์˜ ์ „์ฒด์ ์ธ ๊ฐœ๋…์„ ์„ค๋ช…ํ•˜๊ณ , ํŒŒํŠธ 2์—์„œ๋Š” 'LLM์˜ ๋ฏธ๋ž˜'๋ฅผ ์ฃผ์ œ๋กœ Scaling Law(๋ชจ๋ธ์˜ ์„ฑ๋Šฅ๊ณผ ๋ชจ๋ธ์˜ ํฌ๊ธฐ, ๋ฐ์ดํ„ฐ์…‹์˜ ํฌ๊ธฐ ์‚ฌ์ด์˜ ๊ด€๊ณ„)์™€ ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ๋ฆฌํ‹ฐ(Multimodality), ๊ทธ๋ฆฌ๊ณ  ์ตœ๊ทผ์— ํ™”์ œ๊ฐ€ ๋๋˜ GPT ์Šคํ† ์–ด(Store), LLM OS ๋“ฑ์„ ์†Œ๊ฐœํ•ฉ๋‹ˆ๋‹ค. ๋งˆ์ง€๋ง‰ ํŒŒํŠธ 3์—์„œ๋Š” ํƒˆ์˜ฅ(Jailbreak), ํ”„๋กฌํ”„ํŠธ ์ธ์ ์…˜(Prompt injection) ๋“ฑ LLM์˜ ๋ณด์•ˆ ์ด์Šˆ์™€ ๊ด€๋ จ๋œ ์ฃผ์ œ๋ฅผ ์ด์•ผ๊ธฐํ•ฉ๋‹ˆ๋‹ค. '๋ฐ”์œ ์‚ฌ๋žŒ์„ ์œ„ํ•œ LLM ์†Œ๊ฐœ(The busy person's intro to LLMs)'๋ผ๋Š” ์ œ๋ชฉ์— ๋งž๊ฒŒ 1์‹œ๊ฐ„ ์•ˆ์— ๋งŽ์€ ๋‚ด์šฉ์„ ๋‹ด์•˜๋Š”๋ฐ์š”. ๋ ˆ๋”ง ์œ ์ €๊ฐ€ ์ •๋ฆฌํ•œ ์ฐธ๊ณ  ๋…ผ๋ฌธ ๋ฆฌ์ŠคํŠธ๋„ ์žˆ์œผ๋‹ˆ ํ•จ๊ป˜ ๋ณด๋ฉด ์ข‹์„ ๊ฒƒ ๊ฐ™์Šต๋‹ˆ๋‹ค.
Django vs Flask, ์ตœ๊ณ ์˜ ํŒŒ์ด์ฌ ์›น ํ”„๋ ˆ์ž„์›Œํฌ๋Š”?
์žฅ๊ณ (Django)์™€ ํ”Œ๋ผ์Šคํฌ(Flask)๋Š” ๋ชจ๋‘ ์›น ๊ฐœ๋ฐœ์— ๋„๋ฆฌ ์“ฐ์ด๋Š” ํŒŒ์ด์ฌ ํ”„๋ ˆ์ž„์›Œํฌ์ž…๋‹ˆ๋‹ค. ์›น ๊ฐœ๋ฐœ ๊ณต๋ถ€๋ฅผ ์‹œ์ž‘ํ•  ๋•Œ, ๋‘˜ ์ค‘ ๋ฌด์—‡์„ ๋ฐฐ์›Œ์•ผ ํ• ์ง€ ๊ถ๊ธˆํ•ด ํ•  ์ˆ˜ ์žˆ์–ด์š”. ๋งˆ์น˜ ๋”ฅ๋Ÿฌ๋‹์—์„œ ํ…์„œํ”Œ๋กœ์™€ ํŒŒ์ดํ† ์น˜ ์‚ฌ์ด์—์„œ ๊ณ ๋ฏผํ•˜๋Š” ๊ฒƒ์ฒ˜๋Ÿผ์š”. ์ด๋“ค ํ”„๋ ˆ์ž„์›Œํฌ์˜ ํŠน์ง•์„ ๋น„๊ตํ•œ ๊ธ€์ด ์ ฏ๋ธŒ๋ ˆ์ธ(JetBrains) ๋ธ”๋กœ๊ทธ์— ์˜ฌ๋ผ์™”์Šต๋‹ˆ๋‹ค. ์žฅ๊ณ ๋Š” '๋ชจ๋“  ๊ฒƒ์„ ํฌํ•จํ•˜๋Š”(All-inclusive)' ํ”„๋ ˆ์ž„์›Œํฌ์ธ๋ฐ์š”. ๊ฐ„๋‹จํ•œ ์›น์‚ฌ์ดํŠธ๋ฅผ ๋งŒ๋“œ๋Š” ๋ฐ์—๋„ ๋ผ์šฐํŒ…(Routing) ํŒŒ์ผ ๋“ฑ ์—ฌ๋Ÿฌ ๊ฐ€์ง€๊ฐ€ ํ•„์š”ํ•˜์ง€๋งŒ, ๋ณต์žกํ•œ ๊ธฐ๋Šฅ๋„ ์žฅ๊ณ ๋งŒ์œผ๋กœ ๊ตฌํ˜„์ด ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค. ๋ฐ˜๋ฉด์— ํ”Œ๋ผ์Šคํฌ๋Š” ๊ฐ„๋‹จํ•œ ํ”„๋กœ์ ํŠธ๋ฅผ ์•„์ฃผ ์‰ฝ๊ฒŒ ๋งŒ๋“ค ์ˆ˜ ์žˆ์ง€๋งŒ, ํŒจํ‚ค์ง€์™€ ํ™•์žฅ ํ”„๋กœ๊ทธ๋žจ๋“ค์„ ์ถ”๊ฐ€์ ์œผ๋กœ ์‚ฌ์šฉํ•˜๊ฒŒ ๋œ๋‹ค๋ฉด ์žฅ๊ณ ๋ณด๋‹ค ์–ด๋ ค์›Œ์งˆ ์ˆ˜ ์žˆ์–ด์š”. ์ด์™ธ์—๋„ URL ์ฒ˜๋ฆฌ์™€ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค ์‚ฌ์šฉ, ์‚ฌ์šฉ์ž ์ธ์ฆ ๋“ฑ ๋‹ค์–‘ํ•œ ์ธก๋ฉด์—์„œ ๋‘ ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ๋น„๊ตํ•ฉ๋‹ˆ๋‹ค.
๋ชจ๋‘์˜์—ฐ๊ตฌ์†Œ ์†Œ์‹
์ปค๋ฎค๋‹ˆํ‹ฐ & SW/AI ๊ต์œก
LAB ์—ฐ๊ตฌ์› ์ฐพ์•„์š”
SW/AI ๊ต์œก์ƒ ์ฐพ์•„์š”
<์ธ๊ณต์ง€๋Šฅ ๋ชจ๋ธ ํ™œ์šฉ ๋ฐฑ์—”๋“œ ๊ฐœ๋ฐœ ๊ณผ์ •>
Daum ๊ฒ€์€์‚ฌ๋ง‰, KB ๊ตญ๋ฏผ์€ํ–‰, Django ๋„์„œ ์ €์ž ์ถœ์‹ ์˜ ๊ฐ•์‚ฌ์ง„์ด ์ž‘์ •ํ•˜๊ณ  ๋งŒ๋“  ๋ฐฑ์—”๋“œ ๋ถ€ํŠธ์บ ํ”„
<AIํ•™๊ต ์•„์ดํŽ  ๋ฐ์ดํ„ฐ ์‚ฌ์ด์–ธํ‹ฐ์ŠคํŠธ ๊ณผ์ •>
๋ฐ์ดํ„ฐ โ€˜์‚ฌ์ด์–ธํ‹ฐ์ŠคํŠธโ€™ ํ•„์ˆ˜ ์—ญ๋Ÿ‰์— ๋งž์ถฐ ์™„์„ฑํ•œ ์œ ์ผํ•œ ๊ต์œก ํ”„๋กœ๊ทธ๋žจ ๋งˆ์นจ๋‚ด ํƒ„์ƒ
MODUCON 2023
D-5, ์ฝ˜ํผ๋Ÿฐ์Šค๊ฐ€ ๊ณง ์—ด๋ ค์š”!
๋ชจ๋‘์ฝ˜ 2023์ด ์–ด๋А๋ง ์ฝ”์•ž์œผ๋กœ ๋‹ค๊ฐ€์™”๋„ค์š”. ์ง€์‹, ๊ฒฝํ—˜, ๋งˆ์Œ์„ ๋‚˜๋ˆ„๋Š” ๋ชจ๋‘์˜์—ฐ๊ตฌ์†Œ๋งŒ์˜ AI ์ฝ˜ํผ๋Ÿฐ์Šค ์ถ•์ œ๋ฅผ ๋‹˜๋„ ๋ง˜๊ป ์ฆ๊ฒจ์ฃผ์„ธ์š”. ์ง€๊ธˆ ๋ฐ”๋กœ ์‹ ์ฒญํ•˜๊ณ , ๋‹ค์ฑ„๋กœ์šด ์„ ๋ฌผ ์ด๋ฒคํŠธ๋„ ํ•จ๊ป˜ํ•ด์š”!
๐ŸŒ์ง์ ‘ ์ฐธ์—ฌํ•˜๊ธฐ ์–ด๋ ค์šด ๋ถ„๋“ค์„ ์œ„ํ•ด, ์ฝ˜ํผ๋Ÿฐ์Šค ์ข…๋ฃŒ ํ›„ 4์ฃผ ์ด๋‚ด ์œ ํŠœ๋ธŒ์— ์˜์ƒ์ด ๊ณต๊ฐœ๋ฉ๋‹ˆ๋‹ค :)
๐Ÿ””์‚ฌ์ „ ์ด๋ฒคํŠธ - ์ฐธ์—ฌ ์‹ ์ฒญ ์ธ์ฆํ•˜๊ณ , ์นœํ•„ ์‚ฌ์ธ ๋„์„œ ๋ฐ›์ž!
์˜ค๋Š˜๋„ ๋‹˜์˜ ์„ฑ์žฅ์„ ์‘์›ํ• ๊ฒŒ์š”!
์•—, ๋ ˆํ„ฐ๊ฐ€ ๋ฉ”์ผํ•จ์—์„œ ์•ˆ ๋ณด์ด๋‚˜์š”?
  • ์ŠคํŒธ๋ฉ”์ผํ•จ์—์„œ ์šธ๊ณ  ์žˆ์„์ง€๋„ ๋ชฐ๋ผ์š”. ์ฐพ์•„๊ฐ€ ํ™•์ธํ•ด ๋ณด์„ธ์š”!
  • ์ฃผ์†Œ๋ก์— ๋ชจ๋‘์˜์—ฐ๊ตฌ์†Œ ์ด๋ฉ”์ผ ์ฃผ์†Œ(modulabs01@gmail.com)๋ฅผ ์ถ”๊ฐ€ํ•ด ์ฃผ์„ธ์š”.
์„œ์šธ์‹œ ๊ฐ•๋‚จ๊ตฌ ๊ฐ•๋‚จ๋Œ€๋กœ 324(์—ญ์‚ผ๋””์˜ค์ŠˆํŽ˜๋ฆฌ์›€) 2F