#GoogleDeepMind #WhisperJAX
ํ•จ๊ป˜ ๊ณต์œ ํ•˜๊ณ  ์„ฑ์žฅํ•˜๋Š” ์—ฐ๊ตฌ ๋ฌธํ™”๋ฅผ ์ „ํŒŒํ•ด์š”
2023๋…„ 5์›” 1์ผ ๋ชจ๋‘๋ ˆํ„ฐ
๋‹˜, ๋ชจ๋‘๋ ˆํ„ฐ๊ฐ€ ์™”์–ด์š”!
์ด์ƒํ•œ ๋ณ€ํ˜ธ์‚ฌ ์šฐ์˜์šฐ, ์ž‘๋…„์— ์ •๋ง ์žฌ๋ฐŒ๊ฒŒ ๋ณธ ๋“œ๋ผ๋งˆ์ธ๋ฐ์š”๐Ÿณ.
์˜ฌํ•ด ๋ฐฑ์ƒ์˜ˆ์ˆ ๋Œ€์ƒ์—์„œ ์ˆ˜์ƒํ•œ ๋ฐ•์€๋นˆ ๋ฐฐ์šฐ๊ฐ€ ๊ผฝ์€ ์˜์šฐ์˜ ๋Œ€์‚ฌ๋ฅผ ๊ฐ€์ ธ์™”์–ด์š”.
๋‹ค๋ฆ„์„ ๋‹ค์ฑ„๋กœ์›€์œผ๋กœ ๋ฐ”๋ผ๋ณด๋Š” ๋”ฐ๋œปํ•œ ๋งˆ์Œ์„ ๋ฐฐ์šฐ๊ณ  ์‹ถ๋„ค์š” :)
"์ œ ์‚ถ์€ ์ด์ƒํ•˜๊ณ  ๋ณ„๋‚˜์ง€๋งŒ, ๊ฐ€์น˜ ์žˆ๊ณ  ์•„๋ฆ„๋‹ต์Šต๋‹ˆ๋‹ค."
_๋“œ๋ผ๋งˆ <์ด์ƒํ•œ ๋ณ€ํ˜ธ์‚ฌ ์šฐ์˜์šฐ> (๐ŸŽง)
์ด๋ฒˆ์ฃผ AI ์†Œ์‹
  • ์˜คํ”ˆAI, ๋ธŒ๋žœ๋“œ ๊ฐ€์ด๋“œ๋ผ์ธ ๋ฐœํ‘œ
  • ๊ตฌ๊ธ€ ๋”ฅ๋งˆ์ธ๋“œ(Google DeepMind)
  • ์œ„์Šคํผ(Whisper) JAX
  • ํŠธ๋žœ์Šคํฌ๋จธ ๊ตฌํ˜„์„ ๋” ์‰ฝ๊ณ  ๋น ๋ฅด๊ฒŒ
๐Ÿฟ์—ด๋ฆฐ ์„ธ๋ฏธ๋‚˜ I ๊ฐ€๋Š” ๋ง์ด ๊ณ ์™€์•ผ, ์˜ค๋Š” ์ฑ—GPT๊ฐ€ ๊ณฑ๋‹ค
์•Œ๋ฆผ I 5์›” 5์ผ(๊ธˆ) ๊ณตํœด์ผ๋กœ ์ธํ•ด ๋‹ค์Œ์ฃผ ๋ชจ๋‘๋ ˆํ„ฐ๋Š” ํ™”์š”์ผ ์•„์นจ์— ์ฐพ์•„๊ฐ‘๋‹ˆ๋‹ค๐Ÿ•Š๏ธ
์˜คํ”ˆAI, ๋ธŒ๋žœ๋“œ ๊ฐ€์ด๋“œ๋ผ์ธ ๋ฐœํ‘œ

์˜คํ”ˆAI๋Š” ๋ธ”๋กœ๊ทธ๋ฅผ ํ†ตํ•ด ์ž์‚ฌ AI ๋ชจ๋ธ์˜ ๋ธŒ๋žœ๋“œ๋ช… ํ‘œ๊ธฐ ๊ฐ€์ด๋“œ๋ผ์ธ์„ ์ œ์‹œํ–ˆ์Šต๋‹ˆ๋‹ค. ํ•ด๋‹น ๊ฐ€์ด๋“œ๋ผ์ธ์— ๋”ฐ๋ฅด๋ฉด, GPT-4๋‚˜ ์ฑ—GPT API๋ฅผ ์ด์šฉํ•ด ๊ฐœ๋ฐœ๋œ ์„œ๋น„์Šค์—๋Š” 'Powered by', 'Built on' ๋“ฑ์„ ๋ถ™์—ฌ ์‚ฌ์šฉํ•˜๊ธธ ๊ถŒ์žฅํ•˜๊ณ  ์žˆ๊ณ ์š”. ์˜คํ”ˆAI์—์„œ ๊ฐœ๋ฐœํ•œ ๋ชจ๋ธ์„ ์–ธ๊ธ‰ํ•  ๋•Œ๋„, 'Chat GPT', 'ChatGPT4' ๋“ฑ์ด ์•„๋‹Œ 'ChatGPT', 'GPT-3'์™€ ๊ฐ™์ด ์ด๋ฆ„์„ ์•Œ๋งž๊ฒŒ ์“ฐ๋Š” ๊ฒƒ์„ ์žฅ๋ คํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.

OpenAI Brand Guidelines

๊ตฌ๊ธ€ ๋”ฅ๋งˆ์ธ๋“œ(Google DeepMind)

๋‘ ์›”๋“œํด๋ž˜์Šค AIํŒ€์ธ ๊ตฌ๊ธ€ ๋ธŒ๋ ˆ์ธ๊ณผ ๋”ฅ๋งˆ์ธ๋“œ๊ฐ€ '๊ตฌ๊ธ€ ๋”ฅ๋งˆ์ธ๋“œ(Google DeepMind)'๋ผ๋Š” ์ด๋ฆ„์œผ๋กœ ํ•˜๋‚˜์˜ ํŒ€์ด ๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ๊ธฐ์กด์˜ ๊ตฌ๊ธ€ ๋ฆฌ์„œ์น˜ํŒ€์€ ์•Œ๊ณ ๋ฆฌ์ฆ˜, ๋ณด์•ˆ, ์–‘์ž ์ปดํ“จํŒ… ๋“ฑ ์ปดํ“จํ„ฐ ๊ณผํ•™์˜ ๊ทผ๋ณธ์ ์ธ ๋ฐœ์ „์„ ์œ„ํ•œ ์—ฐ๊ตฌ๋ฅผ ์ง€์†ํ•˜๊ฒŒ ๋ฉ๋‹ˆ๋‹ค. ์•ŒํŒŒ๊ณ (Alphago), ํŠธ๋žœ์Šคํฌ๋จธ(Transformer), ํ…์„œํ”Œ๋กœ(TensorFlow) ๋“ฑ AI ๋ถ„์•ผ์˜ ํ•ต์‹ฌ ๊ธฐ์ˆ  ๊ฐœ๋ฐœ์— ์•ž์žฅ์„ฐ๋˜ ๊ตฌ๊ธ€์˜ ์—ฐ๊ตฌ์ž๋“ค์ด ์•ž์œผ๋กœ๋Š” ์–ด๋–ค ๋˜ ๋†€๋ผ์šด ๊ฒฐ๊ณผ๋ฅผ ๋ณด์—ฌ์ฃผ๊ฒŒ ๋ ๊นŒ์š”?

Google DeepMind: Bringing together two world-class AI teams

์œ„์Šคํผ(Whisper) JAX

์˜คํ”ˆAI์˜ ์Œ์„ฑ ์ธ์‹ ๋ชจ๋ธ ์œ„์Šคํผ(Whisper)๋ฅผ JAX๋กœ ์ตœ์ ํ™”ํ•œ ํ”„๋กœ์ ํŠธ๋ฅผ ์†Œ๊ฐœํ•ฉ๋‹ˆ๋‹ค. Cloud TPU(Tensor Processing Unit)๋ฅผ ์‚ฌ์šฉํ–ˆ์„ ๋•Œ, '์œ„์Šคํผ JAX'๋Š” ํŒŒ์ดํ† ์น˜ ์ฝ”๋“œ๋ณด๋‹ค 70๋ฐฐ ์ด์ƒ ๋น ๋ฅธ ์†๋„๋ฅผ ๊ธฐ๋กํ–ˆ๋Š”๋ฐ์š”. ํ˜„์žฌ ๊ณต๊ฐœ๋ผ ์žˆ๋Š” ์œ„์Šคํผ API ์ค‘ ๊ฐ€์žฅ ๋น ๋ฅด๋‹ค๊ณ  ํ•ฉ๋‹ˆ๋‹ค. TPU์—์„œ '์œ„์Šคํผ JAX'๋ฅผ ์‹คํ–‰ํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์„ค๋ช…ํ•œ ์บ๊ธ€ ๋…ธํŠธ๋ถ๊ณผ, ์ง์ ‘ ์˜ค๋””์˜ค๋ฅผ ๋…น์Œ/์—…๋กœ๋“œํ•ด์„œ ๋ชจ๋ธ์„ ํ…Œ์ŠคํŠธํ•ด ๋ณผ ์ˆ˜ ์žˆ๋Š” ๋ฐ๋ชจ๋„ ์ค€๋น„๋ผ ์žˆ์œผ๋‹ˆ ํ™•์ธํ•ด ๋ณด์„ธ์š”๐ŸŽ™๏ธ.

Whisper JAX

ํŠธ๋žœ์Šคํฌ๋จธ ๊ตฌํ˜„์„ ๋” ์‰ฝ๊ณ  ๋น ๋ฅด๊ฒŒ

์ง€๋‚œ์ฃผ์—๋„ ์†Œ๊ฐœํ•œ ๊ฒƒ์ฒ˜๋Ÿผ, ํŒŒ์ดํ† ์น˜ 2.0์˜ ๋น ๋ฅธ ์—ฐ์‚ฐ ์†๋„๋ฅผ ์•Œ๋ฆฌ๋Š” ๊ธ€์ด ๋ธ”๋กœ๊ทธ์—์„œ ์ž์ฃผ ๋“ฑ์žฅํ•˜๊ณ  ์žˆ๋Š”๋ฐ์š”. ์ค‘๊ฐ„ ๊ทœ๋ชจ์˜ GPT๋ฅผ ๊ฐ€์žฅ ๋น ๋ฅด๊ฒŒ ํ›ˆ๋ จ ๋ฐ ํŒŒ์ธํŠœ๋‹ํ•˜๊ธฐ ์œ„ํ•œ ์˜คํ”ˆ์†Œ์Šค์ธ '๋‚˜๋…ธGPT'์˜ ํ•™์Šต์— ์ƒˆ๋กœ์šด ์—ฐ์‚ฐ์„ ์ ์šฉํ•œ ๊ฒฐ๊ณผ, ๋ฐฐ์น˜(Batch)๋‹น ์ฒ˜๋ฆฌ ์†๋„๊ฐ€ ํฌ๊ฒŒ ์ฆ๊ฐ€ํ–ˆ๋‹ค๊ณ  ํ•ด์š”. ๋ฐ”๋กœ 'scaled dot product attention(SDPA)' ์—ฐ์‚ฐ์ธ๋ฐ์š”. ์ž์„ธํ•œ ๋‚ด์šฉ์ด ๊ถ๊ธˆํ•˜๋‹ค๋ฉด, ์•„๋ž˜ ๊ธ€์„ ์ฝ์–ด ๋ณด์„ธ์š”!

Accelerating Large Language Models with Accelerated Transformers (๐Ÿ‡ฐ๐Ÿ‡ทํ•œ๊ตญ์–ด ๋ฒˆ์—ญ ๊ธ€)

๋ชจ๋‘์—ฐ ์ปค๋ฎค๋‹ˆํ‹ฐ ์†Œ์‹
๐ŸŒฑํ’€์žŽ์Šค์ฟจ ์—ฐ๊ตฌ์› ์ฐพ์•„์š” _5์›” 14์ผ๊นŒ์ง€(์„ ์ฐฉ์ˆœ ๋งˆ๊ฐ)
๐ŸŒพLAB ์—ฐ๊ตฌ์› ์ฐพ์•„์š”
๐Ÿ“‘ํŽ˜์ดํผ์ƒต(Papershop) ์—ฐ๊ตฌ์› ์ฐพ์•„์š”
๋ชจ๋‘์—ฐ์—์„œ ํ™œ๋™ ์ค‘์ธ ์ด์ƒ๋ก ์—ฐ๊ตฌ์›ํŒ€์ด ๊ตญ์ œ ์ €๋„ JCDE(Journal of Computational Design and Engineering)์— ๋…ผ๋ฌธ์„ ๊ฒŒ์žฌํ–ˆ์Šต๋‹ˆ๋‹ค๐ŸŽ‰. ์ด ๊ธฐ์œ ์†Œ์‹๊ณผ ํ•จ๊ป˜, ํŒจ์ปฌํ‹ฐ(๊ต์‹ ์ €์ž)์™€ ์ตœ๋Œ€ 200๋งŒ์›์˜ ์ง€์›์ด ์ค€๋น„๋œ ํŽ˜์ดํผ์ƒต์—์„œ ์„ธ๊ณ„์ ์ธ ํ•™ํšŒ์— ๋„์ „ํ•  ์‹ ๊ทœ ์—ฐ๊ตฌ์›์„ ์ฐพ๊ณ  ์žˆ๋‹ค๊ณ  ํ•˜๋Š”๋ฐ์š”. ๋‹˜๋„ ๊ด€์‹ฌ ์žˆ๋‹ค๋ฉด ๋ฐ”๋กœ ์ฐพ์•„๊ฐ€ ๋ณด์„ธ์š”!
์—ด๋ฆฐ ์„ธ๋ฏธ๋‚˜
๋Œ€์ „_๊ฐ€๋Š” ๋ง์ด ๊ณ ์™€์•ผ, ์˜ค๋Š” ์ฑ—GPT๊ฐ€ ๊ณฑ๋‹ค
  • ์ผ์‹œ: 5์›” 11์ผ ๋ชฉ์š”์ผ I 7:00PM - 8:00PM
  • ์žฅ์†Œ: ๋ชจ๋‘์˜์—ฐ๊ตฌ์†Œ ๋Œ€์ „์บ ํผ์Šค
  • ์—ฐ์‚ฌ:๊ถŒํƒ์ˆ˜(๋ชจ๋‘์˜์—ฐ๊ตฌ์†Œ)
  • ์ฝ˜ํ…์ธ : ํ”„๋กฌํ”„ํŠธ ์—”์ง€๋‹ˆ์–ด๋ง(Prompt Engineering) ์ด๋ก ๊ณผ ์‹ค์Šต 
๋‹˜ ์˜ค๋Š˜๋„ ๊ณ ๋งˆ์›Œ์š”. ๋‹ค์Œ์ฃผ์— ๋˜ ๋งŒ๋‚˜์š”!๐Ÿค—
์•—, ๋ ˆํ„ฐ๊ฐ€ ๋ฉ”์ผํ•จ์—์„œ ์•ˆ ๋ณด์ด๋‚˜์š”?
  • ์ŠคํŒธ๋ฉ”์ผํ•จ์—์„œ ์šธ๊ณ  ์žˆ์„์ง€๋„ ๋ชฐ๋ผ์š”. ์ฐพ์•„๊ฐ€ ํ™•์ธํ•ด ๋ณด์„ธ์š”!
  • ์ฃผ์†Œ๋ก์— ๋ชจ๋‘์˜์—ฐ๊ตฌ์†Œ ์ด๋ฉ”์ผ ์ฃผ์†Œ(modulabs01@gmail.com)๋ฅผ ์ถ”๊ฐ€ํ•ด ์ฃผ์„ธ์š”.
(์ฃผ)๋ชจ๋‘์˜์—ฐ๊ตฌ์†Œ
์„œ์šธ์‹œ ๊ฐ•๋‚จ๊ตฌ ๊ฐ•๋‚จ๋Œ€๋กœ 324(์—ญ์‚ผ๋””์˜ค์ŠˆํŽ˜๋ฆฌ์›€) 2F