#GoogleDeepMind #WhisperJAX ํจ๊ป ๊ณต์ ํ๊ณ ์ฑ์ฅํ๋ ์ฐ๊ตฌ ๋ฌธํ๋ฅผ ์ ํํด์ |
|
|
2023๋
5์ 1์ผ ๋ชจ๋๋ ํฐ |
|
|
๋, ๋ชจ๋๋ ํฐ๊ฐ ์์ด์!
์ด์ํ ๋ณํธ์ฌ ์ฐ์์ฐ, ์๋
์ ์ ๋ง ์ฌ๋ฐ๊ฒ ๋ณธ ๋๋ผ๋ง์ธ๋ฐ์๐ณ.
์ฌํด ๋ฐฑ์์์ ๋์์์ ์์ํ ๋ฐ์๋น ๋ฐฐ์ฐ๊ฐ ๊ผฝ์ ์์ฐ์ ๋์ฌ๋ฅผ ๊ฐ์ ธ์์ด์.
๋ค๋ฆ์ ๋ค์ฑ๋ก์์ผ๋ก ๋ฐ๋ผ๋ณด๋ ๋ฐ๋ปํ ๋ง์์ ๋ฐฐ์ฐ๊ณ ์ถ๋ค์ :) |
|
|
"์ ์ถ์ ์ด์ํ๊ณ ๋ณ๋์ง๋ง, ๊ฐ์น ์๊ณ ์๋ฆ๋ต์ต๋๋ค."
_๋๋ผ๋ง <์ด์ํ ๋ณํธ์ฌ ์ฐ์์ฐ> (๐ง) |
|
|
- ์คํAI, ๋ธ๋๋ ๊ฐ์ด๋๋ผ์ธ ๋ฐํ
- ๊ตฌ๊ธ ๋ฅ๋ง์ธ๋(Google DeepMind)
- ์์คํผ(Whisper) JAX
- ํธ๋์คํฌ๋จธ ๊ตฌํ์ ๋ ์ฝ๊ณ ๋น ๋ฅด๊ฒ
|
|
|
๐ฟ์ด๋ฆฐ ์ธ๋ฏธ๋ I ๊ฐ๋ ๋ง์ด ๊ณ ์์ผ, ์ค๋ ์ฑGPT๊ฐ ๊ณฑ๋ค |
|
|
์๋ฆผ I 5์ 5์ผ(๊ธ) ๊ณตํด์ผ๋ก ์ธํด ๋ค์์ฃผ ๋ชจ๋๋ ํฐ๋ ํ์์ผ ์์นจ์ ์ฐพ์๊ฐ๋๋ค๐๏ธ |
|
|
์คํAI, ๋ธ๋๋ ๊ฐ์ด๋๋ผ์ธ ๋ฐํ |
|
|
์คํAI๋ ๋ธ๋ก๊ทธ๋ฅผ ํตํด ์์ฌ AI ๋ชจ๋ธ์ ๋ธ๋๋๋ช
ํ๊ธฐ ๊ฐ์ด๋๋ผ์ธ์ ์ ์ํ์ต๋๋ค. ํด๋น ๊ฐ์ด๋๋ผ์ธ์ ๋ฐ๋ฅด๋ฉด, GPT-4๋ ์ฑGPT API๋ฅผ ์ด์ฉํด ๊ฐ๋ฐ๋ ์๋น์ค์๋ 'Powered by', 'Built on' ๋ฑ์ ๋ถ์ฌ ์ฌ์ฉํ๊ธธ ๊ถ์ฅํ๊ณ ์๊ณ ์. ์คํAI์์ ๊ฐ๋ฐํ ๋ชจ๋ธ์ ์ธ๊ธํ ๋๋, 'Chat GPT', 'ChatGPT4' ๋ฑ์ด ์๋ 'ChatGPT', 'GPT-3'์ ๊ฐ์ด ์ด๋ฆ์ ์๋ง๊ฒ ์ฐ๋ ๊ฒ์ ์ฅ๋ คํ๊ณ ์์ต๋๋ค.
OpenAI Brand Guidelines |
|
|
๊ตฌ๊ธ ๋ฅ๋ง์ธ๋(Google DeepMind) |
|
|
๋ ์๋ํด๋์ค AIํ์ธ ๊ตฌ๊ธ ๋ธ๋ ์ธ๊ณผ ๋ฅ๋ง์ธ๋๊ฐ '๊ตฌ๊ธ ๋ฅ๋ง์ธ๋(Google DeepMind)'๋ผ๋ ์ด๋ฆ์ผ๋ก ํ๋์ ํ์ด ๋์์ต๋๋ค. ๊ธฐ์กด์ ๊ตฌ๊ธ ๋ฆฌ์์นํ์ ์๊ณ ๋ฆฌ์ฆ, ๋ณด์, ์์ ์ปดํจํ
๋ฑ ์ปดํจํฐ ๊ณผํ์ ๊ทผ๋ณธ์ ์ธ ๋ฐ์ ์ ์ํ ์ฐ๊ตฌ๋ฅผ ์ง์ํ๊ฒ ๋ฉ๋๋ค. ์ํ๊ณ (Alphago), ํธ๋์คํฌ๋จธ(Transformer), ํ
์ํ๋ก(TensorFlow) ๋ฑ AI ๋ถ์ผ์ ํต์ฌ ๊ธฐ์ ๊ฐ๋ฐ์ ์์ฅ์ฐ๋ ๊ตฌ๊ธ์ ์ฐ๊ตฌ์๋ค์ด ์์ผ๋ก๋ ์ด๋ค ๋ ๋๋ผ์ด ๊ฒฐ๊ณผ๋ฅผ ๋ณด์ฌ์ฃผ๊ฒ ๋ ๊น์?
Google DeepMind: Bringing together two world-class AI teams |
|
|
์คํAI์ ์์ฑ ์ธ์ ๋ชจ๋ธ ์์คํผ(Whisper)๋ฅผ JAX๋ก ์ต์ ํํ ํ๋ก์ ํธ๋ฅผ ์๊ฐํฉ๋๋ค. Cloud TPU(Tensor Processing Unit)๋ฅผ ์ฌ์ฉํ์ ๋, '์์คํผ JAX'๋ ํ์ดํ ์น ์ฝ๋๋ณด๋ค 70๋ฐฐ ์ด์ ๋น ๋ฅธ ์๋๋ฅผ ๊ธฐ๋กํ๋๋ฐ์. ํ์ฌ ๊ณต๊ฐ๋ผ ์๋ ์์คํผ API ์ค ๊ฐ์ฅ ๋น ๋ฅด๋ค๊ณ ํฉ๋๋ค. TPU์์ '์์คํผ JAX'๋ฅผ ์คํํ๋ ๋ฐฉ๋ฒ์ ์ค๋ช
ํ ์บ๊ธ ๋
ธํธ๋ถ๊ณผ, ์ง์ ์ค๋์ค๋ฅผ ๋
น์/์
๋ก๋ํด์ ๋ชจ๋ธ์ ํ
์คํธํด ๋ณผ ์ ์๋ ๋ฐ๋ชจ๋ ์ค๋น๋ผ ์์ผ๋ ํ์ธํด ๋ณด์ธ์๐๏ธ.
Whisper JAX |
|
|
ํธ๋์คํฌ๋จธ ๊ตฌํ์ ๋ ์ฝ๊ณ ๋น ๋ฅด๊ฒ |
|
|
์ง๋์ฃผ์๋ ์๊ฐํ ๊ฒ์ฒ๋ผ, ํ์ดํ ์น 2.0์ ๋น ๋ฅธ ์ฐ์ฐ ์๋๋ฅผ ์๋ฆฌ๋ ๊ธ์ด ๋ธ๋ก๊ทธ์์ ์์ฃผ ๋ฑ์ฅํ๊ณ ์๋๋ฐ์. ์ค๊ฐ ๊ท๋ชจ์ GPT๋ฅผ ๊ฐ์ฅ ๋น ๋ฅด๊ฒ ํ๋ จ ๋ฐ ํ์ธํ๋ํ๊ธฐ ์ํ ์คํ์์ค์ธ '๋๋
ธGPT'์ ํ์ต์ ์๋ก์ด ์ฐ์ฐ์ ์ ์ฉํ ๊ฒฐ๊ณผ, ๋ฐฐ์น(Batch)๋น ์ฒ๋ฆฌ ์๋๊ฐ ํฌ๊ฒ ์ฆ๊ฐํ๋ค๊ณ ํด์. ๋ฐ๋ก 'scaled dot product attention(SDPA)' ์ฐ์ฐ์ธ๋ฐ์. ์์ธํ ๋ด์ฉ์ด ๊ถ๊ธํ๋ค๋ฉด, ์๋ ๊ธ์ ์ฝ์ด ๋ณด์ธ์!
Accelerating Large Language Models with Accelerated Transformers (๐ฐ๐ทํ๊ตญ์ด ๋ฒ์ญ ๊ธ) |
|
|
๋ชจ๋์ฐ ์ปค๋ฎค๋ํฐ ์์ |
|
|
๐พLAB ์ฐ๊ตฌ์ ์ฐพ์์ |
|
|
๐ํ์ดํผ์ต(Papershop) ์ฐ๊ตฌ์ ์ฐพ์์ |
|
|
๋ชจ๋์ฐ์์ ํ๋ ์ค์ธ ์ด์๋ก ์ฐ๊ตฌ์ํ์ด ๊ตญ์ ์ ๋ JCDE(Journal of Computational Design and Engineering)์ ๋
ผ๋ฌธ์ ๊ฒ์ฌํ์ต๋๋ค๐. ์ด ๊ธฐ์ ์์๊ณผ ํจ๊ป, ํจ์ปฌํฐ(๊ต์ ์ ์)์ ์ต๋ 200๋ง์์ ์ง์์ด ์ค๋น๋ ํ์ดํผ์ต์์ ์ธ๊ณ์ ์ธ ํํ์ ๋์ ํ ์ ๊ท ์ฐ๊ตฌ์์ ์ฐพ๊ณ ์๋ค๊ณ ํ๋๋ฐ์. ๋๋ ๊ด์ฌ ์๋ค๋ฉด ๋ฐ๋ก ์ฐพ์๊ฐ ๋ณด์ธ์! |
|
|
๋์ _๊ฐ๋ ๋ง์ด ๊ณ ์์ผ, ์ค๋ ์ฑGPT๊ฐ ๊ณฑ๋ค |
|
|
- ์ผ์: 5์ 11์ผ ๋ชฉ์์ผ I 7:00PM - 8:00PM
- ์ฅ์: ๋ชจ๋์์ฐ๊ตฌ์ ๋์ ์บ ํผ์ค
- ์ฐ์ฌ:๊ถํ์(๋ชจ๋์์ฐ๊ตฌ์)
- ์ฝํ
์ธ : ํ๋กฌํํธ ์์ง๋์ด๋ง(Prompt Engineering) ์ด๋ก ๊ณผ ์ค์ต
|
|
|
๋ ์ค๋๋ ๊ณ ๋ง์์. ๋ค์์ฃผ์ ๋ ๋ง๋์!๐ค |
|
|
์, ๋ ํฐ๊ฐ ๋ฉ์ผํจ์์ ์ ๋ณด์ด๋์?
- ์คํธ๋ฉ์ผํจ์์ ์ธ๊ณ ์์์ง๋ ๋ชฐ๋ผ์. ์ฐพ์๊ฐ ํ์ธํด ๋ณด์ธ์!
- ์ฃผ์๋ก์ ๋ชจ๋์์ฐ๊ตฌ์ ์ด๋ฉ์ผ ์ฃผ์(modulabs01@gmail.com)๋ฅผ ์ถ๊ฐํด ์ฃผ์ธ์.
|
|
|
(์ฃผ)๋ชจ๋์์ฐ๊ตฌ์
์์ธ์ ๊ฐ๋จ๊ตฌ ๊ฐ๋จ๋๋ก 324(์ญ์ผ๋์ค์ํ๋ฆฌ์) 2F
|
|
|
|
|