#DALL-E3 #ToRA #StableDiffusion
ํ•จ๊ป˜ ๊ณต์œ ํ•˜๊ณ  ์„ฑ์žฅํ•˜๋Š” ์—ฐ๊ตฌ ๋ฌธํ™”๋ฅผ ์ „ํŒŒํ•ด์š”
2023๋…„ 10์›” 16์ผ ๋ชจ๋‘๋ ˆํ„ฐ
created with DALLใƒปE2
๋‹˜, ๋ชจ๋‘๋ ˆํ„ฐ๊ฐ€ ์™”์–ด์š”.
๋…์„œํ•˜๋Š” ๋‹ค๋žŒ์ฅ๐Ÿฟ๏ธ, ๊ท€์—ฝ์ง€ ์•Š๋‚˜์š”?
์ „ ๋…์„œ๊ฐ€ ์ฑ…์„ ์ฝ๋Š” ๋™์•ˆ ์•ˆ์ •๊ฐ์„ ์ค˜์„œ ์ข‹๋”๋ผ๊ตฌ์š”.
๋‹˜์€ ๋ฌด์—‡์œผ๋กœ ํž๋ง์„ ์–ป๋Š”์ง€ ๊ถ๊ธˆํ•˜๋„ค์š”!
์ด๋ฒˆ์ฃผ AI ์†Œ์‹ 
  • ์˜คํ”ˆAI, DALLใƒปE 3 ์‹œ์Šคํ…œ ์นด๋“œ ๊ณต๊ฐœ
  • ๋งˆ์ดํฌ๋กœ์†Œํ”„ํŠธ, ์ˆ˜ํ•™์  ์ถ”๋ก  ๋ชจ๋ธ 'ToRA' ๊ณต๊ฐœ
  • ๋‹˜, Stable Diffusion์„ ์ œ๋Œ€๋กœ ์ดํ•ดํ•˜๊ณ  ์‹ถ๋‚˜์š”?
์—ด๋ฆฐ ์„ธ๋ฏธ๋‚˜: SAM๊ณผ ์นœํ•ด์ง€๊ธฐ I ์ดํ•ด๊ด€๊ณ„์ž ์ปค๋ฎค๋‹ˆํ‹ฐ๋ฅผ ์œ„ํ•œ ๊ฑฐ๋ฒ„๋„Œ์Šค์™€ ๊ธฐ์—ฌ ๋ณด์ƒ
์˜คํ”ˆAI, DALLใƒปE 3 ์‹œ์Šคํ…œ ์นด๋“œ ๊ณต๊ฐœ
โœข์ฑ—GPT์˜ ์š”์•ฝ(ํ…Œ์ŠคํŠธ): ์˜คํ”ˆAI๊ฐ€ ๋‹ฌ๋ฆฌ 3 ๋ชจ๋ธ์˜ ์‹œ์Šคํ…œ ์นด๋“œ๋ฅผ ๊ณต๊ฐœํ•˜๊ณ , ์ดˆ๊ธฐ ๋ฒ„์ „์˜ ๋ฌธ์ œ ๊ฐœ์„  ๋ฐ ์ด๋ฏธ์ง€ ์ƒ์„ฑ ๊ณผ์ œ์— ๋Œ€ํ•ด ์„ค๋ช…ํ–ˆ์Šต๋‹ˆ๋‹ค.
ยฉOpenAI
์˜คํ”ˆAI๊ฐ€ ๋‹ฌ๋ฆฌ(DALLใƒปE) 3 ๋ชจ๋ธ์˜ ์‹œ์Šคํ…œ ์นด๋“œ(System card)๋ฅผ ๊ณต๊ฐœํ–ˆ์Šต๋‹ˆ๋‹ค. ๋‹ฌ๋ฆฌ 3๋Š” ์ด์ „์˜ ๋‹ฌ๋ฆฌ 2 ๋ชจ๋ธ์„ ๊ธฐ๋ฐ˜์œผ๋กœ ๋งŒ๋“ค์–ด์กŒ๋Š”๋ฐ์š”. ์•„์ง๊นŒ์ง€ ๋ชจ๋ธ ๊ตฌ์กฐ๋Š” ๊ณต๊ฐœ๋˜์ง€ ์•Š์•˜์–ด์š”. ์‹œ์Šคํ…œ ์นด๋“œ์—์„œ๋Š” ๋ชจ๋ธ ์ž์ฒด์— ๋Œ€ํ•œ ์ •๋ณด๋ณด๋‹ค๋Š”, ๋‹ฌ๋ฆฌ 3๊ฐ€ ์ดˆ๊ธฐ ๋ฒ„์ „์—์„œ ์–ด๋–ค ์ ์„ ๋ณด์™„ํ–ˆ๋Š”์ง€๋ฅผ ์ฃผ๋กœ ์„ค๋ช…ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๋‹ฌ๋ฆฌ 3์˜ ์ดˆ๊ธฐ ๋ฒ„์ „์€ ์„ ์ •์ ์ธ ์ด๋ฏธ์ง€๋ฅผ ์ƒ์„ฑํ•˜๋Š” ๊ฒฝ์šฐ๊ฐ€ ๊ฐ€๋” ์žˆ์—ˆ๋Š”๋ฐ์š”. ์˜คํ”ˆAI๋Š” ๊ฒฐ๊ณผ ์ด๋ฏธ์ง€์˜ ๋ถ€์ ์ ˆ์„ฑ ์—ฌ๋ถ€๋ฅผ 'Microsoft Cognitive Service API'๋ฅผ ์ด์šฉํ•ด ํŒ๋‹จํ•˜๊ณ , ์ด๋ฏธ์ง€์—์„œ ๋ถ€์ ์ ˆํ•œ ๋ถ€๋ถ„๋งŒ ๋”ฐ๋กœ ๋ชจ์•„ ๋†“์€ ๋ฐ์ดํ„ฐ์…‹์„ ๊ตฌ์ถ•ํ•ด ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ–ˆ๋‹ค๊ณ  ํ•ด์š”. ์ด์™ธ์—๋„ ์ธ์ข…, ์—ฐ๋ น ๋“ฑ์˜ ๋‹ค์–‘์„ฑ์ด ๋ถ€์กฑํ•œ ์ด๋ฏธ์ง€๋‚˜ ํ™”ํ•™์ ใƒป์ƒ๋ฌผํ•™์  ๋ฌด๊ธฐ์™€ ๊ด€๋ จ๋œ ์ด๋ฏธ์ง€, ํŠน์ • ์ž‘๊ฐ€์˜ ์Šคํƒ€์ผ๋กœ ๊ทธ๋ ค์ง„ ์ด๋ฏธ์ง€ ๋“ฑ ์ด๋ฏธ์ง€ ์ƒ์„ฑ ๋ชจ๋ธ์ด ํ’€์–ด์•ผ ํ•  ์ˆ™์ œ๋“ค์ด ์ž˜ ์„ค๋ช…๋ผ ์žˆ์Šต๋‹ˆ๋‹ค.
๋งˆ์ดํฌ๋กœ์†Œํ”„ํŠธ, ์ˆ˜ํ•™์  ์ถ”๋ก  ๋ชจ๋ธ 'ToRA' ๊ณต๊ฐœ
โœข์ฑ—GPT์˜ ์š”์•ฝ: ๋งˆ์ดํฌ๋กœ์†Œํ”„ํŠธ๊ฐ€ ๊ฐœ๋ฐœํ•œ ์ˆ˜ํ•™์  ์ถ”๋ก  ๋ชจ๋ธ 'ToRA'์€ ์˜คํ”ˆ ์†Œ์Šค LLM์„ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•˜๋ฉฐ, ์ˆ˜ํ•™ ๋ฌธ์ œ ํ•ด๊ฒฐ ๋Šฅ๋ ฅ์—์„œ ์šฐ์ˆ˜ํ•œ ์„ฑ๊ณผ๋ฅผ ๊ฑฐ๋’€์œผ๋ฉฐ, 'ToRA-7B' ๋ชจ๋ธ์€ ์ตœ๊ณ ์˜ ์˜คํ”ˆ ์†Œ์Šค ๋ชจ๋ธ 'WizardMath-70B'๋ณด๋‹ค 22% ๋” ๋›ฐ์–ด๋‚œ ์„ฑ๋Šฅ์„ ๋ณด์˜€๊ณ , 'ToRA-Code-34B' ๋ชจ๋ธ์€ 50% ์ด์ƒ์˜ ์ •ํ™•๋„๋ฅผ ๋‹ฌ์„ฑํ•˜์˜€์Šต๋‹ˆ๋‹ค.
ยฉMicrosoft
๋งˆ์ดํฌ๋กœ์†Œํ”„ํŠธ๊ฐ€ ๊ฐœ๋ฐœํ•œ ์ˆ˜ํ•™์  ์ถ”๋ก  ๋ชจ๋ธ 'ToRA(A Tool-Integrated Reasoning Agent)'๊ฐ€ ๊ณต๊ฐœ๋์Šต๋‹ˆ๋‹ค. ToRA๋Š” '๋ผ๋งˆ(Llama) 2'์™€ ๊ฐ™์€ ์˜คํ”ˆ ์†Œ์Šค LLM(Large Language Model)์„ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•ด์„œ, 'SymPy'์™€ ๊ฐ™์€ ์ˆ˜ํ•™์  ์ถ”๋ก ์„ ์œ„ํ•œ ํ”„๋กœ๊ทธ๋žจ๊ณผ ๊ฒฐํ•ฉ๋  ์ˆ˜ ์žˆ๋„๋ก ํ•™์Šต๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ๊ทธ ๊ฒฐ๊ณผ, ์ˆ˜ํ•™ ์ถ”๋ก  ๋ฌธ์ œ์—์„œ ๋‹ค๋ฅธ ์˜คํ”ˆ ์†Œ์Šค LLM๋ณด๋‹ค ๋†’์€ ์ ์ˆ˜๋ฅผ ๊ธฐ๋ก, GPT-4์™€ ๊ฐ™์€ ๋น„๊ณต๊ฐœ ๋ชจ๋ธ๊ณผ ๋น„๊ตํ•ด๋„ ๋ถ€์กฑํ•˜์ง€ ์•Š์€ ์„ฑ๋Šฅ์„ ๋ณด์˜€์Šต๋‹ˆ๋‹ค. ํŠนํžˆ 'ToRA-7B'๋Š” MATH ๋ฐ์ดํ„ฐ์…‹์—์„œ 44.6%์— ๋„๋‹ฌํ•ด ์ตœ๊ณ ์˜ ์˜คํ”ˆ ์†Œ์Šค ๋ชจ๋ธ 'WizardMath-70B'๋ฅผ 22% ๋” ๋Šฅ๊ฐ€ํ–ˆ๊ณ ์š”. 'ToRA-Code-34B'๋Š” ์˜คํ”ˆ ์†Œ์Šค ๋ชจ๋ธ ์ตœ์ดˆ๋กœ 50% ์ด์ƒ์˜ ์ •ํ™•๋„๋ฅผ ๊ธฐ๋กํ–ˆ๋‹ค๊ณ  ํ•˜๋„ค์š”. ToRA ๋ชจ๋ธ์˜ 7B, 13B, 70B ๋ชจ๋ธ์ด ํ—ˆ๊น…ํŽ˜์ด์Šค์— ๋ชจ๋‘ ๊ณต๊ฐœ๋ผ ์žˆ์œผ๋‹ˆ, ํ™•์ธํ•ด ๋ณด์„ธ์š”!
๋‹˜, Stable Diffusion์„ ์ œ๋Œ€๋กœ ์ดํ•ดํ•˜๊ณ  ์‹ถ๋‚˜์š”?
๋‹ค๋ฅธ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ์—†์ด ํŒŒ์ดํ† ์น˜(PyTorch)๋งŒ ์‚ฌ์šฉํ•ด์„œ ์Šคํ…Œ์ด๋ธ” ๋””ํ“จ์ „(Stable Diffusion)์„ ๊ตฌํ˜„ํ•˜๋Š” ์˜์ƒ์„ ์†Œ๊ฐœํ•ฉ๋‹ˆ๋‹ค. ์˜์ƒ์—์„œ๋Š” ์ƒ์„ฑ ๋ชจ๋ธ์˜ ๊ฐœ๋…๊ณผ CLIP, VAE(Variational Autoencoder) ๋“ฑ ์Šคํ…Œ์ด๋ธ” ๋””ํ“จ์ „ ๋ชจ๋ธ์„ ์ดํ•ดํ•˜๋Š”๋ฐ ํ•„์š”ํ•œ ๊ฒƒ๋“ค์„ ์„ค๋ช…ํ•˜๊ณ  ์žˆ๊ณ ์š”. ์Šคํ…Œ์ด๋ธ” ๋””ํ“จ์ „ ๋ชจ๋ธ์„ ๊ตฌ์„ฑํ•˜๋Š” ๊ฐ๊ฐ์˜ ์š”์†Œ๋“ค๊ณผ ๋ชจ๋ธ ์ถ”๋ก (Inference) ์ฝ”๋“œ๊นŒ์ง€ ์ง์ ‘ ํ•˜๋‚˜ํ•˜๋‚˜ ๊ตฌํ˜„ํ•ด ๋‚˜๊ฐ‘๋‹ˆ๋‹ค. 5์‹œ๊ฐ„ ๋ถ„๋Ÿ‰์˜ ๊ธด ์˜์ƒ์ด์ง€๋งŒ, ์Šคํ…Œ์ด๋ธ” ๋””ํ“จ์ „์˜ ์›๋ฆฌ๋ฅผ ์ œ๋Œ€๋กœ ์ดํ•ดํ•˜๊ณ  ์‹ถ์€ ๋ถ„๋“ค๊ป˜ ์ถ”์ฒœํ• ๊ฒŒ์š”!
์—ด๋ฆฐ ์„ธ๋ฏธ๋‚˜
๊ฐ•๋‚จ I SAM(Segment Anything Model)๊ณผ ์นœํ•ด์ง€๊ธฐ
  • ์ผ์‹œ: 10์›” 17์ผ ํ™”์š”์ผ 7:30PM - 9:30PM
  • ์žฅ์†Œ: ๋ชจ๋‘์˜์—ฐ๊ตฌ์†Œ ๊ฐ•๋‚จ์บ ํผ์Šค ๋ผ์šด์ง€ / ์˜จ๋ผ์ธ ์†ก์ถœ
  • ์—ฐ์‚ฌ: ๊น€๊ฒฝํ™˜(์Šค๋งˆ์ผ๊ฒŒ์ดํŠธ ML ์—”์ง€๋‹ˆ์–ด)
  • ๋‚ด์šฉ: SAM์˜ ์ด๋ก ์  ๋ฐฐ๊ฒฝ ใƒป SAM ์‚ฌ์šฉ ์‚ฌ๋ก€ ์†Œ๊ฐœ(์ปดํ“จํ„ฐ ๋น„์ „ ๋ฐ ์˜์ƒ ๋ถ„์•ผ ์ค‘์‹ฌ) ใƒป SAM ์‹ค์Šต(Colab ํ™˜๊ฒฝ์—์„œ SAM ์˜คํ”ˆ์†Œ์Šค ์˜ˆ์ œ ์‹ค์Šต) ใƒป Q&A, ๋„คํŠธ์›Œํ‚น
๊ฐ•๋‚จ I ์ดํ•ด๊ด€๊ณ„์ž ์ปค๋ฎค๋‹ˆํ‹ฐ๋ฅผ ์œ„ํ•œ ๊ฑฐ๋ฒ„๋„Œ์Šค์™€ ๊ธฐ์—ฌ ๋ณด์ƒ: ๋ชจ๋‘์˜์—ฐ๊ตฌ์†Œ ์ค‘์‹ฌ์œผ๋กœ
  • ์ผ์‹œ: 10์›” 18์ผ ์ˆ˜์š”์ผ 7PM - 9:30PM
  • ์žฅ์†Œ: ๋ชจ๋‘์˜์—ฐ๊ตฌ์†Œ ๊ฐ•๋‚จ์บ ํผ์Šค ๋ผ์šด์ง€ / ์˜จ๋ผ์ธ ์†ก์ถœ
  • ์—ฐ์‚ฌ: ํ•œ์žฌ์„ (LTGLAB Founder&CEO), ๊น€์„ฑํ›ˆ(๋ฒ•๋ฌด๋ฒ•์ธ ๋ฏธ์…˜ ๋Œ€ํ‘œ ๋ณ€ํ˜ธ์‚ฌ), ๊น€์Šน์ผ(๋ชจ๋‘์˜์—ฐ๊ตฌ์†Œ ๋Œ€ํ‘œ)
  • ๋‚ด์šฉ: ๋ชจ๋‘์˜์—ฐ๊ตฌ์†Œ ๋ฐ ํ”„๋กœ์ ํŠธ ์†Œ๊ฐœ ใƒป ๋ชจ๋‘์˜์—ฐ๊ตฌ์†Œ ์ปค๋ฎค๋‹ˆํ‹ฐ์˜ ๋ฒ•์  ๊ตฌ์กฐ ใƒป ๋ชจ๋‘์˜์—ฐ๊ตฌ์†Œ ์ปค๋ฎค๋‹ˆํ‹ฐ ๊ฑฐ๋ฒ„๋„Œ์Šค์™€ ๊ธฐ์—ฌ ๋ณด์ƒ ใƒป LAB ๋ชจ์ง‘ ๋ฐ ์šด์˜ ๋ฐฉ๋ฒ• ์†Œ๊ฐœ ใƒป Q&A
์˜ค๋Š˜๋„ ๋‹˜์˜ ์„ฑ์žฅ์„ ์‘์›ํ• ๊ฒŒ์š”.
์•—, ๋ ˆํ„ฐ๊ฐ€ ๋ฉ”์ผํ•จ์—์„œ ์•ˆ ๋ณด์ด๋‚˜์š”?
  • ์ŠคํŒธ๋ฉ”์ผํ•จ์—์„œ ์šธ๊ณ  ์žˆ์„์ง€๋„ ๋ชฐ๋ผ์š”. ์ฐพ์•„๊ฐ€ ํ™•์ธํ•ด ๋ณด์„ธ์š”!
  • ์ฃผ์†Œ๋ก์— ๋ชจ๋‘์˜์—ฐ๊ตฌ์†Œ ์ด๋ฉ”์ผ ์ฃผ์†Œ(modulabs01@gmail.com)๋ฅผ ์ถ”๊ฐ€ํ•ด ์ฃผ์„ธ์š”.
(์ฃผ)๋ชจ๋‘์˜์—ฐ๊ตฌ์†Œ
์„œ์šธ์‹œ ๊ฐ•๋‚จ๊ตฌ ๊ฐ•๋‚จ๋Œ€๋กœ 324(์—ญ์‚ผ๋””์˜ค์ŠˆํŽ˜๋ฆฌ์›€) 2F