#๋ชจ๋‘๋ ˆํ„ฐ #ImageBind #F-VLM
ํ•จ๊ป˜ ๊ณต์œ ํ•˜๊ณ  ์„ฑ์žฅํ•˜๋Š” ์—ฐ๊ตฌ ๋ฌธํ™”๋ฅผ ์ „ํŒŒํ•ด์š”
2023๋…„ 5์›” 22์ผ ๋ชจ๋‘๋ ˆํ„ฐ
Happy Birthday!
๋ชจ๋‘๋ ˆํ„ฐ๊ฐ€ ํ•œ ์‚ด์ด ๋˜์—ˆ์–ด์š”๐Ÿฅณ.
๊ฐ€์น˜๋ฅผ ํ•จ๊ป˜ ๋‚˜๋ˆ„๊ธฐ ์œ„ํ•ด ํƒ„์ƒํ•œ ๋ชจ๋‘๋ ˆํ„ฐ.
์•ž์œผ๋กœ ๋‘ ์‚ด, ์„ธ ์‚ด์ด ๋  ๋•Œ๊นŒ์ง€ ํ•จ๊ป˜ํ•ด ์ค„ ๊ฑฐ์ฃ ? :)
๋‹˜, ๐Ÿ“ฎ๋ชจ๋‘๋ ˆํ„ฐ ์ž˜ ๋ณด๊ณ  ์žˆ๋‚˜์š”?
๋‹˜๊ณผ ๊ฐ™์ด ์˜ค๋ž˜ ์„ฑ์žฅํ•˜๊ณ  ์‹ถ์–ด์š”.
์ง„์†”ํ•œ ์˜๊ฒฌ๊ณผ ๋”ฐ๋œปํ•œ ์‘์› ๊ธฐ๋‹ค๋ฆด๊ฒŒ์š”!
์ด๋ฒˆ์ฃผ AI ์†Œ์‹
๐Ÿ“๊ณต์ง€_๋‹ค์Œ์ฃผ ๋ชจ๋‘๋ ˆํ„ฐ๋Š” ๊ฐ€๊ฟˆ์ด์˜ ํœด๊ฐ€๋กœ ํ•œ ์ฃผ ์‰ฌ์–ด๊ฐ‘๋‹ˆ๋‹ค๐Ÿ˜ด.
  • ๋ฉ”ํƒ€, ์‚ฌ๋žŒ์ฒ˜๋Ÿผ ํ•™์Šตํ•˜๋Š” AI ๋ชจ๋ธ '์ด๋ฏธ์ง€๋ฐ”์ธ๋“œ(ImageBind)' ๊ณต๊ฐœ
  • ๊ตฌ๊ธ€, ์ˆ˜์–ด ๋ฐ์ดํ„ฐ ์ธ์‹ ๋Œ€ํšŒ ๊ฐœ์ตœ
  • ์š”์ฆ˜ ํ•ซํ•œ LLM์„ ๋ฐฐ์›Œ๋ณด๊ณ  ์‹ถ๋‹ค๋ฉด?
  • ๊ตฌ๊ธ€์˜ ๊ฐœ๋ฐฉํ˜• ์–ดํœ˜ ๊ฐ์ฒด ํƒ์ง€ ๋ชจ๋ธ 'F-VLM'
์—ด๋ฆฐ ์„ธ๋ฏธ๋‚˜: AI ์—ฐ๊ตฌ์›์œผ๋กœ ์ผํ•˜๋Š” ๋ฒ•, ์ƒˆ๋กœ์šด AI ์†”๋ฃจ์…˜ <๋‚˜๋งŒ์˜AI>
๋ฉ”ํƒ€, ์‚ฌ๋žŒ์ฒ˜๋Ÿผ ํ•™์Šตํ•˜๋Š” AI ๋ชจ๋ธ '์ด๋ฏธ์ง€๋ฐ”์ธ๋“œ(ImageBind)' ๊ณต๊ฐœ
ยฉMeta AI

์‚ฌ๋žŒ์€ ์™ธ๋ถ€ ํ™˜๊ฒฝ์—์„œ ์ •๋ณด๋ฅผ ์–ป์„ ๋•Œ, ์‹œ๊ฐ ๋ฟ๋งŒ ์•„๋‹ˆ๋ผ ์—ฌ๋Ÿฌ ๊ฐ๊ฐ๋“ค์„ ์‚ฌ์šฉํ•˜์ฃ ? ๋”ฅ๋Ÿฌ๋‹ ๋ถ„์•ผ์—์„œ๋„ ๋‹ค์–‘ํ•œ ๋ชจ๋‹ฌ๋ฆฌํ‹ฐ(Modality)๋ฅผ ๊ฒฐํ•ฉํ•˜๋Š” ์—ฐ๊ตฌ๊ฐ€ ํ™œ๋ฐœํ•˜๊ฒŒ ์ง„ํ–‰๋˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์ตœ๊ทผ ๋ฉ”ํƒ€๊ฐ€ ๊ณต๊ฐœํ•œ ์ƒˆ๋กœ์šด AI ๋ชจ๋ธ โ€˜์ด๋ฏธ์ง€๋ฐ”์ธ๋“œ(ImageBind)โ€™๋Š” ์ด๋ฏธ์ง€ยท๋น„๋””์˜ค, ํ…์ŠคํŠธ, ์˜ค๋””์˜ค, ์—ดํ™”์ƒ(์ ์™ธ์„  ์ด๋ฏธ์ง€) ๋“ฑ 6๊ฐ€์ง€ ์œ ํ˜•์˜ ๋ฐ์ดํ„ฐ๋ฅผ ํ•˜๋‚˜์˜ ์ž„๋ฒ ๋”ฉ ๊ณต๊ฐ„์— ๊ฒฐํ•ฉํ•˜๋Š” ๋ชจ๋ธ์ธ๋ฐ์š”. ๊ณต๊ฐœ๋œ ์ฝ”๋“œ, ๋ฐ๋ชจ๊ฐ€ ํฌํ•จ๋œ ์ž์„ธํ•œ ๋‚ด์šฉ์„ ํ™•์ธํ•ด ๋ณด์„ธ์š”!

๊ตฌ๊ธ€, ์ˆ˜์–ด ๋ฐ์ดํ„ฐ ์ธ์‹ ๋Œ€ํšŒ ๊ฐœ์ตœ(~8.10)

๊ตฌ๊ธ€์ด ์ˆ˜์–ด ๋ฐ์ดํ„ฐ๋ฅผ ์ธ์‹ํ•˜๋Š” ์บ๊ธ€ ๋Œ€ํšŒ๋ฅผ ๊ฐœ์ตœํ•˜์˜€์Šต๋‹ˆ๋‹ค. ์Œ์„ฑ ์ธ์‹ ๊ธฐ์ˆ ์€ ์—ฌ๋Ÿฌ ์ „์ž ๊ธฐ๊ธฐ์—์„œ ์‹œ๊ฐ ์žฅ์• ์ธ๋“ค์˜ ์ ‘๊ทผ์„ฑ์„ ๋†’์˜€์ง€๋งŒ, ์ฒญ๊ฐ ์žฅ์• ์ธ๋“ค๊ณผ ๋‚œ์ฒญ์ด ์žˆ๋Š” ์‚ฌ๋žŒ๋“ค์€ ์ด๋Ÿฐ ๊ธฐ๋Šฅ์— ์ ‘๊ทผํ•  ์ˆ˜ ์—†์—ˆ์–ด์š”. ๊ทธ๋ž˜์„œ ๊ตฌ๊ธ€์€ ๋ณด๋‹ค ๋งŽ์€ ์‚ฌ๋žŒ๋“ค์ด ๊ธฐ์ˆ ์„ ๋ˆ„๋ฆด ์ˆ˜ ์žˆ๋„๋ก ์ˆ˜์–ด ์ธ์‹ ๊ธฐ์ˆ  ๊ฐœ๋ฐœ์„ ์ง€์›ํ•˜๊ธฐ๋กœ ํ–ˆ๊ณ , ์ด๋ฒˆ ๋Œ€ํšŒ๋„ ์ด๋Ÿฌํ•œ ๋งฅ๋ฝ์—์„œ ์—ด๋ ธ๋‹ค๊ณ  ํ•ด์š”. 5๋“ฑ ์ด๋‚ด ์ง„์ž…์„ ๊ธฐ๋กํ•œ ํŒ€์—๊ฒŒ๋Š” ์ƒ๊ธˆ๋„ ์ฃผ์–ด์ง€๋‹ˆ, ๋‹˜๋„ ๊ด€์‹ฌ์ด ์žˆ๋‹ค๋ฉด ๋„์ „ํ•ด ๋ณด์„ธ์š”๐Ÿ†.

์š”์ฆ˜ ํ•ซํ•œ LLM์„ ๋ฐฐ์›Œ๋ณด๊ณ  ์‹ถ๋‹ค๋ฉด?
ยฉThe Full Stack

์š”์ฆ˜ AI ๋ถ„์•ผ์—์„œ ๊ฐ€์žฅ ์ธ๊ธฐ ์žˆ๋Š” ํ‚ค์›Œ๋“œ ์ค‘ ํ•˜๋‚˜๊ฐ€ ๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ(LLM)์ด์ฃ ? ๋งค๋…„ ํ’€์Šคํƒ ๋”ฅ๋Ÿฌ๋‹ ๊ฐ•์˜๋ฅผ ์ง„ํ–‰ํ•˜๊ณ  ์žˆ๋Š” โ€˜The Full Stackโ€™์—์„œ ์ง€๋‚œ ๋‹ฌ ๊ฐœ์ตœํ•œ <LLM ๋ถ€ํŠธ์บ ํ”„>์˜ ๊ฐ•์˜ ์ž๋ฃŒ์™€ ์˜์ƒ์ด ๊ณต๊ฐœ๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ํ”„๋กฌํ”„ํŠธ ์—”์ง€๋‹ˆ์–ด๋ง, LLM์„ ์ด์šฉํ•œ ์„œ๋น„์Šค ๋ฐฐํฌ, ์ฆ๊ฐ• ์–ธ์–ด ๋ชจ๋ธ ๋“ฑ์˜ ์ฝ˜ํ…์ธ ๋“ค์ด ์—ด๋ ค ์žˆ์œผ๋‹ˆ, ํ•ด๋‹น ๋ถ„์•ผ์— ๊ด€์‹ฌ ์žˆ๋‹ค๋ฉด ์ฐธ๊ณ ํ•ด ์ฃผ์„ธ์š”!

๊ตฌ๊ธ€์˜ ๊ฐœ๋ฐฉํ˜• ์–ดํœ˜ ๊ฐ์ฒด ํƒ์ง€ ๋ชจ๋ธ 'F-VLM'

๊ตฌ๊ธ€์˜ ๊ฐ์ฒด ํƒ์ง€(Object detection) ๋ชจ๋ธ โ€˜F-VLMโ€™์ด ICLR 2023์—์„œ ๋ฐœํ‘œ๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ๊ฐ์ฒด ํƒ์ง€ ๋ชจ๋ธ์ด ์ผ๋ฐ˜์ ์œผ๋กœ ์ธ์‹ํ•  ์ˆ˜ ์žˆ๋Š” ๋ฌผ์ฒด์˜ ์ข…๋ฅ˜๋Š” 1,000๊ฐ€์ง€ ์ •๋„ ๋ฐ–์— ์•ˆ ๋œ๋‹ค๊ณ  ํ•˜๋Š”๋ฐ์š”. ๊ตฌ๊ธ€์€ ์ด๋ฅผ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•ด โ€˜CLIPโ€™๊ณผ ๊ฐ™์€ VLM(Vision and Language Model)์—์„œ ์•„์ด๋””์–ด๋ฅผ ์–ป์—ˆ์Šต๋‹ˆ๋‹ค. ์ด๋ฏธ ํ•™์Šต๋œ(Pretrained) VLM์˜ ์ด๋ฏธ์ง€ ์ธ์ฝ”๋”์™€ ํ…์ŠคํŠธ ์ธ์ฝ”๋”๋ฅผ ๊ทธ๋Œ€๋กœ ์‚ฌ์šฉํ–ˆ์Œ์—๋„ LVIS, Object365 ๋“ฑ์˜ ๋ฐ์ดํ„ฐ์…‹์œผ๋กœ ์ง„ํ–‰๋œ ํƒœ์Šคํฌ์—์„œ ์ƒˆ๋กœ์šด ์นดํ…Œ๊ณ ๋ฆฌ์˜ ๋ฌผ์ฒด๋ฅผ ์ œ๋Œ€๋กœ ์ธ์‹ํ•  ์ˆ˜ ์žˆ์—ˆ๋‹ค๊ณ  ํ•ด์š”.

_์•„์ดํŽ ์€ 6๊ฐœ์›” ์ „์ผ์ œ์ธ ์˜จ๋ผ์ธ AIํ•™๊ต์ž…๋‹ˆ๋‹ค๐Ÿ—“๏ธ
๋ชจ๋‘์—ฐ ์ปค๋ฎค๋‹ˆํ‹ฐ ์†Œ์‹
๐ŸŒฑํ’€์žŽ์Šค์ฟจ ์—ฐ๊ตฌ์› ์ฐพ์•„์š”
๋‹˜, ํ˜น์‹œ ํ•ด์•ผํ•  ๊ณต๋ถ€๊ฐ€ ์ฐจ๊ณก์ฐจ๊ณก ์Œ“์ด๊ณ  ์žˆ์ง„ ์•Š๋‚˜์š”?๐Ÿ“š
๊ณต๋ถ€ํ•˜๊ณ  ์‹ถ์€ ๋ถ„์•ผ๋งŒ ์„ ํƒํ•˜๋ฉด ํ’€์žŽ์Šค์ฟจ์—์„œ ๊ฐ™์€ ๊ด€์‹ฌ์‚ฌ๋ฅผ ๊ฐ€์ง„ ๋™๋ฃŒ๋ฅผ ์ฐพ์•„์ค๋‹ˆ๋‹ค! ์•„๋ž˜ ๋งํฌ์—์„œ ํ’€์žŽ์Šค์ฟจ๋งŒ์˜ ํ˜œํƒ๋„ ์‚ดํŽด๋ณด๊ณ , ์„œ๋ฒ ์ด๋„ ๋น ๋ฅด๊ฒŒ ์ž‘์„ฑํ•ด ๋ณด์„ธ์š” :-) _by ์ •์›์‚ฌ ํ•œํ•ด์—ฐ
๐ŸŒพLAB ์—ฐ๊ตฌ์› ์ฐพ์•„์š”
  • LLM(Large Language Model) LAB _6์›” 3์ผ๊นŒ์ง€ #ํŽ˜์ดํผ์ƒต(๋…ผ๋ฌธ)
  • AI AgTech LAB  _6์›” 5์ผ๊นŒ์ง€ #ํŽ˜์ดํผ์ƒต(๋…ผ๋ฌธ)
  • SDPB(Stable Diffusion for Paper and Business) _6์›” 5์ผ๊นŒ์ง€ #ํŽ˜์ดํผ์ƒต(๋…ผ๋ฌธ)
  • Speech Recognition LAB _6์›” 6์ผ๊นŒ์ง€ #ํŽ˜์ดํผ์ƒต(๋…ผ๋ฌธ)
  • SSHAB(Small and Side Hustle Advancement Business) LAB _โณ5์›” 27์ผ๊นŒ์ง€
  • Medical AI LAB  _โณ5์›” 30์ผ๊นŒ์ง€
์—ด๋ฆฐ ์„ธ๋ฏธ๋‚˜
๋ชจ๋‘ํŒ_AI ์—ฐ๊ตฌ์›์œผ๋กœ ์ผํ•˜๋Š” ๋ฒ•: ์–ด๋–ป๊ฒŒ ๋น„์ „๊ณต์ž๊ฐ€ ์žฅ์ ์ด ๋  ์ˆ˜ ์žˆ์„๊นŒ?
  • ์ผ์‹œ: 5์›” 23์ผ ํ™”์š”์ผ I 7:30PM - 9PM
  • ์žฅ์†Œ: ๋ชจ๋‘์˜์—ฐ๊ตฌ์†Œ ๊ฐ•๋‚จ์บ ํผ์Šค
  • ์—ฐ์‚ฌ:์ดํ•œ์šธ(์—”์”จ์†Œํ”„ํŠธ)
  • ์ฝ˜ํ…์ธ : ๊ฐœ์ธ ์ปค๋ฆฌ์–ด ์ด์•ผ๊ธฐ I AI ์ฑ„์šฉ ์‹œ์žฅ์˜ ๊ตฌ์กฐ I ์–ด๋–ป๊ฒŒ ๋น„์ „๊ณต์ž๊ฐ€ ์žฅ์ ์ด ๋  ์ˆ˜ ์žˆ์„๊นŒ ๋“ฑ
๋ชจ๋‘ํŒ_์ƒˆ๋กœ์šด AI ์†”๋ฃจ์…˜, ๋‚˜๋งŒ์˜ AI
  • ์ผ์‹œ: 5์›” 30์ผ ํ™”์š”์ผ I 7:30PM - 8:30PM
  • ์žฅ์†Œ: ๋ชจ๋‘์˜์—ฐ๊ตฌ์†Œ ๊ฐ•๋‚จ์บ ํผ์Šค
  • ์—ฐ์‚ฌ:์†๋ณ‘ํฌ(๋งˆ์ŒAI)
  • ์ฝ˜ํ…์ธ : ๋งˆ์ŒAI ํšŒ์‚ฌ ์†Œ๊ฐœ I ๋งˆ์ŒAI์˜ ๋ฏธ๋ž˜ ์‚ฌ์—… ์ „๋žต
๋‹˜ ์˜ค๋Š˜๋„ ๊ณ ๋งˆ์›Œ์š”. ๋‹ค์Œ์ฃผ์— ๋˜ ๋งŒ๋‚˜์š”๐Ÿค—
์•—, ๋ ˆํ„ฐ๊ฐ€ ๋ฉ”์ผํ•จ์—์„œ ์•ˆ ๋ณด์ด๋‚˜์š”?
  • ์ŠคํŒธ๋ฉ”์ผํ•จ์—์„œ ์šธ๊ณ  ์žˆ์„์ง€๋„ ๋ชฐ๋ผ์š”. ์ฐพ์•„๊ฐ€ ํ™•์ธํ•ด ๋ณด์„ธ์š”!
  • ์ฃผ์†Œ๋ก์— ๋ชจ๋‘์˜์—ฐ๊ตฌ์†Œ ์ด๋ฉ”์ผ ์ฃผ์†Œ(modulabs01@gmail.com)๋ฅผ ์ถ”๊ฐ€ํ•ด ์ฃผ์„ธ์š”.
(์ฃผ)๋ชจ๋‘์˜์—ฐ๊ตฌ์†Œ
์„œ์šธ์‹œ ๊ฐ•๋‚จ๊ตฌ ๊ฐ•๋‚จ๋Œ€๋กœ 324(์—ญ์‚ผ๋””์˜ค์ŠˆํŽ˜๋ฆฌ์›€) 2F