Transcend Borders: Software & Design
“Vibe knowledge work” could mean a way of working where you rely on intuition, creativity, and AI assistance to manage, process, or generate knowledge (@levie)  
About 데일리 노트  
  • 1편에서는 시각 & 텍스트 데이터를 동시에 이해하고 처리할 수 있는 비전 언어 모델(Visual Language Model, VLN)의 활용도를 살펴보고자 합니다. 
  • 2편에서는 두 종류의 음성 AI 모델 (Text-to-Speech, Speech-to-Text)의 활용도를 실제 예시와 함께 살펴보고자 합니다.  
  • 그럼, 이번 데일리 노트도 재미있게 읽어 나가시길 바라며, 3월 둘째 주 뉴스레터로 다시 찾아뵙겠습니다. 언제든 Feedback 링크를 통해 자유롭게 피드백 전달해 주시면 감사하겠습니다. 
시각적으로 정보를 처리하는 비전언어모델
PDF 문서 또는 사진 안에 적힌 글을 빨리 가져올 방법을 강구했던 경우가 있으신가요? Copy + Paste로 내용을 가져오다가 문서의 양식이 깨지는 것을 보고서는 직접 두 창을 띄어 텍스트 내용을 직접 타이핑했던 경험도 여러 번 있으실 겁니다.  

최근, 시각 & 텍스트 데이터를 동시에 이해하고 처리할 수 있는 비전 언어 모델(Vision Language Model, VLM)의 발전으로 문서 속 글을 용이하게 추출하고, 고차원적인 업무(ex. 이해 및 요약, 정보 추출 및 분류, 편집 및 생성)를 손쉽게 처리할 수 있게 되었습니다. 이번 편에서는 비전 언어 모델(Vision Language Model, VLM)이 우리 삶 속에서 어떻게 활용될 수 있는지 두 서비스와 함께 소개 드리고자 합니다. 

Google: PaliGemma 2
  Image Input (Left), Caption Output (Right) (PaliGemma 2 demo)

가장 먼저 소개해 드릴 서비스는 Google의 새로운 비전언어모델군 PaliGemma 2입니다. 작년 5월에 발표된 PaliGemma 모델군의 업데이트 된 버전으로, SipLIP Image Encoder와 Gemma 2 언어모델의 퍼포먼스를 융합하여 시각적 자료에 대한 높은 이해력을 가지고 있습니다.

이미지 및 짧은 동영상의 캡션 작성, 시각적으로 관찰되는 물체에 대한 질문 답변, 텍스트 읽기, Object 감지/분할 등 다양한 시각/언어 작업을 처리할 수 있습니다. 현재 Hugging Face Demo 페이지를 통해 직접 활용해 볼 수 있는데, 글이 적힌 이미지를 첨부한 뒤, 궁금한 질문을 물어보시길 바랍니다. 

Ai2: olmOCR

두번째로 소개드릴 서비스는 PDF로부터 정제된 텍스트를 추출해주는 Ai2 연구소의 olmOCR 오픈소스 도구입니다. Ai2 연구소는 언어 모델 학습에 사용되는 많은 PDF 기반 데이터가 웹 페이지처럼 구조화되어 있지 않아 텍스트 추출 및 활용에 어려움이 있다는 점을 문제로 여겼습니다. 
PDF Input (Left), Text Output (Right) (Ai2 Demo)

이에 대해, Ai2 연구소는 상용화 서비스 대비 낮은 가격으로 PDF 및 기타 문서의 텍스트를 추출하고, Markdown 형식의 구조화된 텍스트를 출력하여 후처리 및 활용을 할 수 있도록 OCR 도구를 출시했다고 밝혔습니다. 문서/사진 내 텍스트의 논리적 구조(제목, 단락 등)를 분석할 수 있으며, 표, 수식, 손글씨 등 다양한 형태의 글을 읽을 수 있습니다. 


Demo 사이트를 통해 원하는 영문 기반 PDF/JPG/PNG 파일에 대한 텍스트 추출 서비스를 활용해볼 수 있습니다. 학술 논문, 기술 문서, 손글씨, 수학 교과서, 역사적 문서 등 여러 종류의 문서에 대해 바로 서비스를 활용해 보시길 바랍니다. 


기타 활용도


지금까지는 "문서의 내용 추출 및 이해"에 비전언어모델(VLN)이 활용되는 사례들을 살펴보았습니다. 이외에도, 비전언어모델(VLN)은 브라우저 에이전트(ex. Proxy Lite Assistant)와 하드웨어 디바이스(ex. Physical Intelligence Hierarchical Interactive Robot)의 시야를 확보하는데 활용되며, 다양한 소프트웨어와 하드웨어 제품들의 시각적 기능과 환경적 이해를 향상 시켜나가는데 기여하고 있습니다. 

Hierarchical Interactive Robot VLM Policy (Physical Intelligence)

비전언어모델(VLN)의 핵심 가치는 더 많은 양의 자료의 콘텐츠를 접근 가능하도록 하여 정보의 추출과 합성 과정을 손쉽게 만드는 데 있다고 생각합니다. 시각적 정보를 구조화 된 텍스트로 이해하는 능력이 좋아질수록, 문서 기반 업무의 효율화를 크게 이룰 수 있을 뿐만 아니라, 이러한 소프트웨어를 내포한 AR 안경 및 휴머노이드 로봇 등의 하드웨어 산업에도 긍정적인 영향을 미칠 것으로 보입니다.
Voice AI 모델의 다양성
여러분은 문자와 전화 중, 의사소통의 도구로 어떤 방식을 선호하시나요? 대부분, 간단한 일은 문자로 처리하지만, 더 깊게 얘기를 나누거나 복잡한 일을 처리할 때는 전화로 실시간 상호작용을 하는 것을 선호하실 것이라 여깁니다. 텍스트 형태로 보는 문자보다, 음파 형태로 전달되는 전화를 통해서는 우리가 말로는 표현하지 못하는 감정을 담을 수 있고, 더듬거림/쉼/한숨 등의 비언어적인 소리를 전달받아 더 직관적인 방식으로 타인과 대화를 나눌 수 있습니다. 

텍스트-스피치(TTS), 스피치-텍스트 모델(SST)의 발전이 주목을 받는 이유도 상황적 맥락과 감정을 이해한 음성 AI 모델과 직접 구두로 소통할 수 있어, 더욱더 자연스러운 기계와의 소통 경험을 만드는 데 있습니다. 이번 편에서는 Huma의 Octave TTS 모델과 Elevenlabs의 Scribe STT 모델을 기반으로 음성 AI 애플리케이션의 다양성에 관해 얘기하고자 합니다.

Octave Demo (Hume AI)

Hume의 Octave 모델은 말의 의미를 이해하며, 감성적으로 “읽는” 활동을 수행할 수 있는 천의 얼굴을 가진 배우로 볼 수 있습니다. 프롬프트에 맞게 적절한 음성을 만들어주는 ‘Voice Design’부터 감독의 지도를 담아 말의 스타일을 바꿔주는 ‘Acting Instructions’까지, Hume의 TTS 시스템을 통해, 사용자는 익명의 “음성”에 대해 연기 지도를 내릴 수 있습니다.

작년 9월에 출시한 스피치-스피치(STS) EVI 2 모델은 인간 간의 대화를 구현하는 데 초점이 맞춰졌다면, 이번 모델은 텍스트를 활용해 더욱더 세밀하게 대화의 흐름을 통제할 수 있도록 목적을 두는 데 있는 것으로 보입니다. 

Elevenlabs: Scribe STT 모델 
Scribe Performance (Elevenlabs) 

Elevenlabs의 Scribe 모델은 음성 인식 모델(ASR 모델)의 한 종류로, “정확도”에 초점을 맞춰 음성 언어를 서면 텍스트로 변환하는 기능을 합니다. 99개 언어에 대해, 대화의 흐름를 이해하며 음성 기록을 하나의 구조화된 글로 표현할 수 있는 속기사입니다.

배우에게 애드리브는 실력으로 인정되지만, 속기사에게 애드리브는 내용의 정확한 전달에 방해되는 치명적인 실수로 여겨질 수 있습니다. 이처럼, Scribe는 상황에 맞는 표현력 보다는, 웃음/소리 효과/ 배경 소음 등의 비언어적인 표현까지 대화 현장을 생생히 구현하는 것이 중요하다는 것을 알 수 있습니다.

음성 AI 활용도 

최근 들어, 우리가 활용하는 소프트웨어와 하드웨어에 음성 AI 모델이 내장된 형태로 출시되며 여러 목적에 접목되고 있습니다. 가장 대표적인 예시가 Amazon 2025 Device 이벤트에서 공개된 Alexa+ 어시스턴트입니다. 

Alexa+는 한 마디로, 어디에서나 부를 수 있고, 무엇이든 처리해주는 Genie라고 볼 수 있습니다. API를 통한 다양한 서비스/애플리케이션과의 연동, 효율적인 묶음 작업 처리를 돕는 “Expert”의 도입, 자율적으로 인터넷을 탐색하는 에이전트 작업 역량을 기술적으로 구현해 내며, Alexa+는 필요할 때 언제든지 꺼내들 수 있는 개인 비서입니다. 
Alexa+ Related Applications (Amazon)

이외에도, 음성 AI 모델은 고객 지원 (ex. Decargon), 가상 친구 역할 (ex. Tolan), 교육 지도 (ex. Gemini 2.0), 오디오북 제작 (ex. Elevenlabs Audiobooks) 등 여러 산업에 걸쳐 다양한 목적으로 활용되고 있으며, Microsoft Copilot, OpenAI GPT-4o mini ChatGPT 등의 챗봇 Voice 모드를 통해서도 접해볼 수 있습니다. 

여러분들도 필요에 맞게 여러 챗봇 어시스턴트 Voice 모드로 소통하거나 다양한 종류의 TTS, STT, SSS 모델들을 서비스 내 도입하며 더욱더 자연스러운 기계와 인간 간의 의사소통을 구현해 보시길 바랍니다.
모델/인프라

    프로젝트/상품/서비스
    • Ai2: olmOCR — PDF의 텍스트 추출해 주는 오픈소스 도구
    • Devin: browser 업데이트 — 탭 사용, UI 변화사항 이해
    • Firecrawl: Bulk Company Scraper — 회사의 기본 정보에 대한 AI 인사이트
    • Google AI: Conversation Branching — 대화 묶음 & 체계화
    • LangChain AI: GenAI Agents Hub — 생성형 AI 에이전트 프로젝트 라이브러리
    • Lovable: Code Viewer — Lovable UI내에서 직접 코드 변경 요청
    • Mainframe: Cobot — 팀과 AI 에이전트의 협력 공간
    • Meta AI: Aria Gen 2 — 차세대 안경 (기계 인지력, 문맥, 로보틱스 등)
    • Notion: Button — 블록 위, 아래 콘텐츠 삽입
    • Perplexity: Ask Perplexity — X등의 온라인 커뮤니티에서 문의하기 | Voice Mode — 실시간 음성 문의 (iOS 출시, Android 준비 중) | Deep research for Enterprise — Google Drive, OneDrive, SharePoint과 연동하여 더 많은 자료에 대한 쿼리 문의
    • Poe: Apps — 시각적 인터페이스 도입
    • Replit AI: Agent v2 업데이트
    • v0: 간편하게 v0 → Vercel 배포 | 무료 사용자 대상으로 ~200개 프로젝트 생성 지원 | Enhance Prompt — 더 복잡한 과제에 대한 자동 프롬프트 개선
    • Asteroid: 브라우저 AI 에이전트 구축 서비스
    • Chatbase: AI 에이전트 구축, 배포 플랫폼
    • Continue 1.0: 오픈소스 IDE Extension 허브
    • Default 2.0: 효율적인 인바운드 관리 플랫폼
    • Factory: 개발자와 에이전트 AI가 협업하는 엔터프라이즈 소프트웨어 제작 플랫폼
    • FelixSphere: AI-Native 비즈니스 애플리케이션 관리 플랫폼
    • gibber link: AI 음성 에이전트 최적화 프로토콜
    • Quanta: 소프트웨어 회사들을 위한 AI 기반 회계 서비스
    • Leaping AI: 자기개선 음성 AI 에이전트
    • Lemni: CS AI 에이전트 구축 플랫폼
    • LLM Data Scrapers: LLM 데이터 수집에 유용한 오픈소스 툴
    • Mark: 책 속 내용을 기억하는 AI 북마크
    • Mesh: 스타트업을 위한 장부 관리(비용, 런웨이, 수익 등) 툴
    • Mundo AI: AI 모델을 위한 고품질 다국어 학습 데이터
    • OpenTools: MCP Server 라이브러리
    • Pig: 윈도우 브라우저 에이전트 API
    • Raycast: AI OS
    • React Explorer: React 사이트 → 상호작용 하는 컴포넌트
    • TamLabs: AI 워드 문서 편집기
    • Warp: AI와 협력하는 Windows 터미널
    • You dot com: ARI — 연구진들을 위한 deep research 에이전트
    • @AzianMike: Airbnb Clone — Cursor
    • @dr_cintas: Contents Creation App — Claude 3.7 Sonnet, Windsurf
    • @RobertHaisfield: DocuSign Clone — ChatGPT, Lovable, Cursor
    • @mckaywrigley: Slack Clone — Claude 3.7 Sonnet, Cursor
    • @SullyOmarr: Mac OS Aqua style desktop — Websim
    • @tedx_ai: 경쟁사 분석 — Grok 3 DeepSearch

    에세이/팟캐스트/뉴스레터/보고서

    가이드/튜토리얼
    프로젝트/상품/서비스

    에세이/팟캐스트/뉴스레터/보고서 
    • 'Vibe Knowledge Work'란, 경직된 구조나 수작업에 얽매이지 않고 직관, 창의력, AI 지원에 의존하여 지식을 관리, 처리, 생성하는 업무 방식을 의미할 수 있습니다 (@levie)
    • 도구의 발전으로 창작에 대한 진입 장벽이 0으로 낮춰진다면, 우리를 방해하는 것이 과정의 복잡성이 아니라 감정적으로 설득력 있는 목표가 없다는 것을 깨닫게 될 것입니다 (@samdape)
    • I Prompt, Therefore I am (@lucas__crespo)
    • 성공한 사람들에게서 발견한 패턴이 있습니다. 그들은 한 번에 몇 달 동안 세상에서 사라져 자신과 자신의 비전에만 집중합니다. 그들은 하나의 의미 있는 목표에 집중하고 그것을 현실로 만듭니다 (@bluewmist)
    • 모든 사람이 최고 수준의 전문 지식에 접근할 수 있게 되면 어떻게 될까요? 앞으로는 어떤 질문을 하고, 답을 어떻게 종합하는지가 중요해질 것입니다 (@gregisenberg)
    • 세상의 일은 무엇을 “만들거나,” 무엇을 “판매하는” 두 종류의 일로 구분될 뿐입니다. 그 중 하나를 하지 않는다면 당신은 비용을 지출하고 있는 것입니다 (@rmcentush)
    • 진정한 행복은 기대감에서 비롯됩니다. 탐색, 고군분투, 여정에서 나옵니다. 목표를 성취하기 직전의 순간입니다. 행복은 ‘가진 것’이 아니라 ‘얻게 되는 것’입니다 (@SahilBloom)
    • 당신이 아는 가장 강한 사람도 당신과 똑같은 두려움, 의심, 불안감을 느낍니다. 그들은 단지 그런 감정들을 가지고도 행동하는 법을 배웠을 뿐입니다 (@IAmMarkManson)
    여러분의 참여를 환영합니다. 

    '데일리 노트' 뉴스레터는 독자들의 적극적인 참여를 전제로 기획되었습니다. 의견 남기기를 통해 여러분들의 이야기를 들려주세요. 뉴스레터 내용에 대한 의견, 다른 크리에이터분들에게 선보이고 싶은 제품/서비스, 공유하고 싶은 이야기, 협업하고 싶은 내용 모두 환영합니다.
    오늘 이야기 어떠셨나요?
    의견 남기기 >
      
    웹에서 보기게시하기공유하기
    Curated with care by EYC 
    수신거부 Unsubscribe