빠르고 격렬한
하이브리드 AI가 토큰 소각보다 나은 이유는 무엇일까요?

우리는 분명 흥미롭고 빠르게 변화하는 시대에 살고 있습니다. 최근 저는 CEO인 데릭 홀트와 만나 이야기를 나눴습니다. Digital.ai그의 팟캐스트 다음 에피소드를 위해, Released"소프트웨어 개발 비하인드 스토리"에서 AI가 소프트웨어 개발에 미치는 영향에 대해 논의했습니다. 대화 후 며칠 만에 여러 조직에서 새로운 취미를 발견했는데, 바로 토큰 모으기였습니다!

무슨 일이야? 점점 더 많은 공급업체들이 사용량 기반 라이선스 방식으로 전환하고 있습니다.

십여 년 전 클라우드 열풍이 불던 초창기와 매우 비슷한 느낌입니다. 기억하시나요? 마치 하늘이 한계인 것처럼 느껴졌지만, 하이퍼스케일러로부터 첫 번째 청구서가 도착하기 전까지는 그랬죠. 이번에도 가격 인상은 놀랄 일이 아닙니다. 최근 몇 달간 AI 기업들에 대한 소식을 접하셨다면, 이 기업들에 투입된 막대한 투자금이 결국 우리 사용자들에게 전가될 것이라는 사실을 아실 겁니다. 지난 12개월 동안 AI 기업들은 채권 발행을 통해 225억 달러 이상을 조달했고, 투자자들은 그 투자금에 대한 수익을 하루빨리 보고 싶어 합니다.

그렇다면, 탈출구는 있을까요? 우리는 과거로부터 교훈을 얻었어야 했습니다. 하지만 인간은 인공지능처럼 획기적인 기술이 등장하면 최대한 많이 실험하고 시도해 보고 싶어 하는 경향이 있습니다. 이는 인류 역사를 관통하는 패턴입니다.

해답은 간단합니다. 하이브리드 모델을 생각해 보세요!

그게 무슨 뜻 이죠? 지난 10년 동안 우리는 SaaS 방식이나 자체 구축 방식 등 소프트웨어 개발 도구를 배포하는 방식을 선택할 수 있었습니다. 하지만 많은 벤더에서 AI가 도입되면서 이러한 선택의 폭이 좁아졌습니다. AI 기능을 원한다면 SaaS 방식이 유일한 선택지인 경우가 많고, 심지어 LLM(로컬 라이프사이클) 모델 자체를 선택할 수 없는 벤더도 많습니다. 핵심 질문은 당면한 작업에 정말로 가장 큰 규모의 LLM이 필요한가 하는 것입니다. 코드를 생성하는 작업은 얼마나 자주 할까요? 중세 시를 다른 언어로 번역하는 작업은 얼마나 자주 할까요? 대규모 LLM은 두 가지 모두 수행할 수 있지만, 코드 생성, 풀 리퀘스트 처리, 작업 설명 및 요구 사항 구조 개선 등에 초점을 맞춘 더 작고 최적화된 모델보다 훨씬 비쌉니다.

지난 12개월 동안 AI 서버 가격이 급등하는 것을 모두 목격하셨을 겁니다. 하지만 자체 호스팅 또는 에어갭 방식으로 자체 하드웨어에서 실행하는 모델이 생각보다 빨리 손익분기점을 넘을 수 있다는 사실에 놀라실 수도 있습니다. 시뮬레이션 결과에 따르면, 필요한 하드웨어 구매 및 운영 비용을 포함하더라도 SaaS 전용 솔루션의 3년 비용은 자체 호스팅보다 최대 6~7배 높을 수 있으며, 자체 호스팅 방식은 때때로 더 빠른 결과를 제공하기도 합니다. 또한 데이터가 사내 네트워크를 벗어나지 않기 때문에 보안 측면에서도 유리합니다.

소프트웨어 개발을 위한 에이전트형 AI에서 하이브리드 방식은 배포 모델과 LLM(Learning Leadership Model)이라는 두 가지 차원을 갖습니다. 저는 소프트웨어 개발에서 대규모 LLM과 전문화된 LLM이 혼합되어 사용될 것이라고 생각합니다. 대규모 모델은 페타바이트 규모의 데이터를 처리해야 할 때 SaaS 형태로 사용되고, 전문화된 모델은 일상적인 작업을 처리하는 데 사용될 것입니다.

마지막으로 한 가지 더 말씀드리겠습니다. 현장에서 볼 수 있는 많은 도구들은 AI 시대 이전에 만들어졌고, 수년, 심지어 수십 년 동안 사용되어 왔습니다. 이제는 이러한 도구들을 현대화할 시점입니다. 많은 조직들이 AI 이니셔티브의 결과에 만족하지 못하거나 새로운 보안 문제 및 인프라 병목 현상에 직면하고 있습니다. 그 이유 중 하나는 각 도구 스택에 분산된 데이터로 인해 맥락이 부족하기 때문입니다. 에이전트형 AI를 통해 토큰을 최대한 활용하려면 이러한 맥락에 접근할 수 있도록 하는 것이 중요합니다. 동시에 CI/CD 파이프라인의 병목 현상을 방지하기 위해 도구 인프라를 업그레이드하는 것도 마찬가지로 중요합니다. 여기서 핵심은 자동화입니다. 도구 자동화가 어렵다면 변화를 고려해야 합니다.

배포 모델, LLM 선택 및 SDLC 전반에 걸친 자동화를 재고할 준비가 된 조직에게 바로 이곳입니다. Digital.ai 그리고 Knowmad Mood가 도움이 될 수 있습니다. 데릭과 저는 곧 공개될 저희 팟캐스트에서 이 모든 것을 자세히 다뤄볼 예정입니다. 토큰 소각: AI 오판의 숨겨진 비용인공지능의 실제 비용부터 인간이 통제권을 유지해야 하는 이유까지, 다양한 주제를 다룹니다. 새롭게 확장된 파트너십을 통해 지금이 바로 적기입니다.

향후 며칠 내에 공개될 전체 대화 내용을 기대해 주세요.