API 비용이 신경 쓰여 모델을 직접 돌려봤다 — 루티와 Ollama, Gemma 3n E2B

Gemini와 Claude API를 사용해 서비스를 만들고 있었다. 필요한 기능을 연결하고 실제로 작동하는 모습을 확인하는 과정은 재미있었다. 그런데 개발을 이어 갈수록 한 가지가 계속 마음에 걸렸다. 사용자가 AI를 부를 때마다 쌓이는 API 비용이었다.

기능을 더해 보고 싶을 때도, 여러 번 시험해 보고 싶을 때도 호출 비용을 함께 생각하게 됐다. 그러다 질문이 조금 달라졌다.

서비스에 필요한 언어모델을 직접 실행하고, 우리 쪽에서 다뤄 보면 어떨까.

그 질문을 루티(Routi)에 적용해 봤다. Ollama에 Gemma 3n E2B를 올리고 서비스와 직접 연동했다. 그리고 연결한 기능이 잘 작동하는 것을 확인했다.

루티를 만들며 생긴 질문

루티는 할 일과 반복 루틴을 정리하고, 원하는 시간에 푸시 알림을 받을 수 있는 서비스다. AI 매니저와 프로젝트 공유 기능도 함께 제공한다. 매일 해야 할 일을 놓치지 않고 이어 가도록 돕는 것이 서비스의 바탕이다. 루티 서비스

이런 서비스를 개발하다 보면 AI를 연결하는 일과 계속 운영하는 일을 함께 생각하게 된다. 요청을 한 번 처리하는 데 성공했다고 개발이 끝나는 것은 아니다. 같은 기능을 여러 사람이 반복해서 쓸 때도 감당할 수 있는 구조인지 살펴야 한다.

처음에는 외부 API로 필요한 기능을 구현했다. 이번에는 그중 모델을 호출하는 부분을 직접 실행하는 방식으로 연결해 보고 싶었다. 호출할 때마다 발생하는 외부 API 과금을 없애려는 목적과, 언어모델을 직접 컨트롤해 보고 싶은 호기심이 함께 있었다.

Ollama와 Gemma 3n E2B를 연결하다

이번에 사용한 조합은 모델을 실행하는 Ollama와 Google의 Gemma 3n E2B다. Ollama에서는 gemma3n:e2b라는 이름으로 제공한다. Gemma 3n은 일상적인 기기에서도 효율적으로 실행할 수 있도록 설계된 모델 계열이며, E2B의 이름은 유효 파라미터 규모를 가리킨다. 단순히 전체 모델이 정확히 20억 파라미터라는 뜻으로 읽으면 차이가 있다. Ollama 공식 모델 안내

모델을 골라 실행한 뒤, 루티가 그 실행 환경과 통신하도록 직접 연동했다. 모델과 대화해 보는 단계에서 한 걸음 더 나아가, 실제 서비스 안에서 쓸 수 있도록 연결한 것이다.

직접 붙여 보니 잘 작동했다. 이번 개발에서 가장 반가웠던 부분이다. 찾아보고 궁금해하던 기술이 내가 만들고 있는 서비스의 한 부분으로 들어왔다.

이 결과를 모든 업무에서 대형 모델을 대체할 수 있다는 뜻으로 넓히려는 것은 아니다. 지금 루티에서 연결해 확인한 범위에서는 사용할 수 있는 결과를 얻었다. 그래서 다음 기능과 운영 방식을 더 구체적으로 고민할 수 있게 됐다.

없애고 싶었던 것은 호출할 때마다 쌓이는 비용

여기서 비용 이야기는 조금 정확하게 해 두고 싶다. 직접 실행하는 모델로 처리하는 요청은 Gemini나 Claude 같은 외부 제공자에게 보내는 유료 호출을 거치지 않도록 만들 수 있다. 다만 모델을 실행할 장비와 전력, 서버를 유지하고 관리하는 일은 여전히 필요하다.

서비스 운영비 전체가 사라지는 것은 아니다. 외부 API 사용량에 따라 늘어나던 비용을, 직접 운영하는 실행 환경의 비용과 관리 문제로 바꾸는 선택이다.

그 차이가 이번 실험의 출발점이었다. 기능을 시험할 때마다 외부 호출량을 계산하던 자리에서, 우리 환경이 어느 정도의 요청을 처리할 수 있는지 살펴보는 자리로 옮겨 온 것이다.

모델을 직접 다룬다는 것

외부 API를 사용할 때도 프롬프트를 조정하고 결과를 다듬을 수 있다. 모델을 직접 실행하면 여기에 실행 환경과 모델 선택을 관리하는 일이 더해진다. 서비스가 요구하는 응답과 운영 여건을 함께 놓고 판단해야 한다.

앞으로 확인하고 싶은 것도 구체적이다. 같은 요청을 여러 표현으로 전달해도 필요한 결과를 내는지, 대화가 길어졌을 때는 어떤지, 요청이 동시에 들어오면 응답이 어떻게 달라지는지. 한 번 잘 나온 답변에서 반복해서 사용할 수 있는 기능으로 나아가려면 이런 확인이 필요하다.

직접 컨트롤한다는 말을 모델을 새로 학습시켰다는 뜻으로 쓰는 것은 아니다. 이번 시도는 모델을 실행하고 서비스에 연동해 사용하는 과정이다. 그 과정을 손에 익히면서, 어디를 바꾸면 우리 서비스에 더 잘 맞을지 알아 가려는 것이다.

이전의 고민에 실행 가능한 선택지가 하나 더 생겼다

이전에 AI 서비스를 만들며 API 비용을 고민한 글을 쓴 적이 있다. 미리 만든 결과물을 보여 주는 방식은 가능했지만, 사용자의 요청에 그때그때 응답하는 서비스를 어떻게 운영할지는 계속 남아 있는 질문이었다.

루티에서 해 본 이번 연동은 그 질문을 이어 가는 시도다. 언어모델을 직접 실행하는 방법도 실제 서비스의 선택지가 될 수 있다는 것을 확인했다.

모든 서비스에 같은 답을 적용할 필요는 없다. 요구하는 답변의 수준, 처리할 요청의 양, 운영할 수 있는 환경에 따라 선택은 달라진다. 다만 직접 연결해 보기 전에는 막연했던 가능성이, 이제는 비교하고 개선할 수 있는 대상으로 바뀌었다.

새로운 기술을 함께 다뤄 보고 싶은 분께

룬샷스튜디오는 AI의 흐름을 계속 살피고, 새로 나온 기술을 직접 탐구한다. 관심이 생기면 실행해 보고, 지금 만드는 서비스에 연결해 보고, 그 결과를 바탕으로 다음 방향을 고민한다. 이번 루티의 변화도 그렇게 시작됐다.

변화의 속도가 빠를수록 새로운 이름을 아는 것에서 한 걸음 더 나아가고 싶다. 우리에게 필요한 기능은 무엇인지, 어떤 방식으로 운영할 수 있는지, 실제로 쓰이는 서비스로 어떻게 만들지 함께 생각하고 싶다.

언어모델을 직접 다뤄 보고 싶은 분, 기존 서비스에 AI를 연결하고 싶은 분, 아직 구체적인 방법은 모르지만 새로운 시도를 시작해 보고 싶은 분이라면 룬샷스튜디오로 연락해 주세요.

완성된 기획이 아니어도 좋다. 지금 겪는 문제와 해 보고 싶은 일에서 시작하면 된다. AI 트렌드를 꾸준히 살피고 새로운 기술을 탐구하며, 변화하는 시대에 무엇을 만들 수 있을지 함께 고민하고 만들어 가겠다.