모든 AI 제품 페이지는 당신이 이미 그 용어를 안다고 전제합니다. 가격표는 토큰당 요금을 매기고, 변경 로그는 더 커진 컨텍스트 윈도우를 자랑하며, 영업 자료는 RAG로 근거를 갖춘 에이전트를 약속하죠 — 그런데 정작 중요한 단 하나의 질문, 즉 이 도구가 내 일을 해줄까에 대해서는 그 단어들이 무슨 뜻인지 아무것도 알려주지 않습니다.
그래서 여기, 연구자가 아니라 구매자를 위한 AI 용어 풀이를 준비했습니다. 이것은 의도적으로 A부터 Z까지 나열한 사전이 아닙니다. 도구를 평가할 때 사람들이 실제로 던지는 네 가지 질문을 중심으로 정리한, 약 스무여 개 용어의 실전 어휘집입니다: 나는 무엇과 대화하고 있는가, 왜 가끔 틀리는가, 스펙 숫자는 무엇을 뜻하는가, 도입에는 무엇이 필요한가. 각 항목은 쉬운 말로 된 몇 문장과, 그 용어가 구매 시점에 왜 중요한지에 대한 이유로 구성되어 있습니다.
처음부터 쭉 읽어도 되고, 필요한 섹션으로 바로 건너뛰어도 됩니다. 실제 제품을 통해 이해하는 편이 더 쉬운 용어의 경우, 예시가 해당 목록으로 링크됩니다. ToolPotion은 매일 업데이트되는 13,000개 이상의 AI 도구를 추적하므로, 모든 예시에는 현재 살아 있는 페이지가 뒤에 있습니다.
당신이 대화하고 있는 대상: 핵심 AI 용어 풀이
첫 번째 혼동은 이름입니다. "모델", "LLM", "챗봇", "어시스턴트", "에이전트"는 마케팅 문구에서 서로 뒤섞여 쓰이지만, 사실 같은 것이 아닙니다.
모델(Model)
학습된 시스템 그 자체입니다: 방대한 양의 데이터를 학습 과정에 통과시켜 만들어낸, 입력을 출력으로 바꾸는 아주 거대한 통계적 함수죠. 제품은 모델을 감싸는 껍데기입니다: 채팅 앱, API, 브라우저 확장 프로그램이 모두 같은 모델 위에 올라탈 수 있습니다. 이 점은 도구를 비교할 때 중요한데, 모델이 품질의 상한선을 정하는 반면 제품은 작업 흐름을 결정하기 때문입니다. 디렉터리에서 AI 모델을 그 자체의 카테고리로 둘러볼 수 있습니다.
대규모 언어 모델(LLM)
주로 텍스트로 학습되어 시퀀스에서 다음에 무엇이 올지 예측하는 모델입니다. 알고 보니 이것만으로도 초안 작성, 요약, 번역, 코드 작성이 충분히 가능합니다. Claude Opus와 Gemini 3.1 Pro가 현재의 최전선 예시입니다. 디렉터리에는 직접 실행할 수 있는 더 작은 오픈 LLM도 실려 있습니다. 어떤 업체가 "LLM 기반"이라고 말할 때, 던져야 할 유용한 후속 질문은 어떤 LLM인가, 그리고 나중에 바꿀 수 있는가입니다.
챗봇(Chatbot)
기술이 아니라 인터페이스 패턴입니다: 모델에 연결된 메시지 상자로, 보통 고객 질문에 답하는 것처럼 하나의 업무에 한정됩니다. 현대의 챗봇은 LLM 위에 만들어지지만, 이 단어는 LLM보다 먼저 생겼습니다. 그래서 경직된 FAQ 스크립트부터 진짜로 유능한 지원 시스템까지 무엇이든 가리킬 수 있는 것이죠.
어시스턴트(또는 코파일럿)
한 사람의 일상 업무를 겨냥한 범용 채팅 제품입니다: 초안 작성, 요약, 답변 등을 하며, 대개 그 업무가 이루어지는 앱 안에 들어와 있습니다. ChatGPT는 대표적인 독립형 어시스턴트입니다. "코파일럿"은 보통 기존 제품에 내장된 어시스턴트를 뜻합니다. 챗봇과의 구매상 차이는 대상입니다: 어시스턴트는 당신의 직원을 위한 것이고, 챗봇은 보통 당신의 고객을 위한 것입니다.
AI 에이전트
목표를 받아 단계를 계획하고, 도구를 호출하며, 자신의 결과를 검증하는 소프트웨어입니다: 단지 답하는 것이 아니라 행동합니다. Claude Code는 코드베이스를 읽고, 파일을 편집하며, 명령을 실행합니다. Intercom은 Fin이라는 지원 에이전트를 제공하는데, 이는 단순히 답장만 하는 것이 아니라 대화를 처리합니다. 트레이드오프는 파급 범위입니다: 행동할 수 있는 시스템은 행동함으로써 실패할 수 있으므로, 권한과 검토 단계가 다른 어느 곳보다 여기서 더 중요합니다. AI 에이전트 카테고리는 디렉터리에서 가장 빠르게 변화하는 섹션입니다.
| 용어 | 하는 일 | 이럴 때 구매하세요 |
|---|---|---|
| 챗봇 | 한정된 하나의 영역에서 질문에 답합니다 | 대규모로 고객 대면 Q&A가 필요할 때 |
| 어시스턴트 | 한 사람의 여러 업무를 두루 돕습니다 | 낮은 위험으로 직원 생산성을 높이고 싶을 때 |
| 에이전트 | 여러 단계의 작업을 계획하고 실행합니다 | 어떤 작업 흐름을 처음부터 끝까지 자동화할 가치가 있을 때 |
멀티모달(Multimodal)
텍스트 이상을 다루는 모델입니다: 이미지, 오디오, 비디오를 입력이나 출력, 또는 둘 다로 처리합니다. Gemini 3.1 Pro는 혼합 미디어를 읽고 그에 대해 추론합니다. 생성 쪽에서는 Kling 3.0이 텍스트와 참조 이미지를 오디오가 포함된 비디오로 변환합니다. 작업에 스크린샷, 차트가 들어간 PDF, 녹음 파일이 관련된다면, 멀티모달 지원은 있으면 좋은 것이 아니라 필수 요건입니다.
왜 가끔 틀리는가: 환각, 컨텍스트, 그리고 학습 마감
이 네 가지 용어는 당신이 앞으로 보게 될 실망스러운 AI 출력의 거의 전부를 설명하며, 정확도에 관한 진지한 업체 상담에서 쓰이는 어휘이기도 합니다.
환각(Hallucination)
확신에 차 있고, 매끄러우며, 틀린 답입니다. 모델은 사실 데이터베이스를 조회하는 것이 아니라 그럴듯한 텍스트를 생성하고 있는 것이므로, 자신이 그러고 있다는 어떤 신호도 없이 인용, 통계, 제품 세부 정보를 꾸며낼 수 있습니다. 사실이 중요한 작업이라면 조회 가능한 출처를 인용하는 도구를 선호하고, 인용 없는 구체적 정보는 직접 확인하기 전까지 검증되지 않은 것으로 취급하세요.
컨텍스트 윈도우(Context window)
모델이 한 번에 고려할 수 있는 텍스트의 양으로, 토큰 단위로 측정됩니다: 지식과는 구별되는, 모델의 작업 기억입니다. 윈도우는 빠르게 커져 왔습니다. Claude Opus는 100만 토큰 윈도우를 내세우는데, 이는 코드베이스 전체나 여러 권의 책을 한 번의 요청에 담기에 충분한 양입니다.
더 큰 컨텍스트 윈도우는 당신이 붙여 넣을 수 있는 양의 상한선을 높입니다. 그렇다고 모델이 그 전부를 저울질한다는 보장은 아닙니다.
실제로 모델은 아주 긴 입력의 한가운데에 묻힌 세부 사항을 놓칠 수 있으므로, "윈도우에 들어간다"와 "제대로 활용된다"는 서로 다른 주장입니다.
학습 마감(Training cutoff)
모델의 학습 데이터가 끝나는 날짜입니다. 그 이후에 발행된 것은, 제품이 웹 검색이나 검색 기능을 덧붙이지 않는 한 모델에게 보이지 않습니다. 왜 신경 써야 하냐면: 도구가 현재 가격, 법률, 뉴스를 반드시 알아야 한다면, 최신 정보가 정확히 어떻게 들어오는지 업체에 물어보세요. "모델이 똑똑하다"는 답이 되지 못합니다.
RAG(검색 증강 생성)
먼저 검색하고, 그 다음에 답합니다: 시스템이 당신의 문서에서 관련 구절을 찾은 뒤, 모델이 그것을 사용해 답을 쓰게 합니다. 이렇게 하면 응답이 당신의 실제 콘텐츠에 근거하게 되고, 환각을 줄이며(없애지는 못합니다), 문서가 바뀌는 순간 재학습 없이 최신 상태를 유지합니다. 어떤 업체가 "당신의 데이터로 학습했다"고 말하면, 그것이 RAG를 뜻하는지 물어보세요. 대개는 그렇고, 내부 지식에 관해서라면 RAG가 보통 당신이 원하는 바입니다.
프롬프트와 시스템 프롬프트
프롬프트는 당신이 모델에 보내는 무엇이든을 말합니다. 시스템 프롬프트는 업체가 모든 대화 앞에 놓아두는 상시 지침서입니다: 어조, 규칙, 안전장치 등이죠. 놀라울 만큼 많은 틈새 AI 제품이 본질적으로 남의 모델 위에 얹은 시스템 프롬프트에 지나지 않습니다. 그래도 돈을 낼 가치가 있을 수 있지만, 연구가 아니라 포장에 가깝게 가격이 매겨져야 합니다.
스펙 시트 읽기: 토큰, 파라미터, 추론
AI 가격 페이지의 숫자들은 마케팅 장식이 아닙니다. 그중 셋은 당신의 청구서를 직접 결정합니다.
토큰(Token)
모델이 읽고 내보내는 단위입니다: 텍스트의 한 덩어리로, 흔한 영어 단어는 대개 하나의 토큰에 해당합니다. 쓸 만한 어림 규칙: 1,000 토큰은 대략 영어 750 단어입니다. API 가격은 100만 토큰당으로 표시되며, 입력과 출력의 가격이 따로 책정됩니다. 그래서 긴 문서를 넣고 긴 답을 받는 것이 비용을 끌어올리는 요인이 되는 것이죠.
파라미터(Parameters)
모델이 학습 중에 익힌 내부 수치 가중치입니다. 파라미터 수는 모델 크기를 나타내는 표준적인 약칭입니다. 예를 들어 Muse Glimmer는 소비자용 하드웨어에서 에이전트 작업을 실행하도록 만들어진 300억 파라미터 모델입니다. 파라미터가 많을수록 대체로 성능이 오르지만 속도와 비용이 그 대가이며, 당신의 작업을 잘 처리하는 작은 모델은 과도한 비용을 치르며 제대로 못 쓰는 큰 모델보다 낫습니다.
추론(Inference)
학습된 모델을 실행해 출력을 만들어내는 것입니다. 학습은 업체의 비용으로 한 번 일어났고, 추론은 매 요청마다 당신의 비용으로 일어납니다. 지연 시간과 요청당 비용은 추론의 속성이므로, 어떤 업체가 더 싸거나 더 빠른 추론을 광고할 때 그 주장은 답변 품질이 아니라 당신의 청구서와 사용자의 대기 시간에 관한 것입니다.
파인튜닝(Fine-tuning)
모델의 동작을 바꾸기 위해 당신 자신의 예시로 추가 학습을 하는 것입니다: 어조, 형식, 도메인 습관 등을 조정하죠. 일관된 스타일과 구조화된 출력에는 좋지만, 자주 바뀌는 사실을 가르치는 데는 형편없는 방법이며, 그것은 RAG의 몫입니다. 숨은 비용은 유지보수입니다: 기반 모델을 업그레이드할 때마다 작업을 다시 해야 할 수 있습니다.
추론 모델(Reasoning model)
답하기 전에 중간 단계들을 거치는 데 추가 연산을 쓰는 모델로, 수학, 계획 수립, 어려운 코드에서 눈에 띄게 도움이 됩니다. 일부는 하이브리드입니다: Claude Opus는 필요에 따라 빠르게 답하거나 더 오래 생각할 수 있습니다. 트레이드오프는 실재합니다: 추론 과정은 더 느리고 토큰 비용이 더 들므로, 단순한 추출 작업을 추론 모델에 태워 보내는 것은 필요하지도 않은 생각에 돈을 내는 셈입니다.
벤치마크(Benchmark)
출시 게시글에 나오는 리더보드 점수를 만들어내는 표준화된 테스트입니다. 이를 당신의 업무에 대한 예측이 아니라 대략적인 성능 신호로 취급하세요: 업체는 당연히 자기가 이기는 벤치마크를 내세웁니다. 당신 자신의 실제 작업 스무 개를 두 후보 도구에 돌려보는 것이 어떤 리더보드보다 더 많은 것을 알려줍니다.
도입 용어: API, 오픈 웨이트, 그리고 어디서 실행되는가
마지막 용어 묶음은 비용 구조, 프라이버시 태세, 그리고 당신이 떠안게 될 엔지니어링 부담의 크기를 결정합니다.
API
프로그램적 접근입니다: 사람이 앱을 위해 좌석당 요금을 내는 대신, 당신의 소프트웨어가 인터넷을 통해 모델을 호출하고 토큰당 요금을 냅니다. 같은 업체가 둘 다 파는 경우가 많은데, 이 둘은 서로 다른 예산입니다: 좌석은 인원 수에 따라 늘어나고, API 비용은 사용량에 따라 늘어납니다. 가격을 비교하기 전에 당신이 실제로 무엇을 사려는 것인지 아세요.
오픈 웨이트 대 클로즈드
오픈 웨이트 모델은 모델 파일을 공개합니다: 다운로드해서 당신 자신의 하드웨어에서 실행하고, 데이터를 내부에 두며, 제작사에 토큰당 요금을 내지 않습니다. Gemma 4는 Gemini와 같은 기술로 만든 가벼운 오픈 모델을 제공하고, Stability AI는 이미지, 비디오, 오디오를 위한 오픈 생성 모델을 공개합니다. 클로즈드 모델은 업체의 서버를 통해 임대합니다: 통제력은 덜하지만 운영 부담은 훨씬 적으며, 가장 강력한 클로즈드 모델은 여전히 순수 성능 면에서 앞서는 경향이 있습니다.
온디바이스 대 클라우드
추론이 물리적으로 어디서 일어나느냐입니다. 클라우드는 요청이 당신의 네트워크를 떠난다는 뜻이고, 온디바이스나 자체 호스팅은 떠나지 않는다는 뜻입니다. 그래서 규정 준수 부담이 큰 팀이 이를 신경 쓰고, 소비자용 하드웨어에서 돌아가는 Muse Glimmer 같은 모델이 존재하는 것이죠. 성능 격차는 각오하세요: 가장 큰 모델은 노트북에 들어가지 않습니다.
임베딩(Embedding)
비슷한 의미가 서로 가까이 놓이도록 배치된 숫자 목록으로 변환된 텍스트입니다. 임베딩은 소프트웨어가 정확한 키워드 대신 의미로 검색하는 방식이며, "환불 규정"이라는 질의가 "반품 정책"이라는 제목의 문서를 찾아낼 수 있는 이유입니다.
벡터 데이터베이스(Vector database)
임베딩을 저장하고 가장 가까운 일치 항목을 빠르게 찾도록 만들어진 저장소입니다. 이것이 대부분의 RAG 시스템에서 검색을 담당하는 절반입니다. Chroma는 벡터, 전문(full-text), 메타데이터 검색을 결합한 오픈소스 예시입니다. 어떤 업체가 "당신의 문서에 대해 RAG를 한다"고 말하면, 이런 것 중 하나가 스택에 들어 있습니다. 어디서 실행되고 무엇을 저장하는지 물어보세요.
프레임워크(Framework)
모델, 도구, 검색을 하나의 애플리케이션으로 엮기 위한 코드 골격입니다: 직접 만드는 길로, 자체 인력으로 작업하는 팀이 초기에 선택합니다. 현재 선택지를 보려면 AI 프레임워크 카테고리를 둘러보세요. 팀에 코드를 쓰는 사람이 아무도 없다면, Microsoft Copilot Studio 같은 시각적 빌더가 흔한 경우들을 커버하며, 디렉터리는 두 접근법을 모두 아우르는 AI 에이전트 구축 도구의 전체 작업 페이지를 유지합니다.
관측 가능성과 평가(Observability and evals)
관측 가능성은 모델이나 에이전트가 실제로 무엇을 했는지 추적하는 것입니다: 모든 단계, 도구 호출, 토큰 비용, 지연 시간까지요. 평가(eval)는 출력 품질을 채점하는 테스트로, 반복적으로 실행되어 고객이 눈치채기 전에 성능 저하가 드러나게 합니다. Langfuse는 추적, 프롬프트 관리, 평가를 아우르는 오픈소스 플랫폼입니다. 에이전트를 직접 만드는 것이 아니라 구매하는 경우, 업체에 던질 그에 상응하는 질문은 간단합니다: 에이전트가 무언가를 틀리게 하면, 정확히 무엇을 나에게 보여줄 것인가?
자주 묻는 질문
ChatGPT는 LLM인가요?
엄밀히 말하면, 아닙니다: ChatGPT는 OpenAI의 GPT 계열 LLM 위에 만들어진 애플리케이션입니다. 이 구별이 중요한 이유는 메모리, 파일 업로드, 웹 브라우징 같은 기능이 모델이 아니라 앱에 속하기 때문이며, 같은 모델을 쓰는 다른 제품에는 이 기능들이 전혀 없을 수도 있습니다.
AI 에이전트와 챗봇의 차이는 무엇인가요?
챗봇은 답하고, 에이전트는 행동합니다. 에이전트는 여러 단계의 작업을 계획하고, 다른 소프트웨어를 호출하며, 실제 시스템에서 무언가를 바꿉니다. 그래서 더 유용한 동시에 더 위험합니다. 실질적인 구매 질문은 권한입니다: 에이전트가 무엇을 건드리도록 허용되는지, 그리고 그렇게 하기 전에 무엇이 검토되는지입니다.
파라미터가 많으면 더 좋은 AI 모델인가요?
당신의 작업에 대해서는, 반드시 그렇지는 않습니다. 더 큰 모델은 일반적으로 추상적인 의미에서 더 유능하지만, 비용이 더 들고 응답이 더 느리며, 분류, 추출, 일상적인 초안 작성 같은 많은 일상 업무는 작은 모델에서도 잘 돌아갑니다. 가장 큰 모델을 기본으로 삼기 전에, 될 만한 가장 저렴한 모델을 먼저 테스트하세요.
내 컴퓨터에서 AI 모델을 실행할 수 있나요?
네, 오픈 웨이트이고 크기가 적당하다면요: Gemma 계열 같은 작은 오픈 모델은 그것을 위해 설계되었고, 일부 300억 파라미터 모델은 이제 소비자용 하드웨어를 겨냥합니다. 최전선 클라우드 모델보다 결과가 약할 것은 각오해야 하지만, 그 대가로 토큰당 비용이 전혀 들지 않고 데이터가 당신의 기기를 결코 떠나지 않습니다.