이번글에서 토큰(Token)에 대해 설명 하는 이유는 단순히 이론을 알기 위해서가 아닙니다.조금이라도 프롬프트 작성 시 토큰 비용을 절약하고, 모델을 더 효율적으로 사용하기 위해서입니다.즉, 같은 프롬프트라도 조금이라도 간결하게 의미를 알 수 있게 작성한다면 토큰수를 절약 할 수 있습니다.1. TokenizationLLM은 단어가 아니라 “토큰”으로 생각한다우리는 문장을 “단어” 단위로 이해합니다. 하지만 LLM은 단어로 대화하지 않습니다. 그들이 사용하는 언어의 최소 단위는 바로 Token입니다. 마치 우리는 문장을 읽지만, 모델은 작은 레고 블록들을 조립하듯 텍스트를 다룹니다. 🔹 Token이란?Tokenization은 텍스트를 작은 단위인 토큰(Token) 으로 쪼개는 과정입니다.Tokeniza..