توکن مدل زبانی چیست؟
LLM token
توکن مدل زبانی یعنی واحد کوچکی از متن، معمولاً بخشی از یک کلمه، که مدل زبانی متن را با آن میخواند و هزینه و محدودیتش با آن سنجیده میشود.
این توکن با توکن طراحی فرق دارد. متن فارسی معمولاً توکن بیشتری از همارز انگلیسیاش مصرف میکند.