CodeNeuron
تا حالا شده از ChatGPT یا Claude یه سوال بپرسی و چند ثانیه بعد جواب آماده بشه، ولی به این فکر کنی پشت این چند ثانیه چه اتفاقی میفته؟
مدل‌های زبانی مستقیم با کلمه‌هایی که ما می‌نویسیم کار نمی‌کنن.
اول متن وارد Tokenizer میشه و به بخش‌های کوچکتری به اسم Token تبدیل میشه. بعد هر Token به یک عدد تبدیل میشه تا مدل بتونه اون رو پردازش کنه.
بعد از اون، این Tokenها وارد Embedding میشن؛ جایی که مدل هر Token رو به یک بردار عددی تبدیل می‌کنه تا ارتباط و مفهوم بین کلمات رو در یک فضای چندبعدی درک کنه.
بخش اصلی کار داخل Transformer اتفاق میفته.
اینجا Self-Attention باعث میشه مدل ارتباط بین Tokenهای مختلف رو بررسی کنه؛ یعنی بفهمه کدوم بخش‌های متن برای تولید پاسخ مهم‌تر هستند.
این فرآیند در چندین لایه تکرار میشه تا مدل به یک نمایش بهتر از متن برسه.
اما تولید پاسخ فقط به خود مدل مربوط نیست.
یکی از تکنیک‌های مهم برای سرعت، KV Cache هست.
مدل به جای اینکه هر بار کل متن قبلی رو دوباره پردازش کنه، بخشی از محاسبات قبلی رو ذخیره می‌کنه. البته هرچه طول Context بیشتر بشه، مصرف حافظه هم بیشتر میشه.
بعد می‌رسیم به Sampling.
مدل در واقع یک کلمه آماده انتخاب نمی‌کنه؛ برای Tokenهای مختلف احتمال در نظر می‌گیره و بر اساس روش انتخاب، خروجی می‌تونه متفاوت باشه.
مثلاً:
مورد اول : Greedy همیشه محتمل‌ترین گزینه رو انتخاب می‌کنه.
مورد دوم : Top-K از بین چند گزینه برتر انتخاب می‌کنه.
مورد سوم :Top-P انتخاب رو بر اساس مجموع احتمال‌ها محدود می‌کنه.
آقای Temperature هم میزان خلاقیت و تصادفی بودن خروجی رو تغییر میده.
یک تکنیک جالب دیگه هم Speculative Decoding هست.
اینجا یک مدل کوچک‌تر چند Token آینده رو حدس می‌زنه و مدل اصلی اون‌ها رو بررسی می‌کنه. اگر درست باشند، سرعت تولید بیشتر میشه.
در آخر Tokenها دوباره به متن قابل فهم تبدیل میشن و پاسخ به صورت Stream نمایش داده میشه.
یک نکته مهم این وسط وجود داره:
پردازش ورودی و تولید پاسخ دو مشکل متفاوت دارند.
مرحله‌ای که مدل ورودی ما رو پردازش می‌کنه بیشتر به قدرت پردازشی وابسته است.
ولی مرحله تولید پاسخ بیشتر با محدودیت حافظه درگیر است.
برای همین بهینه‌سازی مدل‌های AI فقط به قوی‌تر کردن GPU یا بزرگ‌تر کردن مدل خلاصه نمی‌شود؛ چون هر بخش از این مسیر یک چالش متفاوت دارد.
پشت یک پاسخ ساده از یک مدل زبانی، یک زنجیره کامل از Tokenization، محاسبات Transformer و تکنیک‌های بهینه‌سازی وجود دارد.
#AI
#LLM
#Transformer
#MachineLearning
#DeepLearning
#AIInfrastructure
1 · 68 ·