پست 🤔 مدل‌های زبان بزرگ (همون ترنسفورمرها) در پشت صحنه دقیقاً چطور کار می‌کنن؟

🤔 مدل‌های زبان بزرگ (همون ترنسفورمرها) در پشت صحنه دقیقاً چطور کار می‌کنن؟ 1️⃣ انکودر–دیکودر ✏️ ترنسفورمر دو قسمت اصلی داره: انکودر: ورودی رو می‌فهمه. دیکودر: خروجی رو می‌سازه. وقتی اینو فهمیدم تازه تفاوت مدل‌ها برام روشن شد: مثلاً GPT فقط دیکودر داره، BERT فقط انکودر. ➖ ➖ ➖ 2️⃣ توکن‌سازی و بردارسازی ✏️ متن اول خرد می‌شه به تیکه‌های کوچیک‌تر که بهشون می‌گن توکن (مثلاً “read” و “ing”). بعد هر توکن تبدیل می‌شه به یه بردار عددی؛ یعنی یه لیست عدد که معنی اون توکن رو تو خودش نگه می‌داره. اینجا چیزی که برای من جالب بود اینه که تو این فضای برداری، کلمه‌های شبیه به هم نزدیک‌ترن. ➖ ➖ ➖ 3️⃣ کُدگذاری موقعیت (Positional Encoding) ✏️ ترنسفورمر همه‌ی توکن‌ها رو همزمان می‌خونه، پس باید یه‌طوری بفهمه ترتیبشون چیه. برای همین یه جور «سیگنال موقعیت» به هر توکن اضافه می‌کنه تا بدونه کدوم اول اومده، کدوم دوم و… ➖ ➖ ➖ 4️⃣ توجه به خود (Self-Attention) ✏️ اینجا همون جاییه که من حس کردم ترنسفورمر واقعاً باهوشه. هر کلمه یاد می‌گیره به بقیه‌ی کلمه‌ها چقدر توجه کنه. برای این کار سه تا چیز می‌سازه: ➡️ Query (Q): دنبال چی می‌گرده ➡️ Key (K): چی ارائه می‌ده ➡️ Value (V): چه اطلاعاتی حمل می‌کنه ✅ این باعث می‌شه مثلاً تو جمله‌ی «حیوان خسته بود… او خوابید»، مدل بفهمه «او» به «حیوان» برمی‌گرده. ➖ ➖ ➖ 5️⃣ توجه چندسَر (Multi-Head Attention) ✏️ به جای یه نگاه، چند «سرِ توجه» همزمان کار می‌کنن. هر کدوم یه چیز متفاوت رو می‌بینن: یکی دستور زبان، یکی معنی، یکی ارتباط‌های دورتر تو متن. برای من این مثل اینه که چند نفر همزمان یه متن رو تحلیل کنن، هر کدوم از یه زاویه. ➖ ➖ ➖ 6️⃣ شبکه‌ی پیش‌رو + نرمال‌سازی ✏️ بعد از توجه، هر توکن می‌ره تو یه شبکه‌ی عصبی کوچیک تا پردازش عمیق‌تر بشه. اون اتصالات باقی‌مانده و نرمال‌سازی لایه‌ای هم کمک می‌کنن یادگیری مدل پایدار بمونه و خراب نشه. ➖ ➖ ➖ 7️⃣ روی هم چیدن لایه‌ها (Stacking Layers) ✏️ ترنسفورمر این لایه‌ها رو بارها تکرار می‌کنه (مثلاً ۶ یا ۱۲ یا حتی خیلی بیشتر). هر لایه یه سطح عمیق‌تر از الگوها رو می‌فهمه؛ از قواعد ساده‌ی جمله تا استدلال‌های پیچیده‌تر. ➖ ➖ ➖ 8️⃣ تولید خروجی ✏️ توی مدل‌های دیکودری مثل GPT، خروجی کلمه‌به‌کلمه ساخته می‌شه. یعنی مدل یه توکن پیش‌بینی می‌کنه، همون می‌شه زمینه برای توکن بعدی، تا جمله کامل شه. چرا این روش انقدر خوب جواب می‌ده؟ چون: ☑️ همه‌چی همزمان پردازش می‌شه ⬅️ آموزش سریع‌تر ✅ هر کلمه با بقیه در ارتباطه ⬅️ فهم زمینه‌ای قوی‌تر ✔️ لایه‌ها رو می‌شه زیاد کرد ⬅️ مقیاس‌پذیر و مناسب مدل‌های خیلی بزرگ 🌐 #یادگیری_عمیق #DeepLearning ➖➖➖➖➖➖➖➖➖➖➖➖➖➖ 🧠 مهندس یادگیری عمیق شوید : 🧠 @DeepLearning_fa