AI Comments

چرا LLMهایی که Fine-tune شدن، اطلاعاتی رو حفظ می‌کنن که نمی‌تونن ازشون استفاده کنن؟ یه مقاله‌ی جدید با Reverse-engineering بررسی کرده که موقع Fine-tuning دقیقاً داخل یه مدل چه اتفاقی می‌افته و توضیح می‌ده چرا گاهی با یه وضعیت عجیب روبه‌رو می‌شیم: یه حقیقت یا اطلاعات جدید رو به مدل یاد می‌دید، مدل هم بدون مشکل همون رو به خاطر میاره، اما وقتی ازش می‌خواید با همون اطلاعات استدلال کنه، عملکردش ضعیفه. باید گفت که Recall کردن یه اطلاعات و Reasoning کردن با اون، دو مهارت کاملاً متفاوت هستن. مدل معمولاً بعد از فقط یکی دو Epoch اطلاعات جدید رو حفظ می‌کنه، اما توانایی استفاده از اون اطلاعات در Reasoning حدود ۴ تا ۵ Epoch بعد ظاهر می‌شه و حتی اون موقع هم ضعیف‌تره. نویسنده‌های مقاله به این اختلاف می‌گن Knowing-Using Gap. دلیلش به محل ذخیره شدن اطلاعات برمی‌گرده. Fine-tuning اطلاعات جدید رو توی Layerهای ابتدایی و انتهایی مدل ثبت می‌کنه، بنابراین مدل می‌تونه اون‌ها رو مستقیماً Recall کنه. اما Multi-step Reasoning عمدتاً در Layerهای میانی انجام می‌شه و این اطلاعات هیچ‌وقت به اون بخش‌ها نمی‌رسه. برای اثبات این موضوع، پژوهشگرها Internal Representation مربوط به اون اطلاعات رو از یکی از Layerهای ابتدایی یا انتهایی برداشتن و به یکی از Layerهای میانی منتقل کردن. نتیجه این بود که Reasoning ناگهان درست عمل کرد. یعنی اطلاعات از اول داخل مدل وجود داشت، فقط جای اشتباهی ذخیره شده بود. جالبه که فقط با جابه‌جا کردن اطلاعات بین یه جفت Layer ثابت، بدون اینکه برای هر نمونه به‌صورت جداگانه جست‌وجو انجام بشه، تونستن بین ۵۸ تا ۷۵ درصد از بیشترین بهبودی ممکن رو به دست بیارن. یعنی محدودیت اصلی نه اندازه‌ی مدل هست و نه مدت زمان آموزش؛ بلکه اینه که اطلاعات دقیقاً کجای مدل قرار می‌گیره. البته باید توجه داشت که این روش یه Diagnostic هست، نه یه روش آموزشی جدید. در این تکنیک که بهش Self-patching گفته می‌شه، بعد از پایان آموزش، Representation اطلاعات به یه موقعیت ثابت منتقل می‌شه. بنابراین اون بهبود ۵۸ تا ۷۵ درصدی فقط یه Upper Bound از چیزی رو نشون می‌ده که احتمالاً با یه مداخله‌ی تمیز و اصولی قابل دستیابی باشه. ضمن اینکه آزمایش‌های این مقاله فقط روی اطلاعات Knowledge Graph در حوزه‌های Biomedicine و A

شرکت Toghether AI اومده بررسی کرده دیده مدل Kimi K3 در تسک های مهندسی نرم افزار همون کیفیت Fable 5 رو داره با یک سوم قیمت. 👑 توضیحات در مورد دوره منتورینگ 🏆 نحوه ثبت‌نام در دوره منتورینگ 🤝 تجارب موفق قبلی بچه‌ها از منتورینگ 🛠 راه‌ ارتباطی مشاوره تخصصی کسب‌وکار در زمینه دیتا و هوش مصنوعی @reza_jafari_ai

یکی دیگه از بچه‌های منتورینگ به هدفش رسید محمدحسن، که خودش یک مهندس نرم‌افزار باتجربه‌ست، تصمیم گرفته بود دانشش رو توی حوزه‌ی LLMها عمیق‌تر کنه و وارد پروژه‌های AI Engineering بشه. حالا بعد از ۴ ماه حضور توی دوره‌ی منتورینگ، تونسته دو پروژه‌ی AI Engineering بگیره و مسیر کاریش رو توی این حوزه شروع کنه. خیلی خوشحالم که این تلاش و پشتکار نتیجه داده و برای محمدحسن توی ادامه‌ی مسیر، موفقیت‌های بزرگ‌تر و پروژه‌های جذاب‌تر آرزو می‌کنم. 👑 توضیحات در مورد دوره منتورینگ 🏆 نحوه ثبت‌نام در دوره منتورینگ 🤝 تجارب موفق قبلی بچه‌ها از منتورینگ 🛠 راه‌ ارتباطی مشاوره تخصصی کسب‌وکار در زمینه دیتا و هوش مصنوعی @reza_jafari_ai

نتفلیکس به‌تازگی ۵۸۷ میلیون دلار نقد برای استارتاپ هوش مصنوعی بن افلک پرداخت کرده؛ شرکتی که فقط ۱۶ نفر نیرو داره و از سال ۲۰۲۲ به‌صورت کاملاً مخفیانه روش کار می‌شده. اما این شرکت دقیقاً چه کاری انجام می‌ده؟ اسم این شرکت InterPositive هست و برخلاف چیزی که خیلی‌ها از «هوش مصنوعی در هالیوود» تصور می‌کنن، قرار نیست با چند خط دستور متنی، فیلم و صحنه‌های جدید بسازه. این هوش مصنوعی روی فیلم‌های واقعی آموزش می‌بینه؛ یعنی تصاویر خام یک پروژه مشخص رو بررسی می‌کنه و چیزهایی مثل نورپردازی، نوع لنز، زاویه دوربین، رنگ‌ها و سبک تصویری اون فیلم رو یاد می‌گیره. بعد به تیم تولید کمک می‌کنه تا در مرحله پس‌تولید، همون تصاویر رو بهتر و اصلاح کنن، بدون اینکه ظاهر و حس اصلی فیلم از بین بره. مثلاً می‌تونه نور یک صحنه رو تغییر بده، اشتباهات تداومی رو اصلاح کنه، سیم‌ها و تجهیزات اضافی رو از تصویر حذف کنه، پس‌زمینه‌ها رو عوض کنه یا رنگ نهایی فیلم رو تنظیم کنه؛ همه این کارها هم با این هدف انجام می‌شه که نتیجه دقیقاً با زبان بصری همون فیلم هماهنگ بمونه. نکته مهم اینه که برای هر فیلم، یک مدل هوش مصنوعی اختصاصی ساخته می‌شه. این سیستم با اطلاعات جمع‌آوری‌شده از اینترنت یا فیلم‌های استودیوهای دیگه آموزش نمی‌بینه. یعنی قرار نیست از آثار دیگران استفاده کنه یا مشکلات مربوط به کپی‌رایت، مالکیت محتوا و دیپ‌فیک ایجاد کنه. بن افلک این فناوری رو ساخت چون معتقد بود بیشتر ابزارهای هوش مصنوعی موجود، واقعاً نمی‌فهمن یک فیلم چطور ساخته می‌شه. این ابزارها درک دقیقی از رفتار نور، ویژگی‌های لنزها، حرکت دوربین و هماهنگی بین نماهای مختلف نداشتن. اما InterPositive دقیقاً برای فهم همین جزئیات طراحی شده. نتفلیکس گفته این فناوری امسال در حدود ۳۰۰ عنوان استفاده شده و در یکی از مستندها باعث شده زمان تولید تقریباً نصف بشه و هزینه‌ها هم تا ۵۰ درصد کاهش پیدا کنه. در نهایت، نتفلیکس با پرداخت ۵۸۷ میلیون دلار برای یک تیم ۱۶ نفره و یک فناوری که به هوش مصنوعی یاد می‌ده مفاهیمی مثل فاصله کانونی، عمق میدان، حرکت دوربین و پرسپکتیو رو درک کنه، یک پیام روشن داده: آینده هوش مصنوعی در هالیوود احتمالاً جایگزین کردن فیلم‌سازها نیست؛ بلکه ساختن ابزارهای قدرتمندتریه که به خالق‌ها کمک کنه بهتر، سریع‌تر و خلاقانه‌تر کار کنن. ویدیو بال

چطور پیش‌آموزش سقف عملکرد RL رو مشخص می‌کنه یک تحقیق جدید از شطرنج به‌عنوان یک محیط آزمایشی کنترل‌شده استفاده کرده تا کل مسیر آموزش رو بررسی کنه: اول مدل روی بازی‌های انسانی پیش‌آموزش (Pre-training) می‌بینه، بعد با SFT روی مسیرهای استدلال (reasoning traces) آموزش داده می‌شه و در آخر با RL و پاداش‌های قابل بررسی (verifiable rewards) تنظیم می‌شه. شطرنج برای این کار خیلی مناسبه، چون هم ارزونه و هم هر حرکتش دقیقاً قابل بررسیه. برای همین پژوهشگرها می‌تونن هزینه‌ی محاسباتی پیش‌آموزش و RL رو هم‌زمان بررسی کنن؛ کاری که روی مدل‌های زبانی بزرگ واقعی (LLM) خیلی گرونه. نتیجه‌ی مهم اینه که پیش‌آموزش واقعاً اهمیت زیادی داره. هرچی خطای پیش‌آموزش (pre-training loss) کمتر باشه، دقت مدل بعد از RL بالاتر می‌ره. همین‌طور هرچی مدل با توکن‌های بیشتری پیش‌آموزش ببینه، پاداش RL سریع‌تر رشد می‌کنه. وقتی منابع محاسباتی کم باشه، تقریباً باید بیشتر تمرکز روی پیش‌آموزش باشه، چون یک مدل پایه‌ی ضعیف رو نمی‌شه فقط با زودتر شروع کردن RL نجات داد. اما وقتی منابع بیشتر می‌شن، سهم RL هم بیشتر می‌شه (در این تحقیق حدوداً از ۲۰٪ به ۲۸٪ کل محاسبات رسید)، در حالی که تعداد توکن‌های پیش‌آموزش همچنان از قانون مقیاس‌گذاری چی‌چیلا (Chinchilla) پیروی می‌کنه. پژوهشگرها می‌گن RL فقط چیزی که مدل از قبل بلد بوده رو قوی‌تر نمی‌کنه. در مسائل ساده، بیشتر باعث می‌شه جواب‌های درست قبلی بهتر و پایدارتر بشن. اما در مسائل سخت، RL می‌تونه حرکت‌ها و جواب‌های درستی رو پیدا کنه که قبل از اون تقریباً در مدل وجود نداشتن. در واقع استدلال مدل بیشتر گسترده‌تر می‌شه، نه لزوماً عمیق‌تر. RL کمک می‌کنه مدل گزینه‌های بیشتری بسازه و بهتر بین اون‌ها انتخاب کنه، ولی هنوز در مسیرهایی که نیاز به نگاه کردن بیشتر از حدود پنج حرکت جلوتر دارن، مشکل داره. جست‌وجوی مسیرهای طولانی همچنان سخته. این الگو فقط مخصوص شطرنج نیست. روی یک مدل ۱ میلیارد پارامتری (1B) که با متن‌های ریاضی پیش‌آموزش دیده و بعد با RL روی مجموعه‌های GSM8K و MATH تنظیم شده هم همین نتیجه دیده شد: مدل‌هایی که مدت بیشتری پیش‌آموزش دیده بودن، بعد از RL امتیاز بالاتری گرفتن و سریع‌تر پیشرفت کردن. به‌نظرم این روش آزمایش خیلی جالبه، چون شطرنج هم کم‌هزینه است و هم نتیجه‌ها کاملاً