تروریست اوپن سورس

Trust, but verify

گوگل بعد مدل زیادی کاملا اوت بودن بلاخره یه مدل جدید داده (هنوز نداده البته) که به فرانتیر اینتلیجنس نزدیک شده https://news.ycombinator1.com/item?id=49913571 نکته جالبش اینه که گوگل گفته من دارم کل کد های سی++ رو تو راسط ریرایت می کنم باهاش و هشتصد هزار خط کد رو ریرایت کرده آلردی، و به نظر ریرایت مسئولانه‌ای هم هست. گوگل خیلی بیشتر از هشتصد هزار خط کد سی++ داره، ولی خوشبین ترین هوادار راسط هم فکر نمی کرد که حتی ریرایت کردن عمومی کد های سی++ گوگل یه روز در نظر گرفته بشه حتی. حالا مهمه اصلا که سی++ باشه یا راسط وقتی ایجنت می زنه؟ تا وقتی که کد به عنوان حقیقت روی زمین قرار باشه که توسط انسان مصرف بشه، مهمه. و اگه ایجنت ها این تبدیل زبان رو انجام بدن، یه پیشرفت بزرگ در زبان‌های برنامه نویسیه چون دیگه لازم نیست به علت نتورک افکت روی زبون‌های با عمر نیم قرن گیر کنیم. نه تنها می شه به مرگ سی++ فکر کرد، بلکه می شه حتی دنبال راسط های بهتر گشت و اگه یه راسط بهتری پیدا شد، ایجنت‌ها برامون این ارتقایی که قبلا ممکن نبود رو الان ممکن کردن.

تریلر این مستند AI DOC رو رندوم دیدم و یاد مستند قبلیش The Social Dilemma افتادم جدیده رو هنوز ندیدم ولی سوشال دیلما واقعا عالیه اگه ندیدید ببینید این شکلیه که مضرات سوشال مدیا رو می گه در قالب سه تا آدم که مثلا الگوریتم‌های ماشین لرنینگ ریکامندرن و تلاش می کنن فید رو یه طوری ببندن که سود شرکت رو ماکسیمایز کنه داشتم به این فکر می کردم که یکم (یه زیاد) دیگه للم ارزون شه می‌تونن به جای یه مدل ماشین لرنینگی کمی بهتر از رندوم، لیترالی سه تا للم بزارن که با هم هم فکری می کنن و محتوا ها رو می بینن و فید یه یوزر رو می چینن :)))

هر مساله ای رو می شه به صورت یه مساله تصمیم (انتخاب بین دو یا چند گزینه (که خود اون چند گزینه رو هم باز می شه دو گزینه کرد)) مدل کرد. مثلا حرف زدن می شه انتخاب کلمه یا حرف بعدی از بین لیست کلمه‌ها، یا بازی کردن می شه انتخاب حرکت بعدی از بین لیست حرکت‌ها. و این دوست jev مون می تونه برای ما تصمیم بگیره. پس جو می تونه هر مساله ای رو حل کنه؟ مساله‌های تصمیم رو می شه دو دسته کرد. یه دسته تصمیم‌هایی که روی تصمیم‌های بعدی تاثیر نمی ذارن، و یه دسته اونایی که تاثیر می ذارن. مثلا تصمیم این که آیا مثلا توپ از خط رد شد از دسته اوله و تصمیم این که این حرکت شطرنج رو انجام بدم یا ندم از دسته دومه. تصمیم های دسته دوم استراتژی می خوان. یه تصمیم در ذات خودش خوب یا بد نیست، یه مسیر از تصمیم‌هاست که خوب یا بده. شبکه‌های عصبی می تونن مساله تصمیم رو حل کنن. ولی شبکه عصبی به نظر نمی رسه که خیلی توانایی استراتژی چیدن داشته باشه. بله مثلا آلفا زیرو شطرنج بازی می‌کنه، ولی یه شبکه عصبی خالی نیست و tree search اون بار استراتژی چیدن رو به دوش می کشه، یا مثلا توی للم که کد می زنه CoT و هرنس ایجنت استراتژی می چینن. ممکنه بگید همین حرف زدن عادی هم استراتژی می‌خواد و شبکه عصبی انجامش می ده، ولی نمی خواد. برای امتحانش می‌تونید چند نفری بشینید و در ادامه یه موضوعی هر کدوم یه کلمه بگید تا متن کامل شه، با این که استراتژی ندارید ولی بازم یه چیزی در میاد. ممکنه للم استراتژی داشته باشه در حرف زدن، ولی من تعجب خواهم کرد اگه این استراتژی فرای نوک دماغش (جمله فعلی) باشه. با این سه گزاره، جو به عنوان یه شبکه عصبی، منطقی نیست که در مسائل تصمیمی که استراتژی می خوان استفاده بشه. مثلا می‌تونید باهاش دوم بازی کنید (ممکنه بگید طبق تعریف دوم هم استراتژیه، و هست، ولی صفر و یک نیست این مساله. توی دوم زدن تیر توی مغز دشمن از استراتژی چجوری تیر هام رو حفظ کنم تا در آینده تموم نشن خیلی مهم تره، و بدون استراتژی هم می شه تا یه جایی پیش رفت) ولی نمی‌تونید باهاش شطرنج بازی کنید. ممکنه مساله غیر استراتژی رو هم انجام نده، ولی مساله نیازمند استراتژی رو حتما انجام نمی ده. در نتیجه کاربردش بسیار محدودتر از للم می‌شه.

یه للم آلمانی زدن https://news.ycombinator1.com/item?id=49942706 1. از کوئن های کوچیک حتی توی آلمانی شکست می خوره. که یک نشانه دیگه ایه برای این که للم خاص منظوره فیله 2. روی هفتصد تا B200 توی یک ماه ترینش کردن. اگه اجاره B200 روزی سیصد دلار باشه، می شه هفت میلیون دلار ناقابل. برای یه للم هشتاد بیلیون پارامتری. یعنی هر دولت یا حتی شرکت گنده ای که اراده کنه می تونه یه للم برای خودش بزنه. بله للمش فرانتیر نمی شه (شایدم شد، ترین یه رندومی داره به هر حال، اگه زیاد تا شرکت تلاش کنن یکیش شاید فرانتیر هم بشه) ولی کار می کنه. و اگه با هفت میلیون دلار می شه هشتاد بیلیونی ترین کرد، با هفت بیلیون دلار می شه هشتاد تریلیونی ترین کرد، و هفت بیلیون دلار برای داریو و رفقا پول خورده، پس مدل هشتاد تریلیون پارامتری حتما یه ایرادی داره، و این خیلی امیدوار کنندست.