Thenima.one

کلاد و GPT دقیقاً از کجا یاد گرفتن؟ فرض کن دو نفر رو بفرستی دو تا کتابخونه‌ی غول‌پیکر و بگی «هر چی می‌خونی بخون». حالا کتابخونه‌ها اصلاً شبیه هم نیستن، و خروجی هم شبیه هم نمیشه. ماجرای این دو مدل هم همینه 👇 پایه‌ی مشترک هر دو مدل اول روی حجم عظیمی از متن اینترنت، کتاب، مقاله و کد آموزش دیدن (training data). اینجا مدل فقط الگوی زبان رو یاد می‌گیره، یعنی «کلمه‌ی بعدی چی میشه؟» کتابخونه‌ی GPT تو مقاله‌ی GPT-3 اوپن‌ای‌آی صراحتاً گفته بود از Common Crawl (آرشیو عظیم وب)، کتاب‌ها و ویکی‌پدیا استفاده کرده. از GPT-4 به بعد دیگه لیست دقیقی نداده. چیزی که می‌دونیم اینه که با ناشرها و پلتفرم‌ها قرارداد لایسنس (licensing deal) بسته تا به محتوای بیشتری دسترسی قانونی داشته باشه. کتابخونه‌ی کلاد آنتروپیک می‌گه کلاد روی ترکیبی از داده‌های عمومی وب، داده‌های لایسنس‌شده‌ی شخص ثالث، داده‌ی کاربرانی که اجازه دادن، و داده‌ی مصنوعی (synthetic data) آموزش دیده. کراولرش هم قوانین سایت‌ها (robots.txt) رو رعایت می‌کنه و سراغ صفحات پشت رمز نمیره. پس چرا رفتارشون فرق داره؟ چون تفاوت اصلی فقط «چی خوندن» نیست: ترکیب داده‌ها: چه سهمی کتاب، کد، وب و ... فیلتر و پاک‌سازی: چی وارد کتابخونه بشه و چی نه مرحله‌ی تربیت بعدی: بعد از خوندن، هر شرکت با بازخورد انسانی و روش‌های خودش مدل رو «آداب‌دان» می‌کنه. آنتروپیک روش Constitutional AI رو داره که مدل رو با یه سری اصول مکتوب هدایت می‌کنه. همین مرحله‌ی آخره که لحن، دقت، احتیاط و سبک نوشتن هر مدل رو می‌سازه. 🎯 جمع‌بندی: کتابخونه‌ها شبیه‌ان، ولی «چی انتخاب شده» و «چطور تربیت شده» فرق می‌ده. برای همین یه سؤال رو از هر دو بپرسی، جواب‌ها یه حس دیگه دارن. @thenimaonAI