CodeNeuron
یه مدت این سوال برام جالب شده بود که با وجود LLMها، هنوز برای Text Classification باید مدل اختصاصی بسازیم یا نه؟
مثلاً برای تشخیص احساسات، موضوع متن یا Intent، میشه خیلی راحت به یه LLM گفت این متن رو دسته‌بندی کن.
ولی داستان به این سادگی نیست.
توی یه بررسی روی ۳۲ دیتاست و ۸ زبان، چند روش مختلف رو با هم مقایسه کردن؛ از Zero-shot با LLM گرفته تا Fine-tuning و مدل‌های کلاسیک‌تر.
نتیجه جالب بود:
برای Sentiment Classification، Zero-shot با LLMها عملکرد خیلی خوبی داشت و حتی در بعضی موارد از classifier آموزش‌دیده با داده کامل بهتر بود.
اما وقتی تعداد دسته‌ها بیشتر میشه یا مسئله پیچیده‌تره، مدل‌های اختصاصی که با داده برچسب‌خورده آموزش داده شدن معمولاً بهتر عمل می‌کنن.
یه نکته دیگه هم Synthetic Data بود.
یعنی میشه از چند LLM مختلف داده مصنوعی تولید کرد و باهاش classifier ساخت. این روش در خیلی از موارد از Zero-shot بهتر بود.
پس این تصور که LLM اومده و دیگه همه مدل‌های Classification قدیمی رو بی‌مصرف کرده، خیلی دقیق نیست.
گاهی یه مدل کوچک‌تر + داده خوب + classifier ساده، هم سریع‌تره، هم ارزان‌تره و هم برای Production منطقی‌تره.
به نظرم نکته اصلی اینه:
و LLM فقط یک ابزار دیگه برای حل مسئله‌ست، نه جواب پیش‌فرض همه مسائل.
باید بر اساس نوع مسئله، حجم داده، تعداد کلاس‌ها، دقت موردنیاز و هزینه inference تصمیم بگیریم.
#AI
#LLM
#NLP
#MachineLearning
#TextClassification
47 ·