Tópico میشه با پایتون مطالبی که مورد نیاز داریم رو استخارج کنیم؟ البته این کار رو هوش مصنوعی انجام میده اما یا پولی ان یا دقت ش…

به اون راحتی که فکر می‌کنی نیست، باید خزنده بنویسی بره منابعی که مدنظرته رو جمع‌آوری کنه، بعد با یه LLM، بینشون بگردی تبریک میگم کپی ناقص همونا رو ساختی بخش «منابعی که مدنظرته رو جمع‌آوری کنه» خیلی هزینه‌بره برای همینه که یا گرونن یا به‌دردنخور

ببین ، اصولا که به llm احتیاج داری برای این کار. ولی من نمیدونم دقیقا منظورت چه اطلاعاتیه. مثلا من یک بار این کار رو کردم. و جواب هم داده اونم تو R. روی NCBI پیاده کردم. ولی بازم بستگی داره. کلیت کارم اینطوری بود که یک search term و چن تا پارامتر دیگه به فانکشنی که نوشتم میدادی، و بعد خروجی میومد تمام نتایج سرچ رو تو یک جدول در میاورد. حالا اون جدول اسم نویسنده بود، مثلا فرض کن تعداد سمپل بیمار بود، تکنولوژی که استفاده شده بود بود و... . انگار میومد تمام نتایج رو طبق یک فرمت مشخصی خلاصه میکرد. حالا مثلا شما هم اگر میخوای تو پابمد، یا اسکالر سرچ کنی باید یه همچین data scraperی بسازی و بعد فرمتش رو مشخص کنی که چجوری خروجی بده. کلیت کارمم این بود که HTML رو میگرفتم بعد PARSE میکردم و هر چیزی که میخواستم از هر نتیجه، تو یک فرمت مشخص بود، اون پترن رو داده بودم و اون دیتا رو میکشید بیرون از اون فایل html و میزاشت توی جدول خروجی. کدش رو هم رو جیت هابم هست اگر خواستی میفرستم. دقت کن برای اینکه دیتا رو از NCBI بگیری خودش یک منوآل کامل و جامع داره، ساختار صفحات و لینک هاش رو توضیح میده که طبق اون باید عمل کنی، برای هر یک از دیتا بیس هاش هم اختصاصیه.

ارزون‌ترین راه اینه یه کارمند اداری بگیری، بگی این کارا رو برات انجام بده (نمونه واقعی می‌شناسم از همین راه حل) نه نیاز به سرور داره، نه کرش میکنه، نه اطلاعات بدردنخور جمع می‌کنه