Python Indonesia

🚫 Rizal tidak menyelesaikan verifikasi dalam waktu yang ditentukan. Silakan hubungi robot untuk membuka pembatasan.

ada yang punya bot auto co shopee ?

🚫 NADIA tidak menyelesaikan verifikasi dalam waktu yang ditentukan. Silakan hubungi robot untuk membuka pembatasan.

punten all, saya mau nanya dong. Jadikan sekarang saya lagi ngerjain skripsi terkait RAG. Nah di proses retrieval itu saya bagi dua (karena karakterisitk datanya beda) ada yang make embedding indobert, satu lagi karena datanya emang butuh exact saya make BM25. Nah untuk pengujian yang embedding ini cukup bingung. Bingungnya dimana? jadi kan untuk uji retrieval embedding, saya nyusun pertanyaan dan jawaban make ai biar meminimalkan data uji sama secara leksikal dengan data di corpus. untuk ngebandingin jawaban dari data uji ini (ground truth) dengan hasil retrieved dokumen dari korpus ini gimana yah? kalo saya make Rouge buat bandingin, hasilnya jelek. asumsi saya karena Rouge bandingin exact pertoken jadinya kurang sesuai gitu karena ground truth tadi udah dimodifikasi biar gak sama leksikal tapi masih sama secara semantik. Note. data di corpus cuman ada kalimat text gitu, gak ada id documentnya🙏

✅ @Romiwhy telah melengkapi profil dan dicabut pembatasannya via DM.

Kalau task information retrieval pakai metrics information reteieval juga. Jadi bukan bandingin ground truth jawaban dengan hasil retrieval, itu me campurkan metrics QA dengan IR. Jadi yg benar bandingin ekspektasi chunk retrieval dengan hasil retrieval, nnti bisa didapet precision, recall, accuracy, F1 nya Sesuaikan metrics yg dipake dengan task nya