Replymessage unavailable
punten all, saya mau nanya dong. Jadikan sekarang saya lagi ngerjain skripsi terkait RAG. Nah di proses retrieval itu saya bagi dua (karena karakterisitk datanya beda) ada yang make embedding indobert, satu lagi karena datanya emang butuh exact saya make BM25. Nah untuk pengujian yang embedding ini cukup bingung.
Bingungnya dimana?
jadi kan untuk uji retrieval embedding, saya nyusun pertanyaan dan jawaban make ai biar meminimalkan data uji sama secara leksikal dengan data di corpus. untuk ngebandingin jawaban dari data uji ini (ground truth) dengan hasil retrieved dokumen dari korpus ini gimana yah?
kalo saya make Rouge buat bandingin, hasilnya jelek. asumsi saya karena Rouge bandingin exact pertoken jadinya kurang sesuai gitu karena ground truth tadi udah dimodifikasi biar gak sama leksikal tapi masih sama secara semantik.
Note. data di corpus cuman ada kalimat text gitu, gak ada id documentnya🙏