seftext not yet in the index
Aku pakai buat LLM, Misal ga ada request selama 5 menit ke GPU. Saat kita request pertama kali setelah 5 menit itu latency nya di 5 detik. Tapi untuk request berikut nya <1 detik stabil
28 May 2026
Hari AchmadAku pakai buat LLM, Misal ga ada request selama 5 menit ke GPU. Saat kita request pertama kali setelah 5 menit itu latency nya di 5 detik. Tapi untuk request berikut nya <1 detik stabil
Dia semacam lambda gitu? Dulu pas ngurus deploy aws yg pake lambda, diakalin manggil pake payload khusus (dummy) yg aslinya ga ngapa2in biar ga cold start
Hari AchmadSudah pengalaman pakai ini mas? Docker base juga kah?
itu sewa vps kosongan mas, bisa diinstal docker nya aja
dulu pernah pakai dan beda2 kualitas tergantung harga aja
Hari AchmadAku pakai buat LLM, Misal ga ada request selama 5 menit ke GPU. Saat kita request pertama kali setelah 5 menit itu latency nya di 5 detik. Tapi untuk request berikut nya <1 detik stabil
ini bukan isu stabilitas, tapi isu cold start, kalau begini ya biasanya semua akan mengalaminya, kecuali ada yang bersedia bayar untuk tetap tersedia mendadak
Replymessage unavailable
kalau kita yang bersedia bayar, ya kita request saja terus menerus
atau ya memang kita bukan bayarnya cuma pas ada request doang, misalkan seperti VPS, yang jadinya selalu hidup
Irvan Putratext not yet in the index
tadinya aku kira yang mati mendadak, contohnya Spot Instance, itupun ada warningnya jadi dalam beberapa menit kita harus segera simpan hasil kalkulasi kita
Hari AchmadAku pakai buat LLM, Misal ga ada request selama 5 menit ke GPU. Saat kita request pertama kali setelah 5 menit itu latency nya di 5 detik. Tapi untuk request berikut nya <1 detik stabil
yakin bukan karena DNS request yg lama ya ?
coba masukkin hostname dan ip ke file hosts (static dns resolver)
Irvan Putrakalau kita yang bersedia bayar, ya kita request saja terus menerus
atau ya memang kita bukan bayarnya cuma pas ada request doang, misalkan seperti VPS, yang jadinya selalu hidup
aku pakai yang VPS mas, dan memang selalu standby. tapi ya itu kalau ga ada request per 5 menit, request pertama langsung latency nya melonjak
Usamah Jundi AbdillahDia semacam lambda gitu? Dulu pas ngurus deploy aws yg pake lambda, diakalin manggil pake payload khusus (dummy) yg aslinya ga ngapa2in biar ga cold start
iya dia kaya lambda mas, aku mau pakai skenario kaya gitu apakah memang normal mas? kalau saat ini aku pakai request kosongan hanya untuk warm up saja
Hari Achmadaku pakai yang VPS mas, dan memang selalu standby. tapi ya itu kalau ga ada request per 5 menit, request pertama langsung latency nya melonjak
aplikasi apa yang dijalankan GPU-nya, Ollama?
Replymessage unavailable
Lambda ada isu cold start, VPS nggak ada (karena selalu hidup)
jadi jangan campur aduk, diskusinya jadi bingung 😆
Irvan PutraLambda ada isu cold start, VPS nggak ada (karena selalu hidup)
jadi jangan campur aduk, diskusinya jadi bingung 😆
tadi nanya nya issue nya apakah mirip lambda.
Hari Achmadtadi nanya nya issue nya apakah mirip lambda.
bisa jadi beda isunya, jangan disamakan
kalau lambda, cold start-nya karena model bisnisnya cold start ditanggung pengguna
Replymessage unavailable
Ссылка
click to show
click to show
Ollama ada keep alive: https://github.com/ollama/ollama/blob/main/docs/faq.mdx?hl=en-US#how-do-i-keep-a-model-loaded-in-memory-or-make-it-unload-immediately