Replymessage unavailable
coba cek ini: https://docs.vllm.ai/en/stable/cli/serve/?h=enforce+eager#-enforce-eager-no-enforce-eager
antara CUDA graph-nya ganggu atau tidak
28 May 2026
Irvan Putracoba cek ini: https://docs.vllm.ai/en/stable/cli/serve/?h=enforce+eager#-enforce-eager-no-enforce-eager
antara CUDA graph-nya ganggu atau tidak
aku sempat pertimbangin ini mas, tapi karena latency aku udah oke jadi aku pakai cuda graph. karena pertimbangan untuk concurrency request nya agar stabil. tapi dengan settingan skrg sebenar nya bisa stabil di VPS nya digital ocean, jadi seperti ga ada cold start gitu. tapi ada pertimbangan internal project yang kita ga bisa lanjut di digital ocean
Replymessage unavailable
Asumsi aku sekarang infra nya Runpod itu nerapin cold start gitu sih hehehehe. soal nya kalau DNS issue itu biasanya hitungan ratusan ms ga sampai gap nya hitungan detik
Hari Achmadaku sempat pertimbangin ini mas, tapi karena latency aku udah oke jadi aku pakai cuda graph. karena pertimbangan untuk concurrency request nya agar stabil. tapi dengan settingan skrg sebenar nya bisa stabil di VPS nya digital ocean, jadi seperti ga ada cold start gitu. tapi ada pertimbangan internal
nah ini makanya aku bingung, apakah isunya karena Runpod itu lebih mirip Lambda, atau lebih mirip VPS
kalau isunya karena Runpod lebih mirip Lambda, maka jelas ya solusinya pindah ke VPS, tinggal cari VPS mana yang cocok
kalau ternyata Runpod mirip seperti VPS, berarti aneh juga ketika di DigitalOcean nggak masalah 😆
Hari AchmadAsumsi aku sekarang infra nya Runpod itu nerapin cold start gitu sih hehehehe. soal nya kalau DNS issue itu biasanya hitungan ratusan ms ga sampai gap nya hitungan detik
cold start itu bukan diterapkan, alias disengaja, tapi efek samping dari model bisnisnya yaitu supaya murah tapi tetap aman, dimatikan kalau tidak terpakai
Irvan Putracold start itu bukan diterapkan, alias disengaja, tapi efek samping dari model bisnisnya yaitu supaya murah tapi tetap aman, dimatikan kalau tidak terpakai
iya maksud nya di sengaja mas, soal nya issue nya di DO itu availability nya jelek bgt, karena masih development kita kan on off gitu untuk pake nya. saat lagi butuh malah non available. nah nemu runpod ini availability nya bagus tapi kerasa bgt ada cold start nya
Replymessage unavailable
kadang gap sampai 10 detik - 20 detik di request pertama setelah ga ada request 5 menit
Replymessage unavailable
cold start itu bukan disengaja, kebanyakan provider akan berusaha meniadakannya dengan inovasi di tech stack-nya
karena provider juga nggak mau ada cold start sebenarnya
kalau kita mikirnya itu disengaja, jadinya seakan-akan cuma Runpod yang kayak gitu
tapi semua yang model bisnisnya seperti Runpod (lebih mirip Lambda, daripada VPS) akan menghadapi masalah yang sama
Irvan Putracold start itu bukan disengaja, kebanyakan provider akan berusaha meniadakannya dengan inovasi di tech stack-nya
karena provider juga nggak mau ada cold start sebenarnya
kalau kita mikirnya itu disengaja, jadinya seakan-akan cuma Runpod yang kayak gitu
tapi semua yang model bisnisnya seperti Runp
iya mas mau ta coba dulu di vast.ai
Hari Achmadkadang gap sampai 10 detik - 20 detik di request pertama setelah ga ada request 5 menit
bisa jadi KV cache nya belum keisi, klo masih kosong emng agak lama awal2. Kalau sudah keisi emng lebih cepet. Mungkin ini tiap 5 menit prompt atau data inputnya beda ya? klo gitu wajar krna KV cache nya masih belum ada untuk prompt yg baru
Replymessage unavailable
klo cuda graph hanya di proses booting LLM aja di vLLM, ngga akan pengaruh di tiap 5 menit sekali, cmn lama aja di awal load LLM sampe API nya ready
Replymessage unavailable
kalau KV cache berarti coba saja prompt yang sama terus, apakah masih per 5 menit bermasalah
M Razif Rizqullahklo cuda graph hanya di proses booting LLM aja di vLLM, ngga akan pengaruh di tiap 5 menit sekali, cmn lama aja di awal load LLM sampe API nya ready
aku juga bingung maksudnya per 5 menit, atau kalau sudah nggak lama nggak ada request, perlu nunggu 5 menit dulu
Hari Achmadtext not yet in the index
I see, lambda ya emang harus siasatin cold startnya
saya dulu simpel. Fungsinya ada percabangan khusus buat handle special payload yg lgsg return, terus pake servis terpisah buat berkala ngirim payload itu biar ga cold start
lupa namanya apa, tapi bawaan aws aja pokoknya, maybe ada ekivalennya buat luar aws
Irvan Putratext not yet in the index
Duh, jadi inget dulu pernah diminta debug container yang suka mati terus tiba2, saya mikirnya kejauhan kirain memory leak dari inference lah sampe profiling2, terus baru sadar pas baca confignya kalo pake spot 😂
dari bingung jadi "et dah ya iya lah tong"
Replymessage unavailable
yang mau dibikinkan BOT WA/Telegram dalam tujuan optimasi kerjaan, atau mau belajar n8n Japri, harga menyesuaikan
Replymessage unavailable
Ссылка
click to show
click to show
🚫 Roberto David tidak menyelesaikan verifikasi dalam waktu yang ditentukan.
Silakan hubungi robot untuk membuka pembatasan.
Replymessage unavailable
Ссылка
click to show
click to show
🚫 Olympus Sun tidak menyelesaikan verifikasi dalam waktu yang ditentukan.
Silakan hubungi robot untuk membuka pembatasan.
Replymessage unavailable
Ссылка
click to show
click to show
🚫 Kuswandi Nul tidak menyelesaikan verifikasi dalam waktu yang ditentukan.
Silakan hubungi robot untuk membuka pembatasan.
Replymessage unavailable
Ссылка
click to show
click to show
🚫 Fernando Silva tidak menyelesaikan verifikasi dalam waktu yang ditentukan.
Silakan hubungi robot untuk membuka pembatasan.
Replymessage unavailable
Ссылка
click to show
click to show
🚫 KGF KING tidak menyelesaikan verifikasi dalam waktu yang ditentukan.
Silakan hubungi robot untuk membuka pembatasan.