Python Indonesia

aneh, hahaha, coba dicek filenya sama atau beda 😆

belum tentu, kalau cuma tempat numpang taruh file

Kuantisasi paling

iya bisa jadi nama modelnya nggak lengkap 😆

Kuantisasi itu apa?

Ollama jg runtimenya make llama.cpp yg emg lebih performant dipanding pytorch yg dipake transformers

Asli itu copas. Memang namanya itu 😅

ada definisi quantization di artikel ini @DitaAjiPratama 😅

berarti llama.cpp memang lebih bagus kah?

ollama kan semacem wrapper llama.cpp

Cek sendiri deh kak source nya. Memang namanya ga ada buntutannya 🙂

Bobot modelnya kan biasanya float32 ato float16, dipindah jadi representasi yg bitnya lebih dikit kayak int8, int4 lebih dikit bit= model lebih kecil dan operasi lebih kenceng. Tradeoffnya kemampuan modelnya turun

Kalau yg cepet int4 bukan? saya setting pakai float16. Karena saya ga tau juga gunanya buat apa 🥲

bisa lebih cepet lg kalo make yg lebih dikit bitnya, tapi ya makin bodoh modelnya int8 paling bagus tradeoffnya kalo nyari yg masih mendekati model aslinya

Bit sama Parameter hal yg berbeda kan ya?

makanya dibaca artikel di atas 😅

Ingin rasanya nongkrong bahas AI ketemu langsung

yuk2 meetup Jakarta 😁

Parameter itu ya bobot2nya (bisa juga ngacu ke hal lain), setiap bobot direpresentasiin dengan sejumlah bit, kan komputer ngolahnya binary ya tipe data biasa aja, float32, float16, etc etc

kayak di fungsi Python, parameter itu tipenya apa 😁

Kak, yg komunitas build ai itu ada ketemuannya juga kah tiap bulan? atau kyk ada basecamp-nya mungkin