Storytelling with Data
Data Pipeline larda malumotlarni tekshirish (validatsiya qilish) juda muhim bolib, u pipeline jarayonining turli bosqichlarida amalga oshiriladi.
data analyst lar uchun pipeline larda validatsiya odatda ma'lumotlarni olish (ingestion, extract-load) bosqichidan keyin va malumotlarni modellashtirish (transform) jarayonidan song amalga oshiriladi.
ML pipeline larida esa, yuklab olingan malumotlarni validatsiya qilish ayniqsa muhim. Bu bosqichda notogri yoki sifatsiz malumotlarni aniqlash va yoq qilish amalga oshiriladi.
Muhimi, malumot validatsiyasini ML modelning validatsiyasi bilan aralashtirmaslik kerak. Malumot validatsiyasi kiruvchi malumotlarning sifatini tekshirishga qaratilgan bolsa, ML model validatsiyasi esa modelning ishlash samaradorligini baholash jarayonidir.
435 ·