Пост📹 Testing AI: Beyond Test Cases

📹 Testing AI: Beyond Test Cases #testing #ai James Bach викатив відео про його думки й підходи до тестування систем з ШІ. ❓Про що там? • Тест-кейси з одним інпутом та одним очікуваним результатом не працюють для ШІ. • Треба генерувати багато варіантів (модифікацій) та перевіряти, що параметри системи зберігаються. • Концентруватись треба не на точкових проблемах, а не паттернах. Приклад: одна цятка на рослині не означає хворобу, а ось багато - свідчать про системну проблему. • Bach навайбкодив декілька інструментів - генератор варіацій вхідних значень, аналізатор схожості тесту, пошуковик суперечностей у відповідях • Основна думка - інструменти та скрипти повинні допомагати шукати проблеми у великих обсягах даних, а не замінювати мислення. 😏 І що з того? ШІ додає складності в тестування. Але й разом із тим, ШІ допомагає швидше кодити інструменти (навіть без глибокого знання програмування). Головне запитання - шо шукати та як? А вже потім вмикати агенти на повну потужність.