Тестирование AI-продуктов: наши новые подходы для QA и SDET

AI-системы меняют привычную модель тестирования: одинаковые сценарии дают разные результаты, тесты теряют надёжность, а фиксированные ожидания больше не отражают качество продукта. Классические подходы QA перестают работать - и командам приходится искать новые способы сохранять контроль. В докладе я покажу практические подходы к тестированию AI-driven функциональности в условиях недетерминированности: как проектировать тесты для вариативного поведения, что оставлять на ручную проверку, а что автоматизировать, и как валидировать результат, когда «ожидаемый ответ» не фиксирован. Разберём работу с тестовыми данными, формирование критериев качества и разницу автотестов, eval и бенчмарков. Также обсудим, как и когда работать с бенчмарками самим. Доклад основан на реальном опыте и будет полезен QA и SDET, работающим с AI-функциональностью.