AI под капотом: как построить надёжные автотесты для недетерминированных систем

AI-функциональность ведёт себя по-разному на каждом прогоне, и классические подходы к автоматизации быстро ломаются.В этом докладе я покажу, как строить надёжные автотесты для недетерминированных AI-фич, какие инструменты и подходы для этого использовать и с какими ограничениями и челленджами придётся столкнуться на практике. Мы обсудим: • как автоматизировать недетерминированные флоу и какие техники помогают стабилизировать такие сценарии; • ключевые принципы построения автотестов в системах с вариативным поведением; • как проверять результат, когда фиксированные ожидания не работают (где достаточно ассертов, а где нужны eval-подходы); • нюансы подбора тестовых данных для автотестов; • особенности стоимости AI-автотестов: токены, инфраструктура, параллелизация и поддержка. Доклад будет полезен для автоматизаторов и SDET, работающим с недетерменированными системами и стремящимся и сохранить контроль качества в условиях вариативности.