Тестирование автопилота: как заставить нейросеть признаться в ошибке?

Всем привет! Я тут на днях разбирала баг в системе распознавания объектов для автопилота, и меня осенило: мы как QA привыкли гонять код, но что делать, когда «код» — это чёрный ящик с весами и градиентами? Как вы проверяете ML-модели в продакшене? У меня есть пара идей, но хочется услышать ваш опыт. Например, я сейчас собираю датасет с «провокационными» сценариями: туман, дождь, внезапные препятствия. Но как понять, что модель не просто запомнила ответы, а реально обобщает? И кто отвечает за метрики — мы или дата-саентисты? Может, пора внедрять property-based testing для нейронок? Короче, вопрос к сообществу: какие методы вы используете, чтобы проверить, что ML-система не выдаёт «уверенный» бред? И как вы документируете такие тесты, чтобы потом не стыдно было показать аудиторам? Жду ваших мыслей, особенно если у кого-то есть реальные кейсы с фейлами автопилотов 😉