테스트가 초록불인데 안전장치는 꺼져 있었다. 안전선을 하나씩 일부러 망가뜨려 확인하는 법.

테스트가 전부 통과하면 안심하게 됩니다. 저도 그랬습니다.

그런데 어느 날 확인해 보니, 제가 믿고 있던 안전장치 중 하나는

아무것도 검사하지 않고 있었습니다. 조건식이 항상 참이라 늘 통과했던 것입니다.

이 글은 그런 테스트를 찾아내는 방법에 대한 실제 기록입니다.

방법 자체는 간단합니다 — 안전선을 일부러 망가뜨리고, 테스트가 잡는지 본다.

망가뜨렸는데 테스트가 통과하면, 그 자리에는 검사가 없는 것입니다.

간단하지만 저는 이걸 제대로 하기까지 세 번 실패했습니다.

직관으로 몇 개만 골라 검사하다가 정작 무력한 것을 놓쳤고,

도구를 만들고 나서는 그 도구 때문에 안전장치가 꺼진 채 남는 사고까지 겪었습니다.

그 과정을 전부 적었습니다.

이런 분께 도움이 됩니다.

· 테스트는 많은데 정말 안전한지 확신이 안 서는 분

· AI에게 테스트를 맡겼는데 그게 실효가 있는지 모르겠는 분

· 커버리지 숫자는 높은데 버그가 계속 나오는 분

· 검증 도구를 만들었지만 그 도구를 검증해 본 적은 없는 분

이 글에 담긴 것

· 통과하는데 아무것도 안 하는 테스트

· 방법 — 일부러 망가뜨린다

· 이 방법이 실제로 잡아낸 것

· 🔴 도구가 만든 사고 — 이 글의 진짜 교훈

· 어떻게 시작하나

· 자주 나오는 질문

· 정리