Оптимизация интерактивного тестирования с использованием метрики Покрытие кода

Embed Size (px)

DESCRIPTION

Доклад посвящен исследованию возможности оптимизации количества запускаемых интерактивных тестов базируясь на оценке покрытия. Как пример, приведены результаты, которых мы достигли в нашей компании — обоснованное уменьшение количества запускаемых тестов с ~900 до ~130. Также освещены некоторые аспекты работы с метрикой «покрытие кода».

Citation preview

  • 1. 06/2010

2.

3.

4. 5. 6. Q&A 7.

  • ~ 30000

8. ~ 900 . - (~100). 9. ( ,, ,) .

  • java API( public classes / methods ,protected classes / methods ,classes / methods private ) .

10. native . 11.

  • - ( )

12. (.. ) - . 13. (.. AB != BA) . 14. .

  • Public+protected methods in core classes ( 95-100%)

15. Blocks in public+protected methods in core classes ( 90-100%) 16. Private methods in core classes( 70) 17. Blocks in private methods in core classes ( 70) 18. Methods (% - )Blocks (% - ) Auto SQE +Auto compatibility + Interactive compatibility 53 36 Interactive SQE 83 73 All compatibility +All SQE 86 76 SQEinteractive native java.Compatibility - ( SQE ) . 19. : ( - ) X: Y: : 20. : ( - ) X: Y: :- :- ( - ) 21. : :

  • -

22. - ~130 (Interactive SQE) (Uniqueinteractive SQE) . ( ) (%) ( )(%) (%) Interactive SQE Java 83 73 N/A Native N/A N/A 59 Uniqueinteractive SQE Java 47 45 N/A Native N/A N/A 50 : 25% java( !) 9% native( !) 23. : II compatibility (%) (%) (%) automated + interactive compatibility + interactive SQE Java 85 76 N/A Native N/A N/A 71 automated + interactive compatibility + Uniqueinteractive SQE Java 73 57 Native N/A N/A 69 : 12% java 2% native 24.

  • -

25. 6 (c~800 ~130) . 26.

  • ,

! . !