система vs беспорядок

[e_lenka]

У нас есть сотрудник с Украины (из фирмы вендора), он работает отдельно от нас, но при этом всегда успевает в разы больше нас. Он постоянно находит какие-то крутые баги, выискивает хитрые ходы и так далее. Мои сотрудники-чехи решили узнать, как он это делает. Началось обсуждение. И я поняла, что это "наше" беспорядочное ad-hoc тестирование именно того, где вероятнее всего могут быть баги, чехам совершенно непонятно. Они считают, что у того украинца обязательно должна быть система: либо система виртуальных машин, на которых он может за короткое время протестировать много вариантов, либо система тестов, либо какая-то волшебная база данных, где созданы волшебные условия для тестирования. Удивительно, но чехи совершенно не верят, что это может быть просто опыт (о чем мне этот сотрудник не раз говорил) + тестирование практически наугад и знание, где что менялось.

В этой итерации мы попробовали провести регрессионные тесты без плана - примерно так, как это делает этот украинец. В итоге довольно много багов не были замечены. Получается, что чехи просто не созданы для беспорядочного тестирования и вообще работы. Им нужна система, структура, план. Они очень многого таким образом добиваются, но без плана разрастается беспорядок.

И еще я заметила, что один из наших словаков, очень толковый девелопер (к тому же постарше остальных), по методам работы очень похож на этого украинца. Он делает крутые штуки, но порой как раз порядка ему и не хватает.

Не знаю, может ли тут быть золотая середина :)

Comments

[-soleil-.livejournal.com]

Я про такое рассказывала на семинаре в прошлом году :) Идеальный вариант: проверить все по плану, а потом потратить еще немного времени на беспорядочное тыканье.
Но если чехи не понимаю, как это возможно, то с этим сложнее :)
Добудьте какое-нибудь обучение по exploratory testing, очень многие люди после структурировано поданного материала перестают относиться к ET как к анархии :)))

[http://users.livejournal.com/e_lenka_/]

Время на "беспорядочное тыканье" мы себе берем, и оно тоже дает какие-то результаты. Меня просто удивило, что они не понимают, как можно работать вообще без системы :)) При этом ad-hoc у нас нормально проходит в рамках процесса, в этом проблемы нет :)
Погляжу, что это за exploratory testing, спасибо :)

[http://users.livejournal.com/_fidget_/]

без привязки к тестированию у меня в команде есть супер организованный человек, который все делает по плану и любые формы хаоса повергают его в хаос. Причем все по плану в саппорте просто не возможно.
В итоге он просто работает над теми задачками, которые можно структурировать и упорядочить и делает он это хорошо и это нужно все команде.

[http://users.livejournal.com/e_lenka_/]

у нас все это примерно так же и работает: те, кому нужна структура, то есть чехи, тестируют все по плану и работают над тем, где нужен порядок. А этот украинец делает те тесты, какие считает нужными. То есть роли-то распределены, но когда чехи решили стать круче, оказалось, что они не понимают, как это :)

[http://users.livejournal.com/_fidget_/]

ну в нашем случае "круче" это не совсем тот эпитет, потому что так организованно работать почти никто не умеет, а это все-таки большой бонус. Если бы их можно было как-то смешать, так чтобы одним добавить немного способностей организовывать все, а некоторым прокачать устойчивость как неожиданным факапам и способность быстро на месте принимать решение - было бы вообще круто.

[http://users.livejournal.com/e_lenka_/]

да-да, вот и я о том, что нужна золотая середина, а ее как-то слишком сложно достичь, похоже, потому что люди либо так умеют работать, либо эдак.

[darkmag.livejournal.com]

(сорри за косноязычие и очепятки, писал быстро :) )

опыт, опыт, опыт.

почитай про систему принятия патчей в кернел. вкратце (и только то что связано) - я посылаю патч(-и) в какой-то публичный мэлинг лист (считай, на форум), на который многие "монстры" подписаны и читают всё подряд.

так вот, эти монстры (зачастую не помня кода) вылавливают при одном лишь взгляде (даже не применяя сам патч) такие ошибки, что никакой штаб тестеров вовек не найдет. просто опыт - они уже не раз с этим сталкивались, не раз видели как это проявляется, знают где искать, знают слабые стороны итд.

недавно с одним очень пробивным молчелом общался, в брно на конференцию приезжал. в его софтварной фирме они выкатывают проект за проектом за минимальные сроки - которые и не снились никаким стартапам.

говорит что перепробовал очень много методик разработки, и остановился на опыте NT-кернела (почитай про отель и виски, интересное чтиво :) ) - возьмем, как пример, простенький сайт с фронтендом, бэкендом, базой данных.

берется комманда из нескольких человек - один дизайнер ui/ux, один фронтенд-девелопер, один бэкенд-девелопер, один по базам данных, ну и сисадмин. за пару часиков набрасывают, как что где будет работать, без особой детализации (ну а что ещё можно за пару часиков решить :) ). потом берется один монстр на все руки - обычно очень опытный, разносторонний профи, который делает *всё* на хорошем уровне (который, конечно, ниже уровня узких специалистов, но всё же...). объясняется ему проект, и он за пару дней-неделю делает *всё* - и фронтэнд, и бэкенд, и сервера поставит-настроит, и бд распишет и поднимет. всё, конечно, сырое до ужаса, с багами итд. но (кое-как :) ) рабочее. т.е. выкатывает базу всего проекта. и отдает её той комманде профи, что набросала изначальную схему. каждый оттуда материться, но за пару дней доводит *свою* часть до вменяемого состояния - ибо база уже есть, все заимодействия между компонентами продуманы профи (который на этом собаку съел за весь свой опыт) - и вот тебе и первая бета. занимает всё, по опыту, от ТЗ до первой беты, от недели до трех. на достаточно крупный проект. что было бы, если бы проект составляла та комманда, думаю, понятно - за это время только бы примерное описание родилось, а не сам проект :).

так что опыт играет *огромную* роль во всем. очень похоже на образ мышления профессиональных шахматистов - они уже столько партий сыграли за карьеру, что почти любая ситуация у них уже была разыграна и разобрана, и они уже примерно представляют все сильные и слабые стороны, и как дальше ходить :).

[http://users.livejournal.com/e_lenka_/]

да-да, именно так этот наш украинец и работает. И я понимаю, как у него это получается, система мне понятна: он смотрит, думает, анализирует - и понимает, где может быть проблема. При этом какое-то тупое тестирование одного и того же по сто раз ему совершенно не интересно. Вот в том-то и дело, что мы это понимаем, а чехам это сложно понять :)
По поводу кернела - интересно, почитаю, спасиб :)

[svetasmirnova.livejournal.com]

А я не скажу, что здесь нет системы.

Ты же пишешь: "это может быть просто опыт (о чем мне этот сотрудник не раз говорил) + тестирование практически наугад и знание, где что менялось.". Начнём с конца. "Знание, где что менялось". Это уже немало! То есть человек сразу наугад тестирует там где нужно. Потом опыт. Ну я не знаю как объяснить, но когда даже я, ни разу не тестировщик, вижу программу, которая делает то-то и то-то, я сразу ожидаю, где может проявиться вот такой, обычно всеми забываемый, баг. Эта система, которую просто тяжело передать другим людям. Потому что где-то это интуиция в том смысле как её Фрейд объяснял, то есть все факты на лицо, но связывает их подсознание, а не сознание; где-то для того, чтобы баг таким образом отловить нужен багаж знаний как у этого гениалного человека и просто научить этому невозможно.

[http://users.livejournal.com/e_lenka_/]

Чехи тоже не тестируют все подряд, они выбирают как раз те области, в которых что-то менялось. И если делаются ad-hoc-тесты, то они делаются как раз именно в тех местах, где менялось. Просто украинец гораздо чаще такие вещи находит, а чехам тоже хочется, и они пытаются найти в этом нечто большее :) Чехи у нас тоже не лыком шиты, и тоже есть люди, которые знают, на что посмотреть. Просто у них даже в этом есть хотя бы какая-то более-менее определенная система. А у "наших" нету :)

[pan-2.livejournal.com]

http://www.folklore.org/StoryView.py?story=Monkey_Lives.txt

[http://users.livejournal.com/e_lenka_/]

:) у нас несколько другая система :)

[mr-gera.livejournal.com]

в первые годы работал по плану, потом понял, что приятнее работать быстро
просто быстро
по плану работать- надоедает. становится скучно, время тянется
сейчас, пока собирается проект на проекте, фиксятся баги на другом, потом я возвращаюсь к собранному, не забывая, на чем закончил педалинг еще в3-4 местах.
не потому что хочется проявить скорость, а потому, что эти полторы минуты ожидания сборки не заполнены ничем
за 12 лет работы, хочется, чтобы работа эта не дай Бог не приелась, не стала чем-то шаблонным, роботизированным

[http://users.livejournal.com/e_lenka_/]

планы могут быть разными. у нас деятельность довольно быстро сменяется, много новых фич, так что скучно бывает редко. плюс к тому бывает, что одновременно выходит сервис-релиз и новый релиз, так что тоже смена деятельности получается конкретная. то есть план вроде как и есть, но его составляющие разные - вот и не муторно. тут вопрос именно в том, что чехи работают по плану и им нужна структура какая-то, ну хотя бы какая-то. а наши - гораздо чаще полностью интуитивно.
по поводу нежелания надоедания работы - понимаю :)

[vikarnik.livejournal.com]

Ну что же, по крайней мере, не-чехи могут быть здесь успешны. :) Я тоже вечно на сайтах вендоров баги ловлю.

[http://users.livejournal.com/e_lenka_/]

Ага, у нас есть неоспоримые выгоды :)