Paweł Goleń, blog - Formularz komentarzy "Test early, test often"

Przemek Skowron: Test early, test often

nospam@example.com (Przemek Skowron) — Wed, 16 Sep 2009 12:14:39 +0200

O. Mam deja vu :-)

Paweł Goleń: Test early, test often

nospam@example.com (Paweł Goleń) — Wed, 16 Sep 2009 12:03:23 +0200

A ja pamiętam pewną sytuację, gdy młoda, głodna sukcesu osoba tworzyła nowy obszar biznesu użerając się przy tym i z IT i z bezpieczeństwem, wrzeszcząc, krzycząc, tupiąc i lobbując dostała to co chciała (góra była pod wrażeniem ładnych prezentacji w PP z animowanymi słupkami sięgającymi sufitu) i... po niezbyt długim czasie cały projekt został zakończony jako przynoszący straty i bez szans na rentowność w przewidywalnym czasie. Moja złośliwa natura poczuła ZŁĄ satysfakcję :)

Przemek Skowron: Test early, test often

nospam@example.com (Przemek Skowron) — Wed, 16 Sep 2009 11:56:05 +0200

Będę tendencyjny - jestem chory, wybaczcie. Zgadzam się z treścią wpisu Pawła, z komentarzami. Podobnie jak Paweł mam doświadczenie z różnych firm, z różnego punktu widzenia/siedzenia. Wydaje mi się, że dużo zależy od świadomości na różnych poziomach zarządzania w firmie. Świadomości, dojrzałości, kultury pracy i tej osobistej, często nastawienia, bo to nadal tylko ludzie. W środowisku pracy gdzie (pen)tester, określenie konsultant też bardziej mi odpowiada :), nie jest postrzegany jako wróg publiczny zupełnie inaczej wygląda jego praca i relacje z ludźmi. Konsultant nie tylko testuje, ale zwraca uwagę na złe wzorce, proponuje długodystansowe rozwiązania często pojawiających się błędów/problemów, czasami nawet szkoli szeroko pojętych programistów - o ile ma do tego umiejętności i predyspozycje. Paweł, wydaje mi się, że to o czym piszesz to SDLC, który często (w tej brutalnej/złej rzeczywistości) składa się z przykładowo następujących kroków: 1) biznes: potrzebujemy system X 2) it: ok, 40 dni (tak na oko) 3) biznes: system ma robić to, to, to i jeszcze to 4) it: :o ok! ... x) it: system jest dostępny pod tym adresem x+1) biznes: ale tutaj prawie nic nie działa... x+2) it: a co chcieliście w 40 dni? x+3) biznes: system na być gotowy na produkcji za 5 dni! ... y) it: (pen)testerze, możesz przetestować system X y+1) (pen)tester: ok, na kiedy, co to za system, ... y+2) it: jutro startujemy, a opis systemu to ma biznes, my to tylko napisaliśmy, oczekujemy OKejki, tylko szybko bo zabijasz biznes! Niestety to nie są praktyki z jednej czy dwóch firm. Tak i podobnie jest często. I jak tu nie stać się wrogiem publicznym? ;) Nie generalizując: nie wszędzie jest (aż) tak (źle) :)

Paweł Goleń: Test early, test often

nospam@example.com (Paweł Goleń) — Wed, 16 Sep 2009 07:22:43 +0200

Z OWASP jeszcze przydatny może być ASVS, istnieje również coś takiego jak OWASP Legal Project (http://www.owasp.org/index.php/Category:OWASP_Legal_Project). Poza tym z SANS Top25 można też skorzystać. Mnie ciekawi temat rozwiązywania/odstępowania od umów/kontraktów. Oczywiście odstąpić można zawsze, chodzi mi tu o takie odstąpienie, przy którym wina będzie po właściwej stronie. A do kategorii absurdów można zaliczyć testy akceptacyjne wykonywane przez pracowników dostawcy systemu albo testy bezpieczeństwa wykonywane przez zewnętrznych testerów ALE rękami dostawcy.

Marcin Gryszkalis: Test early, test often

nospam@example.com (Marcin Gryszkalis) — Wed, 16 Sep 2009 04:34:16 +0200

Co do ostatniego fragmentu - to ja zalecam takim zamawiającym zabezpieczenie się przed całą akcją, czyli umieszczenie w SIWZie/umowie warunków, aby aplikacja spełniała wymagania bezpieczeństwa (można się oprzeć o materiały z OWASP, normy 27001, ustawę o ochronie danych osobowych itd. - musi być dużo i szczegółowo, żeby wykonawca nie mógł olać), wydajności i użyteczności (usability) - idealnie gdy jako element testów akceptacyjnych będzie wykonanie testów tych 3 elementów przez niezależnego audytora. Jeśli tego nie zrobimy przed rozpoczęciem pracy to potem niestety możemy zostać na lodzie z aplikacją nadającą się do wyrzucenia - chyba, że zamówimy u dostawcy poprawkę i zapłacimy za nią z własnej kieszeni... Widziałem już umowy gdzie wykonawca zastrzegał sobie, że nikt nie ma prawa bez jego zgody przeprowadzać żadnych testów aplikacji. Na ile taka klauzula jest to zgodna z prawem nie podejmuję się wypowiadać - ale ładnie to pokazuje podejście niektórych dostawców.