Na koniec tygodnia postanowiłem opublikować wpis, który pokazuje jak bardzo niekiedy raporty z branży SEO/SEM bywają robione w, nazwijmy to, “niejasnych okolicznościach”.
Skontaktowała się ze mną dzisiaj osoba z branży turystycznej, która poprosiła o zwrócenie uwagi na brak widoczności w tytułowym zestawieniu dużej firmy z branży turystycznej – itaka.pl; firmy, która w poprzednich edycjach była ujmowana w zestawieniu.
Zdaniem tej osoby sytuacja była co najmniej dziwna – i ponieważ temat mnie zaciekawił postanowiłem przyjrzeć mu się z bliższa
Odszukałem w raporcie (znajdziecie go tutaj) metodologię badania – która bazowała na tzw. Searchmetrics Visibility Index
“Badanie i raport oparte są na danych pochodzących z narzędzia Searchmetrics – narzędzie bardzo ciekawe, opisywałem je jakiś czas temu na blogu. Używanym do porównań parametrem jest Searchmetrics Visibility Index. Należy się oczywiście wyjaśnienie, w jaki sposób wyliczany jest ten indeks widzialności w wynikach wyszukiwania Google (próba spolszczenia tego terminu). “
Odszukałem zatem branżę turystyczną, wbiłem na stronie Searchmetrics’a w wyszukiwarkę “itaka.pl” – a następnie wybrałem do porównania trzy firmy z zestawienia – zajmujące trzy ostatnie miejsca w rankingu – czyli odpowiednio 8,9 i 10.
Otrzymałem wykres, który mocno mnie zdziwił
Z wykresu jasno wynika, że itaka.pl faktycznie powinna znaleźć się w zestawieniu – i to co najmniej na 8 miejscu
Pomysłałem – “Nieźle…. Faktycznie coś jest nie tak”
Postanowiłem zrobić drugi wykres – który porównałby widoczność itaka.pl z firmami z miejsc 5, 6 oraz 7.
Otrzymałem następujący wykres …
Postanowiłem skontaktować się z …. firmą itaka.pl. Okazało się, że firma próbowała wyjaśnić z autorami raportu tę kwestię – otrzymała taką oto odpowiedź
„podczas prac nad zestawieniem wykorzystaliśmy listę serwisów z roku poprzedniego. Pozwoliło nam to na zachowanie ciągłości raportowania. Listę rozszerzyliśmy o serwisy, którym – według danych Searchmetrics – udało się osiągnąć znaczną widoczność na przestrzeni ostatniego roku.”
Zaraz, zaraz – skoro itaka.pl była w 2012 oraz 2013 w zestawieniu, i to na wysokich miejscach – to dlaczego nie ma jej teraz?
Wysłano pytanie w tej kwestii – uzyskana odpowiedź niestety “wyjaśnia wszystko”
„Analitycy, którzy analizowali dane pozyskane z Searchmetricsa zdecydowali, że nie wszystkie informacje zostaną wzięte pod uwagę. Bardzo możliwe, że obecny stan rzeczy jest konsekwencją powyższych działań.”
Mamy czarno na białym wybiórcze traktowanie danych – pojawia się od razu pytanie, kto na tym zyskał…..
Dla świętego spokoju wykorzystałem raz jeszcze Searchmetrics – tym razem do analizy pełnego dostępnego mi zakresu danych – czyli całego 2013 rok i 2014 roku – najpierw dla firm z 5,6 i 7 miejsca
A potem dla tych ostatnich – 8, 9 i 10 miejsce
Ostatni wykres zbija z nóg i automatycznie podważa moim zdaniem wairygodność badania
Nie wiem, jak dla Was – ale dla mnie raport SEO LeadBullet 2014 to w pewnym stopniu manipulacja wynikami badania, co automatycznie podważa całe zestawienie – bowiem skoro bazujemy na SEO Visibility Searchmetricsa, to bazujmy całościowo, a nie wybiórczo. Owszem widać wahnięcie na wykresie, ale summa summarum strona i tam powinna być co najmniej na 5/6 miejscu
Od lat podchodzę z dystansem do różnych zestawień, wiedząc np., że duże serwisy specjalnie dzielą artykuły na np. 10 części, tylko po to, aby mieć lepsze wskaźniki odsłon. Co innego jednak nabić sztucznie statystyki – a co innego zrobić zestawienie bazujące na danych, nie wiem jak je nazwać – “wybiórczych” chyba będzie dyplomatycznym określeniem
Moim zdaniem niekoniecznie było to zamierzone – walnęli byka, a teraz rżną głupa, że tak miało być 😉 No ale rzeczywiście – nie stawia to w dobrym świetle całego raportu.
Nie wiem, nie wiem -= nie podoba mi się to.
Punkt widzenia zależy od punktu siedzenia. Myślę, że jak każdy pragnący dokonać jakiegoś zestawienia, porównania, raportu, musi wcześniej przyjąć pewną metodologie. Tak pewnie też było w przypadku raportu Leadbulet. Każdy raport da się podważyć, jak i uznać za krystalicznie przejrzysty i wiarygodny.
Ryszard,
to po co robić raporty? Albo się jest obiektywnym, albo i nie – gdybym robił jakiś raport, po raz trzeci, OBOWIĄZKOWO sprawdziłbym, czy się trzymam założeń
I na pewno nie tłumaczył się w ten sposób….
Potwierdzam, że raport jest słaby. W branży ubezpieczeniowej również jest wielki fuckup. W finansach chyba również 🙂
Łukasz,
no to niezłe kwaitki – chyba jakiś praktykant robił ten raport, skoro jest, jak piszesz…
Ktoś zrobił dla sztuki (słaby content marketing) – tak bym to ocenił 🙂
Jak tak wygląda content marketing w firmie, która ma kreować branżę SEM, to ja dziękuję i … boję się myśleć, jak to wygląda w „zwykłej firmie”…
Seba brawo! Wreszcie ktoś pokazał praktyki jakie stosuje LeadBullet S.A. Zdecydowanie nie jest to przypadkowy błąd a zamierzona manipulacja a praktyka, którą opisałeś w artykule dotyczy nie tylko raportów cyklicznych ale przede wszystkim raportów dla klienta. Nie wspomnę o wypłatach z systemu Prolink. Czy strona publikująca i promująca ten raport odniesie się w jakikolwiek sposób do niniejszego wpisu? STOP MANIPULACJI!!!!
A co ma Prolink do tego?
Prolink jest częścią LB