22 pytania do rozmowy kwalifikacyjnej z testów A/B i jak na nie odpowiadać

Widzieliśmy kandydatów asów podczas rozmów kwalifikacyjnych A/B tak samo, jak widzieliśmy kandydatów odpowiadających na pytania podczas rozmowy kwalifikacyjnej w sposób, który sprawiał, że wyglądali na mniej wykwalifikowanych niż w rzeczywistości. Postanowiliśmy więc napisać ten artykuł, aby pomóc Ci zrobić to dobrze, niezależnie od tego, czy zajmujesz się zarządzaniem produktami, czy nauką o danych.

Jeśli jesteś kierownikiem ds. rekrutacji, znajdziesz inspirację do pytań do rozmowy kwalifikacyjnej, które pomogą Ci odkryć, jak dobry jest naprawdę kandydat. Jeśli jesteś rozmówcą, znajdziesz to, czego potrzebujesz, aby przeprowadzić rozmowę kwalifikacyjną.

Co to są testy A/B?

Testy A/B, zwane również testami dzielonymi, to metoda określania, która z dwóch wersji funkcji produktu, strony internetowej, elementu kampanii lub innego zasobu jest skuteczniejsza dla określonego celu. Możesz użyć testów A/B, aby poprawić przepływ pracy przy opracowywaniu produktu, interfejs użytkownika (UI) lub współczynniki konwersji.

Klasycznym przykładem jest test A/B przycisku na dole ekranu, z dwoma różnymi kolorami lub słownictwem, losowo wyświetlanymi między grupą leczoną a grupą kontrolną. Test A/B śledziłby, który przycisk uzyskał więcej kliknięć. Innym przykładem może być test A/B dwóch przepływów w produkcie, w którym grupa leczona widzi inną cechę niż grupa kontrolna. Celem może być ustalenie, która funkcja prowadzi do wyższych wydatków w aplikacji przez dwa tygodnie po użyciu funkcji.

Jak zaprojektować pytania do wywiadu testowego A/B

Skoncentruj się na tym, co próbujesz zrozumieć o wiedzy i umiejętnościach kandydata

Czy musisz wiedzieć więcej o tym, jak zaprojektowaliby test lub jak przeanalizowaliby wyniki? Czy masz dużo problemów z danymi do usunięcia, czy potrzebujesz kogoś, kto zna się na konkretnym oprogramowaniu do testowania A/B, aby mógł zacząć działać?

W przypadku ról zarządzających produktami skoncentruj się na tym, jak podejmują decyzje

Sonda, w jaki sposób kandydat podejmuje decyzje oparte na danych, łącz i wykorzystuj dane podczas analizy lub w jaki sposób stosuje intuicję. Na przykład porozmawiaj o tym, jak kandydat określi minimalny wykrywalny efekt (MDE), najmniejszy efekt, jaki możesz mieć, a który nadal jest ważny dla Ciebie jako firmy.

W przypadku ról związanych z analityką danych skoncentruj się na umiejętnościach statystycznych

Badacz danych z zespołu będzie musiał tam być, aby upewnić się, że eksperymenty są prawidłowo skonfigurowane. Pytania powinny dotyczyć testowania hipotez, przedziałów ufności lub wartości p.

Zaprojektuj pytania, które są istotne dla codziennej pracy Twojej firmy

Eksperymenty i analizy nie są uniwersalne. Każda firma ma inne wyzwania. Skupienie się na tych, które są specyficzne dla Twojego kontekstu testowania, pomoże Ci znaleźć kandydatów, którzy rozumieją Twoją branżę. Na przykład te konkretne wyzwania mogą polegać na tym, że Twoja firma:

• Ma małą próbkę, ponieważ jesteś w B2B
• Koncentruje się na długoterminowych danych o przychodach gromadzonych w ciągu dwóch miesięcy od pierwszego zaprezentowania nowej funkcji
• Musi obejść założenia niezależności, które łamią się z powodu efektów sieci społecznościowych

Użyj studiów przypadku

Połącz pytania dotyczące metodologii z pytaniami dotyczącymi uzasadnienia biznesowego. Przypadki powinny być ściśle związane z Twoją codziennością. To dodatkowo pomaga w wysiłkach, aby dowiedzieć się, w jaki sposób kandydat byłby w stanie zastosować ogólną wiedzę z testów A/B w konkretnym kontekście Twojej firmy.

Zadawaj pytania otwarte i twórz niekompletne pytania zgodnie z projektem

Pozwolenie kandydatowi na swobodne wypowiadanie się podczas odpowiadania na pytanie pokazuje jego proces myślowy. Ponadto skłonienie kandydata do zastanowienia się nad tym, jakich informacji mu brakuje, jest sposobem, aby dowiedzieć się więcej o tym, jak rozwiązują problemy w niedoskonałym świecie. Gdybyś najczęściej zadawał pytania z tylko jedną poprawną odpowiedzią, nie dowiedziałbyś się wystarczająco dużo o rozmówcy.

Dopasuj swoje pytania do procesu testowania A/B

Zadawaj pytania w tej samej kolejności logicznej, jak w przypadku testów A/B. Zacznij od zaprojektowania testów A/B, zanim przejdziesz do pomiarów, analizy wyników i podjęcia decyzji. Takie podejście pomaga zarówno ankieterowi, jak i rozmówcy pozostać na bieżąco, gdy rozmowa się wydłuża.

Zadawaj pytania, które koncentrują się na umiejętności uczenia się

Znalezienie kandydata, który potrafi się dostosować i szybko się uczyć, pomoże ci, gdy masz trudności ze znalezieniem kogoś, kto może zacząć działać. Na konkurencyjnym rynku pracy ma to coraz większe znaczenie. Zapytaj więc o:

• Jak rozwiązali wyzwanie, gdy nie mieli wszystkich umiejętności lub zasobów, których chcieli mieć?
• Jak naprawili popełniony błąd
• Jak przystosowali się do nowego trendu
• Co pomogło im nauczyć się nowego narzędzia

Omów trendy w branży i testach A/B

Oceń świadomość kandydatów na temat ewolucji testów A/B w Twojej branży. Usłyszysz ich wyjątkowe spostrzeżenia, a także zobaczysz, jak łączą swoją pracę z szerszym obrazem. Pomaga to również odkryć osobowość kandydata. Możesz nawet przeprowadzić rozmowę, w której oboje będziecie pasjonować i nawiążecie kontakt.

22 przykłady pytań z wywiadu testowego A/B z życia wzięte — i czego szukać w odpowiedziach

Poniżej znajduje się reprezentatywna próbka pytań, które zadaliśmy lub zadano nam podczas wywiadów testowych A/B. Jako firma zajmująca się optymalizacją cyfrową, nasze pytania są nieco nastawione na kontekst wykorzystywania testów A/B do tworzenia i rozwijania produktu.

Znajdziesz pytania i wskazówki dotyczące odpowiedzi zarówno na stanowiska związane z zarządzaniem produktami, jak i naukowcami danych, a także pytania, które zakładają, że proces rekrutacji zweryfikował już podstawową wiedzę z zakresu testów A/B. Przekonasz się również, że pytania odnoszą się do wskazówek z poprzedniej sekcji.

Projekt i konfiguracja eksperymentu

Możesz rozpocząć rozmowę kwalifikacyjną od podstawowych pytań dotyczących najlepszych praktyk A/B, takich jak:

• Jakie są idealne warunki do testów A/B?
• Co powinieneś przetestować?
• Jeśli testy A/B nie są dostępne, jak zamiast tego odpowiedziałbyś na pytanie?
• Jak długo byś przeprowadził eksperyment?

Takie pytania sprawią, że zdolny kandydat rozgrzeje się i poczuje się bardziej komfortowo. Odpowiedzi powinny następnie wykazywać, że kandydat posiada zarówno wiedzę teoretyczną, jak i praktyczną oraz potwierdzać, że mówisz tym samym językiem.

Narzędzia do testowania A/B

Kolejna partia pytań może koncentrować się na narzędziach handlu:

• Jakie oprogramowanie do testowania A/B polecacie i dlaczego, opierając się na własnym doświadczeniu?
• Jak byś podszedł do nauki nowszego narzędzia do testowania A/B, takiego jak Eksperyment Amplitudy?

Świetne odpowiedzi pokażą, że rozmówca ma doświadczenie z pierwszej ręki z popularnymi narzędziami. Jeśli mają jasną odpowiedź na temat tego, jak zwykle uczą się nowego narzędzia, będziesz wiedział, że robili to już wcześniej. Wreszcie, jeśli zadają pytanie i zastanawiają się nad własnymi narzędziami, może to oznaczać, że są gotowi do działania.

Rozwiązywanie problemów z eksperymentami

Następnie zastanów się nad zadawaniem pytań o to, jak radzić sobie z problemami, które pojawiają się podczas eksperymentów:

• Jak radzisz sobie z problemami o małej wielkości próbki?
• Jakie problemy mogą wpłynąć na wyniki testów A/B w cyklach rozwoju naszego produktu?
• Jak łagodzić problemy?
• Jak projektujemy test, aby zminimalizować zakłócenia między kontrolą a leczeniem?

Odpowiedzi na te pytania powinny pochodzić z podstawowej wiedzy z zakresu nauki o danych i wykazać, że kandydat rozumie pojęcia, takie jak kalkulatory wielkości próby, czas testu lub stawianie jasnych hipotez. Odpowiedzi powinny również wykazać, że kandydat myśli o łagodzeniu problemów w sposób uporządkowany i proaktywny.

Typowe scenariusze testów A/B

W ostatniej partii naszych pytań dotyczących projektowania i konfiguracji eksperymentu zalecamy skupienie się na scenariuszach typowych dla Twojej organizacji. Na przykład:

• Opowiedz nam o pomyślnym teście A/B, który zaprojektowałeś. Czego próbowałeś się nauczyć, czego się nauczyłeś i jak doświadczenie pomoże ci, jeśli będziesz dla nas pracować?
• Jakie usprawnienia zasugerowalibyście na podstawie Waszych doświadczeń w korzystaniu z naszego produktu i jakie eksperymenty zorganizowalibyście dla nich?
• Załóżmy, że chcemy porównać Cechę A i Cechę B w eksperymencie dla przepływu użytkownika. Jak byś zaprojektował ten test, biorąc pod uwagę to, co wiesz o naszym produkcie?
• Jak radzisz sobie z bardzo długoterminowymi wskaźnikami, w których musisz poczekać dwa miesiące, aby uzyskać swoje dane, na przykład, gdy próbujesz przetestować, ile pieniędzy ludzie wydają w ciągu dwóch miesięcy po obejrzeniu funkcji?

Analiza danych i podejmowanie decyzji

Analiza dostarcza wniosków, które bardzo się różnią, w zależności od procesu myślowego. Zadawaj więc pytania, które pomogą Ci zrozumieć proces myślowy kandydata:

• Co byś zrobił, gdyby Twój eksperyment nie był rozstrzygający i bardziej przypominał test AA? Jak przeanalizowałbyś wyniki testu i czym byś się przyjrzał?
• Kiedy wiesz, że istnieje efekt sieci społecznościowej, a założenie o niezależności nie jest aktualne, jak wpływa to na twoją analizę i decyzje?
• W naszym teście A/B wyniki nie były istotne statystycznie. Jakie są potencjalne tego przyczyny?
• Co robisz, gdy testujesz dwie metryki i chcesz zwiększyć obie, ale jedna wzrasta wraz z istotnością statystyczną, a druga maleje wraz z istotnością statystyczną?

Świetne odpowiedzi pokażą zdolność kandydata do podejmowania decyzji dotyczących wdrażania testów, tworzenia nowych grup terapeutycznych i kontrolnych, przetwarzania sprzecznych dowodów lub kompromisów między wskaźnikami. Jednym z wykonalnych podejść, które lubimy widzieć podczas wywiadów, jest myślenie o tym, jak o znajdowaniu błędów w inżynierii, z wyjątkiem perspektywy analityka danych.

Przepływy pracy i zasoby

Nasza lista zalecanych pytań zakończy się partią dotyczącą tego, jak kandydat zarządza przepływem pracy i zasobami:

• Jakie oprogramowanie polecacie do raportowania wyników eksperymentów?
• Jakie narzędzia zintegrujesz z oprogramowaniem do testów A/B, aby wykorzystać dane eksperymentu?
• Jakich nowych pracowników sugerowałbyś dla swojego zespołu testującego A/B, jeśli masz już członków zespołu do ról X, Y, Z?
• Jakie role w Twoim zespole produktowym powinny być zaangażowane w Twoje testy i jak ułatwiłbyś im zaangażowanie?

Odpowiedzi na nie powinny świadczyć o odpowiednim doświadczeniu product managera i pokazać, że kandydat jest zorganizowany.

Typowe błędy w pytaniach A/B, których należy unikać

Jeśli doczytałeś tak daleko, wiesz, jak zaprojektować pytania do rozmowy kwalifikacyjnej w ramach testu A/B, i masz listę przykładowych pytań, które dadzą Ci przewagę na starcie. Jeśli unikniesz również następujących błędów, które często widzimy podczas rozmów kwalifikacyjnych, będziesz na dobrej drodze, aby zatrudnienie lub uzyskanie zatrudnienia zakończyło się sukcesem:

Typowe błędy popełniane przez menedżerów zatrudniających podczas zadawania pytań:

• Zbytnie skupianie się na pytaniach obliczeniowych i niewystarczające poznanie wiedzy kandydata na temat branży, przypadków użycia lub procesów
• Zadawanie pytań z jedną poprawną odpowiedzią zamiast zadawania pytań otwartych, które umożliwiłyby kandydatowi wyrażenie siebie
• Zadawanie ogólnych pytań, które nie dają możliwości omówienia kontekstu Twojej organizacji

Częste błędy kandydatów przy odpowiadaniu na pytania:

• Pokazywanie swoich umiejętności technicznych, ale nie pokazywanie swojej kreatywnej strony lub analitycznego procesu myślowego
• Mówienie o swoich poprzednich doświadczeniach bez wiązania odpowiedzi z kontekstem firmy, która Cię zatrudnia
• Skupienie się tylko na jednym używanym narzędziu, bez wykazywania zainteresowania nauką nowych narzędzi

Sparuj nową pozycję testowania A/B z najlepszymi narzędziami

Nowy pracownik lub praca umożliwi Ci wykonanie wspaniałej pracy, jeśli masz również najlepsze oprogramowanie. Zachęcamy do kontynuowania i nauki analizowania wyników testów A/B w Amplitude Analytics lub przeprowadzania testów w Amplitude Experiment. Możesz również przejrzeć naszą listę 11 najlepszych narzędzi do testowania A/B już dziś.

Bibliografia:

• Lutowanie: A/B a testowanie wielowymiarowe: kiedy używać każdego?
• Hubspot: Jak przeprowadzać testy A/B: 15 kroków do idealnego testu podzielonego
• Dostosuj: wszystko, co musisz wiedzieć o testowaniu A/B aplikacji mobilnych
• Tablica produktowa: 7 lekcji wyciągniętych z 5 lat eksperymentów opartych na produktach
• Szkoła Produktu: Zarządzanie Produktem Umiejętności: Testy A/B