22 Întrebări de interviu de testare A/B și cum să le răspundeți

Am văzut candidați care au testat interviuri A/B la fel de mult pe cât i-am văzut pe candidați răspunzând la întrebările de la interviu în moduri care i-au făcut să pară mai puțin calificați decât erau cu adevărat. Așa că am decis să scriem acest articol pentru a vă ajuta să faceți bine, indiferent dacă vă ocupați de managementul produselor sau știința datelor.

Dacă ești managerul de angajare, vei găsi inspirație pentru întrebările de interviu care te vor ajuta să descoperi cât de bun este cu adevărat candidatul. Dacă sunteți intervievatul, veți găsi ceea ce aveți nevoie pentru a susține interviul.

Ce este testarea A/B?

Testarea A/B, numită și testare divizată, este o metodă de a determina care dintre cele două versiuni ale unei caracteristici a unui produs, a unei pagini web, a unui element de campanie sau a altui material are performanțe mai bune pentru un anumit obiectiv. Puteți utiliza testarea A/B pentru a îmbunătăți fluxul de lucru de dezvoltare a produsului, interfața cu utilizatorul (UI) sau ratele de conversie.

Un exemplu clasic este testarea A/B a unui buton din partea de jos a ecranului, cu două culori sau verbiaj diferite, afișate aleatoriu între grupul de tratament și grupul de control. Testul A/B ar urmări ce buton a primit mai multe clicuri. Un alt exemplu ar fi testarea A/B a două fluxuri într-un produs în care grupul de tratament vede o caracteristică diferită de grupul de control. Scopul ar putea fi acela de a determina ce funcție duce la o cheltuială mai mare în aplicație timp de două săptămâni după utilizarea funcției.

Cum să creați întrebări de interviu de testare A/B

Concentrați-vă pe ceea ce încercați să înțelegeți despre cunoștințele și abilitățile candidatului

Trebuie să știți mai multe despre cum ar proiecta un test sau cum ar analiza rezultatele? Aveți de curățat multe probleme de date sau aveți nevoie de cineva care să se simtă confortabil cu un anumit software de testare A/B, astfel încât acesta să poată începe?

Cu rolurile de management de produs, concentrați-vă pe modul în care iau decizii

Analizați modul în care candidatul ia decizii bazate pe date, combină și utilizează datele în timp ce analizează sau cum aplică intuiția. De exemplu, vorbiți despre modul în care candidatul ar defini un efect minim detectabil (MDE), cel mai mic efect pe care l-ați putea avea și care este încă important pentru dvs. ca afacere.

Cu roluri de știință a datelor, concentrați-vă pe abilitățile statistice

Specialistul de date din echipă va trebui să fie acolo pentru a se asigura că experimentele sunt configurate corect. Întrebările ar trebui să fie despre testarea ipotezelor, intervalele de încredere sau valorile p.

Creați întrebări care sunt relevante pentru zi de zi a companiei dvs

Experimentarea și analiza nu sunt unice pentru toate. Fiecare companie are provocări diferite. Concentrarea pe cele specifice propriului context de testare vă va ajuta să găsiți candidați care vă înțeleg industria. De exemplu, aceste provocări specifice ar putea fi faptul că compania dvs.:

• Are o dimensiune mică a eșantionului, deoarece sunteți în B2B
• Se concentrează pe date pe termen lung despre veniturile care se acumulează la peste două luni după ce noua caracteristică a fost afișată pentru prima dată
• Trebuie să rezolve ipotezele de independență care se sparg din cauza efectelor rețelelor sociale

Folosiți studii de caz

Asociați întrebările de metodologie cu întrebările de business case. Cazurile ar trebui să fie strâns legate de propria voastră zi de zi. Acest lucru ajută și mai mult în efortul de a afla cum ar putea candidatul să aplice cunoștințele generale de testare A/B în contextul specific al companiei dumneavoastră.

Puneți întrebări deschise și faceți întrebări incomplete prin proiectare

Lăsând candidatul să vorbească liber în timp ce răspunde la întrebare, vă arată procesul de gândire. În plus, a-l face pe candidat să se gândească la ce informații le lipsesc este o modalitate de a afla mai multe despre cum rezolvă problemele din lumea imperfectă. Dacă ai adresa în mare parte întrebări cu un singur răspuns corect, nu ai afla suficient despre intervievat.

Aliniați întrebările cu procesul de testare A/B

Puneți întrebări în aceeași ordine logică ca și în ordinea folosită în testarea A/B. Începeți cu proiectarea testelor A/B înainte de a trece la măsurare, analiza rezultatelor și luarea deciziilor. Această abordare ajută atât intervievatorul, cât și intervievatul să rămână pe drumul cel bun atunci când interviul devine mai lung.

Puneți întrebări care se concentrează pe capacitatea de învățare

Găsirea unui candidat care se poate adapta și învăța rapid te va ajuta atunci când te străduiești să găsești pe cineva care poate da drumul la sol. Cu piața competitivă a muncii, acest lucru este din ce în ce mai important. Deci intreaba despre:

• Cum au rezolvat o provocare atunci când nu aveau toate abilitățile sau resursele pe care și-ar fi dorit să le aibă
• Cum au remediat o greșeală pe care au făcut-o
• Cum s-au adaptat la un nou trend
• Ce i-a ajutat să învețe un nou instrument

Discutați tendințele din industrie și de testare A/B

Evaluați gradul de conștientizare al candidaților despre modul în care testările A/B evoluează pentru industria dvs. Veți putea auzi ideile lor unice și, de asemenea, veți vedea cum își leagă munca cu imaginea de ansamblu. Acest lucru ajută și la descoperirea personalității candidatului. S-ar putea chiar să aveți o conversație de care amândoi vă veți pasiona și vă veți conecta.

22 de exemple din viața reală de întrebări de interviu de testare A/B - și ce să cauți în răspunsuri

Mai jos este un eșantion reprezentativ de întrebări pe care le-am pus sau am fost adresate în interviurile de testare A/B. În calitate de companie de optimizare digitală, întrebările noastre au o ușoară părtinire față de contextul utilizării testării A/B pentru a construi și a dezvolta un produs.

Veți găsi întrebări și sfaturi pentru răspunsuri atât pentru managementul produsului, cât și pentru rolurile de data scientist, precum și întrebări care presupun că procesul de angajare a verificat deja cunoștințele de bază despre testarea A/B. Veți descoperi, de asemenea, că întrebările aplică sfaturile din secțiunea anterioară.

Experimentați proiectarea și configurarea

Puteți începe interviul cu întrebări fundamentale despre cele mai bune practici A/B, cum ar fi:

• Care sunt condițiile ideale pentru testarea A/B?
• Ce ar trebui să testezi?
• Dacă testarea A/B nu este o opțiune disponibilă, cum ați răspunde la o întrebare?
• Cât timp ai derula un experiment?

Întrebări ca acestea îl vor face pe un candidat capabil să se încălzească și să se simtă mai confortabil. Răspunsurile ar trebui apoi să demonstreze că candidatul are cunoștințe atât teoretice, cât și practice și să confirme că vorbiți aceeași limbă.

Instrumente de testare A/B

Următorul lot de întrebări se poate concentra pe instrumentele comerciale:

• Ce software de testare A/B recomandați și de ce, pe baza propriei experiențe?
• Cum ați proceda pentru a învăța un instrument de testare A/B mai nou, cum ar fi Amplitude Experiment?

Răspunsurile excelente vor demonstra că persoana intervievată are experiență de primă mână cu instrumente comune. Dacă au un răspuns clar despre modul în care învață de obicei un nou instrument, vei ști că l-au mai făcut. În cele din urmă, dacă pun o întrebare înapoi și se întreabă despre propriile instrumente, asta ar putea indica că sunt gata să dea drumul.

Rezolvarea problemelor de experimentare

Apoi, luați în considerare să puneți întrebări despre cum să faceți față problemelor care apar în timpul experimentelor:

• Cum te descurci cu problemele legate de dimensiunile mici ale eșantionului?
• Ce probleme ar putea afecta rezultatele testelor dvs. A/B în ciclurile de dezvoltare ale produsului nostru?
• Cum atenuați problemele?
• Cum proiectăm testul pentru a minimiza interferența dintre control și tratament?

Răspunsurile la aceste întrebări ar trebui să provină din cunoștințele esențiale ale științei datelor și să demonstreze că candidatul înțelege concepte precum calculatoarele de dimensiunea eșantionului, sincronizarea testelor sau stabilirea de ipoteze care sunt clare. Răspunsurile ar trebui să demonstreze, de asemenea, că candidatul se gândește la atenuarea problemelor într-o manieră structurată și proactivă.

Scenarii comune de testare A/B

În ultimul lot de întrebări despre proiectarea și configurarea experimentului, vă recomandăm să vă concentrați asupra scenariilor comune în propria organizație. De exemplu:

• Povestește-ne despre un test A/B de succes pe care l-ai conceput. Ce încercați să învățați, ce ați învățat și cum vă va ajuta experiența dacă lucrați pentru noi?
• Din experiența dvs. în utilizarea produsului nostru, ce îmbunătățiri ați sugera și ce experimente ați configura pentru acestea?
• Să presupunem că vrem să comparăm caracteristica A și caracteristica B într-un experiment pentru un flux de utilizatori. Cum ați proceda despre proiectarea acestui test, având în vedere ceea ce știți despre produsul nostru?
• Cum te descurci cu valorile pe termen foarte lung în care trebuie să aștepți două luni pentru a obține valoarea, de exemplu când încerci să testezi câți bani cheltuiesc oamenii în cele două luni după ce au văzut o funcție?

Analiza datelor și luarea deciziilor

Analiza conduce la concluzii care variază foarte mult, în funcție de procesul de gândire. Așadar, puneți întrebări care vă vor ajuta să înțelegeți procesul de gândire al candidatului:

• Ce ai face dacă experimentul tău nu este concludent și arată mai mult ca un test AA? Cum ați analiza rezultatele testelor și ce ați analiza?
• Când știți că există un efect de rețea socială și ipoteza de independență nu este valabilă, cum vă afectează analiza și deciziile?
• În testul nostru A/B, rezultatele nu au fost semnificative statistic. Care sunt unele posibile motive pentru aceasta?
• Ce faci atunci când testezi două valori și urmărești să le crești pe ambele, dar una crește cu semnificația statistică, iar cealaltă scade cu semnificația statistică?

Răspunsurile grozave vor arăta capacitatea candidatului de a lua decizii cu privire la lansarea de teste, crearea de noi grupuri de tratament și control, procesarea dovezilor contradictorii sau compromisurile între valori. O abordare viabilă pe care ne place să o vedem în interviuri este să ne gândim la asta ca la găsirea unor erori în inginerie, cu excepția perspectivei unui cercetător de date.

Fluxuri de lucru și resurse

Lista noastră de întrebări recomandate se va încheia cu un lot despre modul în care candidatul gestionează fluxul de lucru și resursele:

• Ce software recomandati pentru raportarea rezultatelor experimentului?
• Ce instrumente ați integra cu software-ul dvs. de testare A/B pentru a utiliza datele experimentului?
• Ce angajări noi ați sugera pentru echipa dvs. de testare A/B dacă aveți deja membri ai echipei pentru rolurile X, Y, Z?
• Ce roluri din echipa dvs. de produse ar trebui să fie implicate în testele dvs. și cum le-ați facilita implicarea lor?

Răspunsurile la acestea ar trebui să dovedească experiența relevantă a unui manager de produs și să arate că candidatul este organizat.

Greșeli frecvente la întrebările de testare A/B de evitat

Dacă ați citit până aici, sunteți familiarizat cu cum să creați întrebări de interviu de testare A/B și aveți o listă de întrebări exemple care vă vor oferi un avans. Dacă eviți, de asemenea, următoarele greșeli pe care le vedem în mod obișnuit în interviuri, vei fi pe cale să reușești angajarea sau angajarea:

Greșeli frecvente ale managerilor de angajare atunci când pun întrebările:

• Concentrarea prea mult pe întrebările de calcul și nu aflarea suficientă despre cunoștințele candidatului despre industrie, cazuri de utilizare sau procese
• Puneți întrebări cu un răspuns corect în loc să puneți întrebări deschise care să-i permită candidatului să se exprime
• Puneți întrebări generice care nu oferă posibilitatea de a discuta contextul organizației dvs

Greșeli frecvente ale candidaților atunci când răspund la întrebări:

• Arătându-ți abilitățile tehnice, dar fără a-ți arăta latura creativă sau procesul de gândire analitică
• Vorbește despre experiența ta anterioară fără a face răspunsurile pertinente pentru contextul companiei care te angajează
• Concentrându-vă doar pe un singur instrument pe care l-ați folosit, fără a vă manifesta interes pentru a învăța instrumente noi

Asociați noua poziție de testare A/B cu instrumentele de top

O nouă angajare sau un loc de muncă vă va da puterea să faceți o muncă grozavă, dacă aveți și cel mai bun software. Vă invităm să continuați și să învățați cum să analizați rezultatele testelor A/B în Amplitude Analytics sau cum să rulați teste în Amplitude Experiment. De asemenea, puteți consulta lista noastră de 11 instrumente de testare A/B de top astăzi.

Referinte:

• Braze: A/B vs. Testare multivariată: Când să folosiți fiecare
• Hubspot: Cum se face testarea A/B: 15 pași pentru testul perfect Split
• Ajustare: tot ce trebuie să știți despre testarea A/B pentru aplicațiile mobile
• Productboard: 7 lecții învățate din 5 ani de experimentare condusă de produse
• Şcoala de produse: Abilităţi de management de produs: Testare A/B