22 preguntas de la entrevista de prueba A/B y cómo responderlas

Hemos visto a los candidatos triunfar en las entrevistas de prueba A/B tanto como hemos visto a los candidatos responder las preguntas de la entrevista de una manera que los hizo parecer menos calificados de lo que realmente estaban. Así que decidimos escribir este artículo para ayudarlo a hacerlo bien, ya sea que se dedique a la gestión de productos o a la ciencia de datos.

Si es el gerente de contratación, encontrará inspiración para las preguntas de la entrevista que lo ayudarán a descubrir qué tan bueno es realmente el candidato. Si usted es el entrevistado, encontrará lo que necesita para sobresalir en la entrevista.

¿Qué son las pruebas A/B?

Las pruebas A/B, también llamadas pruebas divididas, son un método para determinar cuál de las dos versiones de una función de producto, página web, elemento de campaña u otro activo funciona mejor para un objetivo determinado. Puede utilizar las pruebas A/B para mejorar el flujo de trabajo de desarrollo de productos, la interfaz de usuario (UI) o las tasas de conversión.

Un ejemplo clásico es hacer una prueba A/B con un botón en la parte inferior de una pantalla, con dos colores o palabras diferentes, que se muestra aleatoriamente entre el grupo de tratamiento y el de control. La prueba A/B rastrearía qué botón obtuvo más clics. Otro ejemplo sería probar dos flujos A/B en un producto donde el grupo de tratamiento ve una característica diferente que el grupo de control. El objetivo podría ser determinar qué función conduce a un mayor gasto en la aplicación durante dos semanas después de usar la función.

Cómo diseñar preguntas de entrevista de prueba A/B

Concéntrese en lo que está tratando de entender sobre el conocimiento y las habilidades del candidato.

¿Necesita saber más sobre cómo diseñarían una prueba o cómo analizarían los resultados? ¿Tiene muchos problemas de datos para limpiar, o necesita a alguien que se sienta cómodo con un software de prueba A/B específico para que pueda comenzar a trabajar?

Con roles de gestión de productos, concéntrese en cómo toman decisiones

Indague sobre cómo el candidato toma decisiones basadas en datos, combine y use los datos mientras analiza, o cómo aplica la intuición. Por ejemplo, hable sobre cómo el candidato definiría un efecto mínimo detectable (MDE), el efecto más pequeño que podría tener y que sigue siendo importante para usted como empresa.

Con roles de ciencia de datos, enfóquese en habilidades estadísticas

El científico de datos del equipo deberá estar allí para garantizar que los experimentos se configuren correctamente. Las preguntas deben ser sobre pruebas de hipótesis, intervalos de confianza o valores p.

Diseña preguntas que sean relevantes para el día a día de tu empresa

La experimentación y el análisis no son iguales para todos. Cada empresa tiene retos diferentes. Centrarse en aquellos específicos de su propio contexto de prueba lo ayudará a encontrar candidatos que comprendan su industria. Por ejemplo, estos desafíos específicos podrían ser que su empresa:

• Tiene un tamaño de muestra pequeño porque estás en B2B
• Se centra en datos a largo plazo sobre los ingresos que se acumulan durante dos meses después de que se mostró por primera vez la nueva característica.
• Tiene que sortear los supuestos de independencia que se rompen debido a los efectos de las redes sociales.

Utilizar estudios de casos

Combine preguntas de metodología con preguntas de casos de negocios. Los casos deben estar muy relacionados con tu propio día a día. Esto ayuda aún más en el esfuerzo por descubrir cómo el candidato podría aplicar el conocimiento general de las pruebas A/B en el contexto específico de su empresa.

Haga preguntas abiertas y haga preguntas incompletas por diseño

Dejar que el candidato hable libremente mientras responde la pregunta le muestra su proceso de pensamiento. Además, hacer que el candidato piense qué información le falta es una forma de aprender más sobre cómo resuelven problemas en el mundo imperfecto. Si en su mayoría hiciera preguntas con una sola respuesta correcta, no aprendería lo suficiente sobre el entrevistado.

Alinee sus preguntas con el proceso de prueba A/B

Haga preguntas en el mismo orden lógico que el utilizado en las pruebas A/B. Comience con el diseño de las pruebas A/B antes de pasar a la medición, el análisis de resultados y la toma de decisiones. Este enfoque ayuda tanto al entrevistador como al entrevistado a mantener el rumbo cuando la entrevista se alarga.

Haga preguntas que se centren en la capacidad de aprendizaje

Encontrar un candidato que pueda adaptarse y aprender rápido lo ayudará cuando tenga dificultades para encontrar a alguien que pueda comenzar a trabajar. Con el competitivo mercado laboral, esto es cada vez más importante. Así que pregunta por:

• Cómo resolvieron un desafío cuando no tenían todas las habilidades o recursos que deseaban tener
• Cómo arreglaron un error que cometieron
• Cómo se adaptaron a una nueva tendencia
• ¿Qué les ayudó a aprender una nueva herramienta?

Discutir la industria y las tendencias de las pruebas A/B

Evalúe el conocimiento de sus candidatos sobre cómo evolucionan las pruebas A/B para su industria. Podrá escuchar sus ideas únicas y al mismo tiempo ver cómo conectan su trabajo con el panorama general. Esto también ayuda a descubrir la personalidad del candidato. Incluso es posible que tengan una conversación que les apasione y les conecte.

22 ejemplos de la vida real de preguntas de entrevistas de pruebas A/B, y qué buscar en las respuestas

A continuación se muestra una muestra representativa de las preguntas que hemos hecho o nos han hecho en las entrevistas de prueba A/B. Como empresa de optimización digital, nuestras preguntas tienen un ligero sesgo hacia el contexto del uso de pruebas A/B para crear y hacer crecer un producto.

Encontrará preguntas y sugerencias de respuesta tanto para la gestión de productos como para los roles de científico de datos, y preguntas que asumen que el proceso de contratación ya verificó el conocimiento básico de las pruebas A/B. También encontrará que las preguntas aplican los consejos de la sección anterior.

Diseño y montaje de experimentos

Puede comenzar su entrevista con preguntas fundamentales sobre las mejores prácticas A/B, tales como:

• ¿Cuáles son las condiciones ideales para las pruebas A/B?
• ¿Qué deberías probar?
• Si las pruebas A/B no son una opción disponible, ¿cómo respondería a una pregunta?
• ¿Por cuánto tiempo realizarías un experimento?

Preguntas como estas harán que un candidato capaz se caliente y se sienta más cómodo. Luego, las respuestas deben demostrar que el candidato tiene conocimientos tanto teóricos como prácticos, y confirmar que hablan el mismo idioma.

Herramientas de prueba A/B

El siguiente lote de preguntas puede centrarse en las herramientas del comercio:

• ¿Qué software de pruebas A/B recomienda y por qué, según su propia experiencia?
• ¿Cómo haría para aprender una nueva herramienta de prueba A/B como Amplitude Experiment?

Las excelentes respuestas demostrarán que el entrevistado tiene experiencia de primera mano con herramientas comunes. Si tienen una respuesta clara sobre cómo suelen aprender una nueva herramienta, sabrás que lo han hecho antes. Finalmente, si le hacen una pregunta y se preguntan acerca de sus propias herramientas, eso podría indicar que están listos para comenzar a trabajar.

Resolución de problemas de experimentación

A continuación, considere hacer preguntas sobre cómo lidiar con los problemas que surgen durante los experimentos:

• ¿Cómo lidia con los problemas de tamaño de muestra pequeño?
• ¿Qué problemas podrían afectar los resultados de las pruebas A/B en los ciclos de desarrollo de nuestro producto?
• ¿Cómo mitigar los problemas?
• ¿Cómo diseñamos la prueba para minimizar la interferencia entre el control y el tratamiento?

Las respuestas a estas preguntas deben provenir de un conocimiento esencial de la ciencia de datos y demostrar que el candidato comprende conceptos tales como calculadoras de tamaño de muestra, tiempo de prueba o establecimiento de hipótesis que son claras. Las respuestas también deben demostrar que el candidato piensa en mitigar los problemas de manera estructurada y proactiva.

Escenarios comunes de pruebas A/B

En el lote final de nuestras preguntas sobre el diseño y la configuración de experimentos, le recomendamos que se centre en escenarios comunes en su propia organización. Por ejemplo:

• Cuéntanos sobre una prueba A/B exitosa que hayas diseñado. ¿Qué intentabas aprender, qué aprendiste y cómo te ayudará la experiencia si trabajas para nosotros?
• A partir de su experiencia con el uso de nuestro producto, ¿qué mejoras sugeriría y qué experimentos configuraría para ellas?
• Digamos que queremos comparar la función A y la función B en un experimento para un flujo de usuario. ¿Cómo diseñaría esta prueba, dado lo que sabe sobre nuestro producto?
• ¿Cómo maneja las métricas a muy largo plazo en las que tiene que esperar dos meses para obtener su métrica, por ejemplo, cuando intenta probar cuánto dinero gastan las personas durante los dos meses posteriores a ver una función?

Análisis de datos y toma de decisiones.

El análisis arroja conclusiones que varían enormemente, dependiendo del proceso de pensamiento. Así que haz preguntas que te ayuden a entender el proceso de pensamiento del candidato:

• ¿Qué harías si tu experimento no es concluyente y se parece más a una prueba de AA? ¿Cómo analizaría los resultados de la prueba y qué investigaría?
• Cuando sabe que existe un efecto de red social y la suposición de independencia no se cumple, ¿cómo afecta su análisis y sus decisiones?
• En nuestra prueba A/B, los resultados no fueron estadísticamente significativos. ¿Cuáles son algunas razones potenciales para esto?
• ¿Qué hace cuando está probando dos métricas y pretende aumentar ambas, pero una aumenta con significancia estadística y la otra disminuye con significancia estadística?

Las excelentes respuestas mostrarán la capacidad del candidato para tomar decisiones sobre la implementación de pruebas, la creación de nuevos grupos de tratamiento y control, el procesamiento de pruebas contradictorias o las compensaciones entre métricas. Un enfoque viable que nos gusta ver en las entrevistas es pensar en ello como encontrar errores en la ingeniería, excepto desde la perspectiva de un científico de datos.

Flujos de trabajo y recursos

Nuestra lista de preguntas recomendadas concluirá con un lote sobre cómo el candidato gestiona el flujo de trabajo y los recursos:

• ¿Qué software recomiendan para informar sobre los resultados de los experimentos?
• ¿Qué herramientas integraría con su software de pruebas A/B para aprovechar los datos del experimento?
• ¿Qué nuevas contrataciones sugeriría para su equipo de pruebas A/B si ya tiene miembros del equipo para los roles X, Y, Z?
• ¿Qué funciones de su equipo de producto deberían participar en sus pruebas y cómo facilitaría su participación?

Las respuestas a estas deben probar la experiencia relevante de un gerente de producto y demostrar que el candidato está organizado.

Errores comunes en las preguntas de las pruebas A/B que se deben evitar

Si ha leído hasta aquí, está familiarizado con cómo diseñar preguntas de entrevista de prueba A/B y tiene una lista de preguntas de muestra que le darán una ventaja inicial. Si también evita los siguientes errores que comúnmente vemos en las entrevistas, estará en camino de hacer que la contratación o ser contratado sea un éxito:

Errores comunes de los gerentes de contratación al hacer las preguntas:

• Centrarse demasiado en preguntas computacionales y no averiguar lo suficiente sobre el conocimiento del candidato sobre la industria, los casos de uso o los procesos.
• Hacer preguntas con una respuesta correcta en lugar de hacer preguntas abiertas que permitan al candidato expresarse.
• Hacer preguntas genéricas que no dan la oportunidad de discutir el contexto de su organización

Errores comunes de los candidatos al responder las preguntas:

• Mostrar tus habilidades técnicas pero no mostrar tu lado creativo o tu proceso de pensamiento analítico.
• Hablar de su experiencia previa sin hacer que las respuestas sean pertinentes al contexto de la empresa que lo está contratando.
• Centrarse en una sola herramienta que usó, sin mostrar interés en aprender nuevas herramientas

Combine la nueva posición de prueba A/B con las mejores herramientas

Una nueva contratación o trabajo lo capacitará para hacer un gran trabajo, si también tiene el mejor software. Te invitamos a seguir adelante y aprender cómo analizar los resultados de las pruebas A/B en Amplitude Analytics, o cómo ejecutar pruebas en Amplitude Experiment. También puede revisar nuestra lista de las 11 principales herramientas de prueba A/B disponibles hoy.

Referencias:

• Braze: A/B frente a pruebas multivariadas: cuándo usar cada una
• Hubspot: Cómo hacer pruebas A/B: 15 pasos para la prueba dividida perfecta
• Ajustar: todo lo que necesita saber sobre las pruebas A/B para aplicaciones móviles
• Tablero de productos: 7 lecciones aprendidas de 5 años de experimentación dirigida por productos
• Escuela de productos: Habilidades de gestión de productos: Pruebas A/B