การเดิมพันที่ปลอดภัยยิ่งขึ้นด้วยการเพิ่มประสิทธิภาพผลิตภัณฑ์ของคุณด้วย Analytics

ในฐานะผู้จัดการผลิตภัณฑ์ (PM) เราวางเดิมพันบนเส้นทางที่ดีที่สุดสำหรับผลิตภัณฑ์ของเรา แต่แค่โยนเงินทั้งหมดของคุณไปที่สิ่งเดียวไม่เพียงพอ PM จำเป็นต้องเข้าใจวิธีการวางเดิมพันที่ฉลาดที่สุดตั้งแต่แรก จากนั้นจึงพิจารณาว่าสิ่งใดใช้ได้ผลและสิ่งใดที่ไม่ปรับปรุงอัตราต่อรองสำหรับรอบต่อไป

ที่ Jumbo Interactive เรามักจะนึกถึงกลยุทธ์ผลิตภัณฑ์ในแง่ของการเดิมพันเชิงรุกและเชิงรับ Jumbo พัฒนาโซลูชันเพื่อมอบประสบการณ์การจับสลากที่ดีที่สุดในโลก และตอนนี้ฉันทำงานให้กับ Jumbo มาเป็นเวลากว่าหนึ่งปีแล้วในฐานะ PM ในด้านการเติบโต ในด้านการเติบโตของธุรกิจ การเดิมพันเกือบทั้งหมดของเราจะไม่เหมาะสม ดังนั้นฉันจึงสำรวจ เพิ่ม หรือเพิ่มประสิทธิภาพลูปการเติบโตของเราเพื่อให้พวกเขาหมุนได้ดีขึ้นและเร็วขึ้น

นายกเทศมนตรีต้องเข้าใจวิธีการเดิมพันอย่างชาญฉลาด และจากนั้นพิจารณาว่าสิ่งใดใช้ได้ผลและสิ่งใดที่ไม่ช่วยปรับปรุงอัตราต่อรองสำหรับรอบต่อไป

หนึ่งในผลิตภัณฑ์ของเราคือ Lotto Party ซึ่งเป็นวิธีให้เพื่อน ๆ ระดมเงินกันเพื่อลุ้นรางวัลใหญ่ Lotto Party จะคอยติดตามว่าใครมีส่วนสนับสนุนในการออกรางวัลงวดใดงวดหนึ่ง ด้วยวิธีนี้ หากปาร์ตี้ที่ชนะรางวัลใหญ่ ทุกคนจะได้รับการแจ้งเตือนและรับชิ้นส่วนของพายโดยอัตโนมัติ

แนวทางการเติบโตของจัมโบ้คือการดำเนินการตามวงจรการเติบโตของไวรัสที่จัดหาโดยผลิตภัณฑ์อย่าง Lotto Party สิ่งสำคัญคือต้องไม่เติบโตเป็นเส้นตรงเท่านั้น แต่ต้องเติบโตแบบทวีคูณ Lotto Party ให้การเติบโตแบบทบต้น: มีคนเชิญเพื่อนของพวกเขาให้เข้าร่วม จากนั้นกลุ่มย่อยของเพื่อนเหล่านั้นจะสร้างปาร์ตี้ล็อตโต้ของตนเองและเชิญเพื่อนเพิ่ม

เครื่องมือสร้างการเติบโตของจัมโบ้ประกอบด้วยวงจรการเติบโตแบบไวรัลหลายแบบ ซึ่งเสริมด้วยลูปโฆษณาแบบชำระเงิน: โฆษณาแบบชำระเงินจะสร้างลีดซึ่งสร้างทุน จากนั้นเราจะใช้จ่ายเงินเพื่อค้นหาลีดเพิ่มเติม จ่ายและไวรัล—ทั้งสองทำงานควบคู่กัน

เพื่อให้การเดิมพันเหล่านี้มั่นใจ ขับเคลื่อนการค้นพบและวัดความสำเร็จของเรา เราพึ่งพา Amplitude เราพบว่าผู้ใช้ที่ใช้งานรายเดือนใน Lotto Party เพิ่มขึ้น 40% ในปีที่ผ่านมา ซึ่งส่วนใหญ่มาจากข้อมูลเชิงลึกที่เราได้รับจาก Amplitude Analytics, Amplitude Experiment และ Amplitude Audiences

Analytics ช่วยให้ทุกคนมีข้อมูลตรงกัน

สิ่งสำคัญที่เราทำกับ Analytics คือการวัดตัวชี้วัดชั้นนำและตัวบ่งชี้ที่ล้าหลังของเรา ตัวชี้วัดสำคัญอย่างหนึ่งที่เราตรวจสอบสำหรับ Lotto Party คือจำนวนกลุ่มที่สร้างขึ้น เนื่องจากกลุ่มใหม่หมายถึงจุดสิ้นสุดของลูปและการเริ่มต้นของกลุ่มใหม่ คนที่เริ่มกลุ่มใหม่เป็นผู้เข้าร่วมปาร์ตี้ล่าสุดหรือไม่? ที่ช่วยให้เราเข้าใจกลไกการเติบโตของเพื่อน

แต่ไม่ใช่แค่ฉันที่ดูข้อมูลนี้ใน Analytics เท่านั้น แต่เป็นข้อมูลทั่วทั้งบริษัท ทีมวิศวกรทุกคนที่ฉันทำงานด้วยสามารถเข้าถึงแดชบอร์ดและแผนภูมิของฉันได้ และฉันขอแนะนำให้พวกเขาดูบ่อยๆ ฉันจัดการพื้นที่ทีมของพวกเขา และฉันสร้างโน้ตบุ๊กสำหรับทุกการเดิมพันที่เราวาง ฉันจะใส่การวิเคราะห์ทั้งหมดลงในสมุดบันทึกนั้นเพื่อให้ทีมวิศวกรตรวจสอบ

ฉันยังทำวิดีโอสั้นๆ ของ Loom สำหรับแดชบอร์ดหรือแผนภูมิใน Analytics เพื่ออธิบายอย่างรวบรัดว่าข้อมูลใดอาจเป็นข้อมูลที่ซับซ้อน ฉันแบ่งปันสิ่งเหล่านี้กับทุกคน รวมถึงวิศวกร นักวิเคราะห์ข้อมูล นายกเทศมนตรีคนอื่นๆ ผู้บังคับบัญชาของฉัน และผู้บังคับบัญชาของเจ้านายของฉัน แทนที่จะพยายามกำหนดเวลาการประชุมแปดครั้ง ฉันสามารถแชร์วิดีโอการวิเคราะห์ความยาว 4 นาทีกับทุกคนได้ ทุกคนสามารถเห็นสิ่งที่ฉันทำ ผลลัพธ์ของงานนั้น และช่วยให้ข้อสันนิษฐานของเราแม่นยำยิ่งขึ้นเกี่ยวกับวิธีที่ผู้ใช้ใช้ผลิตภัณฑ์จริงๆ

การทดลองบอกเราว่าการลงทุนใดที่คุ้มค่าต่อการลงทุนทั้งหมด

สิ่งที่เราเห็นใน Analytics จะนำไปสู่การทดสอบ A/B ในการทดสอบโดยธรรมชาติ การทดสอบเหล่านี้ช่วยให้เราสร้างข้อความสมมุติฐาน พิจารณาว่าเป็นจริงหรือเท็จ จากนั้นจึงรู้ว่าควรรวมทั้งหมดไว้ที่ใด (หรือจะถอนกลับจากที่ใด) การทดลองช่วยเพิ่มความมั่นใจในการวางเดิมพันโดยเฉพาะ เพราะมันทำให้เราวิเคราะห์ความเสี่ยงและผลประโยชน์ได้อย่างชัดเจน

เราเริ่มต้นด้วยการสร้างเอกสารการออกแบบการทดลองที่เราอธิบายปัญหาและให้หลักฐานสนับสนุนมากที่สุดเกี่ยวกับปัญหาและโอกาสที่เป็นไปได้ จากนั้นเราจะเขียนสมมติฐานและเรียกเมตริกหลัก ซึ่งโดยทั่วไปเราจะอธิบายว่าเป็นเมตริกการแลกเปลี่ยน ในการทดสอบส่วนใหญ่ เรายังแสดงรายการเมตริกรองบางรายการด้วย ข้อมูลดังกล่าวจะกำหนดลักษณะความสำเร็จหรือความล้มเหลว ตลอดจนขนาดตัวอย่างที่เราต้องการสำหรับนัยสำคัญทางสถิติ ซึ่งจะกำหนดระยะเวลาการทดสอบ

เอกสารการออกแบบการทดสอบให้คำจำกัดความที่ชัดเจนเกี่ยวกับสิ่งที่เรากำลังทดสอบใน Experiment นอกจากนี้ยังช่วยเราจัดลำดับความสำคัญของการทดลอง การทดลองนานสามเดือนค่อนข้างช้า หากเรารู้ว่าการทดสอบจะใช้เวลานานขนาดนั้น จะดีกว่าถ้าทำการทดสอบสองสัปดาห์ให้พ้นทางก่อนที่เราจะเริ่มการทดสอบที่ยาวขึ้น

การออกแบบการทดลองมีความสำคัญ เพราะเราต้องการสร้างทุกอย่างที่รวดเร็ว สกปรก และราคาถูก เราต้องการดึงข้อมูลบางอย่างออกมาโดยเร็วที่สุดเพื่อให้เราสามารถรวบรวมข้อมูลได้มากขึ้น และการลงทุนเริ่มแรกให้น้อยที่สุดเท่าที่จะเป็นไปได้ช่วยให้เราสามารถทดสอบได้อย่างกว้างขวางและสร้างอย่างชาญฉลาด

การลงทุนครั้งแรกให้น้อยที่สุดเท่าที่จะเป็นไปได้ช่วยให้ทีมผลิตภัณฑ์สามารถทดสอบได้อย่างครอบคลุมและสร้างอย่างชาญฉลาด

ตัวอย่างหนึ่งจาก Lotto Party คือการขาดความสามารถในการค้นพบผลิตภัณฑ์ ผู้ใช้ส่วนใหญ่บนแพลตฟอร์มอยู่ในสิ่งที่เราเรียกว่าประสบการณ์ "เล่น" และ Lotto Party ถูกแยกออกจากประสบการณ์นั้นอย่างเป็นธรรม ถ้าเรานำ Lotto Party มาสู่ประสบการณ์การเล่นมากขึ้น มันจะมีผลกระทบอย่างไร? การย้ายดังกล่าวจะต้องได้รับการยกระดับอย่างมากจากวิศวกรรมและการลงทุนที่สำคัญด้วยเหตุนี้

แนวความคิดในการทดลองของเราทำให้ทุกคน ไม่ว่าจะเป็นผลิตภัณฑ์ วิศวกรรม คำถามและคำตอบ ใครก็ตามที่เกี่ยวข้องกับกระบวนการ คิดเกี่ยวกับการปรับปรุงการทดลองนี้เพื่อให้ได้ข้อมูลเชิงลึกที่ดีที่สุดจากการลงทุนที่น้อยที่สุด ในการทดลอง เราเห็นว่าการรวม Lotto Play เข้ากับประสบการณ์การเล่นนั้นเพิ่มยอดขายให้กับ Lotto Party ได้เกือบสองเท่า และเพิ่มจำนวนกลุ่มที่สร้างได้มากกว่าสองเท่า การลงทุนเพิ่มเติมในเรื่องนี้ไม่ใช่เรื่องง่าย

ผู้ชมเพิ่มมูลค่าการทำธุรกรรมด้วยรถเข็นส่วนตัวมากขึ้น

เราใช้กลุ่มเป้าหมายเพื่อให้คำแนะนำเกี่ยวกับรถเข็นอย่างชาญฉลาดยิ่งขึ้น ซึ่งเรารวมไว้ในอีเมลและขั้นตอนการซื้อด้วย ไม่ว่าจะเป็นสิ่งที่ผู้ใช้เคยซื้อหรือกำลังจะซื้อ เราขอเสนอผลิตภัณฑ์เพิ่มเติมที่พวกเขาอาจชอบ หรือคำแนะนำ เช่น "เล่นตั๋วนี้ซ้ำที่คุณเคยเล่นมาก่อน" เป็นแนวคิดที่ชาญฉลาดกว่าสำหรับคำถามคลาสสิกนั้น "คุณต้องการมันฝรั่งทอดกับมันไหม" ผู้ชมรู้ว่าลูกค้ารายนี้ไม่ต้องการมันฝรั่งทอด—แต่พวกเขาชอบมิลค์เชค ค่อนข้างยากที่จะสร้างเฟรมเวิร์กอัลกอริทึมของเราเองเพื่อค้นหาความต้องการของผู้ใช้ แต่ Amplitude จัดหามาให้เรา

ยิ่งคำแนะนำเฉพาะบุคคลมากเท่าใด ผู้ใช้ก็ยิ่งมีโอกาสเลือกมากขึ้นเท่านั้น

คำแนะนำใน Audiences ซึ่งขับเคลื่อนโดย Amazon Personalize สามารถชำระเงินด้วยตนเองได้อย่างง่ายดาย ยิ่งคำแนะนำเฉพาะบุคคลมากเท่าใด ผู้ใช้ก็ยิ่งมีโอกาสเลือกมากขึ้นเท่านั้น Jumbo รู้เรื่องนี้เพราะเรามีตำแหน่งรถเข็นก่อนที่เราจะเริ่มใช้กลุ่มเป้าหมาย และตำแหน่งเหล่านั้นก็ทำงานได้ดีขึ้นมากตั้งแต่นั้นเป็นต้นมา

ประมาณแปดเดือนที่แล้ว ฉันมีแนวคิดเกี่ยวกับผลิตภัณฑ์ในตำแหน่งรถเข็นของเรา ก่อนหน้านี้ ตำแหน่งในรถเข็นมุ่งเน้นไปที่กลุ่มย่อยของผลิตภัณฑ์ที่เกี่ยวข้องกับการจับฉลากเพื่อการกุศล แต่ฉันต้องการที่จะขยายไปยังผลิตภัณฑ์ทั้งหมดของเรา และให้ผู้ชมตัดสินใจเลือกสิ่งที่ดีที่สุดสำหรับลูกค้าแต่ละราย ดูเถิด เราเห็นการเพิ่มขึ้นในจำนวนคลิกและมูลค่าธุรกรรม ด้วยกลุ่มเป้าหมาย ยิ่งคุณมีตัวเลือกมากเท่าใด คุณก็จะยิ่งเข้าถึงผู้คนมากขึ้นเท่านั้น

รักษาผู้ใช้ที่มีอยู่และเดิมพันอย่างชาญฉลาดเพื่อชนะใหม่

การปรับเปลี่ยนในแบบของคุณนั้นมีความสำคัญต่อการผสานรวมของ Amplitude กับ Braze ซึ่งเราใช้สำหรับการส่งข้อความ หากคุณนึกถึงกลไกขับเคลื่อนการเติบโตของเรา เรามีวงจรการได้มาซึ่งสร้างลูกค้าทั้งหมดเหล่านี้ แต่อีกด้านหนึ่งซึ่งเป็นแกนหลักของเครื่องมือของเรา—คือการรักษาลูกค้าและการมีส่วนร่วม และนั่นคือสิ่งที่ Braze ตั้งอยู่ การรู้เท่าทันการส่งข้อความถึงผู้ใช้อย่างชาญฉลาดยิ่งขึ้นทำให้เกิดความแตกต่าง และการรู้ช่องทางที่ถูกต้องก็สำคัญไม่แพ้กัน หากบุคคลนั้นใช้แอปใดแอปหนึ่งบ่อยๆ การส่งการแจ้งเตือนแบบพุชหรือข้อความในแอปอาจเหมาะสมกว่าอีเมล

Braze อยู่ที่นั่นเพื่อช่วยให้เราวนลูปนิสัยต่อไป เรากำหนดวงจรนิสัยในฐานะลูกค้าที่เป็นผู้เล่นที่ใช้งานอยู่เป็นเวลาสองเดือนหลังจากเปิดใช้งาน หากพวกเขาเล่นเป็นเวลาสองเดือน พวกเขาจะกลายเป็นผู้เล่นที่คุ้นเคย เราใช้ Braze เพื่อกระตุ้นการวนซ้ำของนิสัยเหล่านั้นและทำให้มันหมุนต่อไปเพื่อขับเคลื่อนการรักษาของเรา แต่ในการทำเช่นนี้ เราจำเป็นต้องมีข้อมูลที่ดีที่สุดที่ไหลเข้าสู่ Braze Analytics ช่วยให้เราทำได้โดยการสร้างกลุ่มที่ชาญฉลาดขึ้นและปรับแต่งเนื้อหาให้เป็นส่วนตัว ยิ่งเราสามารถเจาะจงเกี่ยวกับเนื้อหานี้ เวลา และการนำเสนอได้มากเท่าไหร่ ผลลัพธ์ของแคมเปญเหล่านั้นก็จะยิ่งดีขึ้นเท่านั้น

ฉันได้เรียนรู้มากมายจากการทำงานที่จัมโบ้ และฉันมีมุมมองใหม่เกี่ยวกับการเติบโต การทำงานกับ Amplitude ก็ได้รับชัยชนะอย่างมากเช่นกัน เราจะไม่เห็นการเพิ่มขึ้นของผู้ใช้งานรายเดือนสำหรับ Lotto Party หากไม่มี Amplitude แพลตฟอร์มช่วยให้เราสามารถวางเดิมพันที่ฉลาดที่สุด