3亿学生，3000亿洞察——爱上教育数据
已发表: 2016-04-07Embibe 数据科学实验室的独家内幕
[这是我们如何使用深度技术和数据科学来个性化教育系列的第二部分]
我们以一个单一的愿景构建了 Embibe：最大限度地提高学习成果。 对用户的学习成果产生积极影响是一个难以解决但很重要的问题。 事实上，有许多不平凡的开放子问题，每一个都需要解决，以实现有意和积极影响学习成果的崇高目标。
但首先，什么是学习成果？ 我们为什么要关心他们？
在当今竞争激烈的世界中，衡量一个学生在很大程度上取决于她在竞争性考试甚至学校课堂上的得分。 她的分数会对她的职业选择产生重大影响。 出于本文的目的，让我们将学习成果构建为学生先天和可训练潜力的函数，以便在严格规定的时间限制内以最佳方式学习、吸收和应用内容； 这样她就可以在任何特定的竞争性学术环境中最大化她的分数。
在像印度这样的发展中国家，学生与教师的比例非常不平衡，教师无法在个人层面有效地提供个性化的关注。 鉴于每个学生以不同的速度学习和吸收信息并且具有不同的能力水平，这导致了一个两难境地。 教师无法提供个性化关注的一个已知副作用是，对于任何给定的教室/学生集合，学习材料总是为迎合“普通”学生而呈现。 因此，非常聪明的学生不能充分发挥他们的潜力，也无法真正发挥他们的学术力量，而学业较弱的学生将很难应付课堂上的其他部分。 然而，现有的在线学习平台和系统并不能真正促进学生层面的个性化学习。
大多数当前系统仅考虑学生如何将他们的解决方案与系统管理员指定的测试模块相匹配。 竞争性考试的个性化学习应该在有限的时间内最大限度地提高学生在任何学术目标上的分数。 个性化学习还应建设性地解决学生的能力差距，不仅在知识或能力水平上，而且在态度和行为水平上。 缺乏有效的个性化学习工具，专门为每个学生量身定制，导致她无法在任何给定的考试中发挥自己的潜力，从而获得尽可能高的分数。
在本文中，embibe 的数据科学团队将为需要解决的各种相互关联的数据相关问题奠定基础，以最大限度地提高学习成果，特别是提高分数。 这个问题有两个主要方面——内容摄取和内容交付。 每个维度都在许多领域提出了独特的挑战，这些领域肯定会让任何数据科学家着迷。
内容摄取
自动摄取内容
数十个教学大纲板、数千个章节和概念以及数以万计的机构和学校导致教师每年生成和使用数十万个问题和答案。 想象一下，如果每个学生都能够在任何子集或所有这些问题的考试前测试他们的知识，并获得有关正确答案和常见错误的详细解释。 为了实现这一目标，我们正在利用光学字符识别 (OCR) 和机器学习来构建我们自己的自动摄取框架，该框架将具有高度可扩展性、真正的多语言，并且对人工输入的依赖程度最低。 乐趣并不止于此。 该框架还将能够以与作者无关的方式摄取手写内容，从而迅速添加到我们已经非常棒的问题、答案、概念、解释和知识库中。
概念标记
好的，所以现在我们将问题、答案、概念和章节都纳入了一个庞大的数据仓库。 用相关概念手动标记每个问题或章节会很痛苦，反之亦然。 数据科学来拯救！ 我们使用来自文本分类、主题建模和深度学习的前沿思想，自动将概念标记为问题、答案和章节。
在 2015 年 12 月、2016 年 1 月和 2016 年 2 月，Embibe 用户使用 Learn 功能浏览的最流行概念精选。
我们先前的数据库包含高质量手动标记内容的种子集，这有助于我们提取语言、词汇和上下文相关的特征，为所有被摄入到我们的新数据中的新数据训练最先进的文本标记模型。系统。
元数据丰富
今天，网上有大量关于人们希望了解的主题的信息。 想法和概念是相互建立的。 例如，热力学第一定律与热力学系统的概念有关，而热力学系统又与气体的比热容、机械能守恒和气体所做的功等概念有关。 我们的内容摄取框架包括数据丰富组件，可自动抓取网络并使用文本解释、视频链接、定义、用户评论和论坛讨论等多种媒体标记内容，同时尊重版权，并正确归属来源内容的所有权. 这种丰富的可用信息也使得自动连接树结构中的相关概念成为可能。 利用图论、文本挖掘和稀疏结构上的标签传播领域的思想，我们在共享源→目标关系的概念之间创建链接和互连。
自动构建概念树，用于数学中的一个子集，每个概念都连接到一个或多个相关概念
相似问题聚类
如果你正在准备考试，你会想一遍又一遍地练习同一个问题吗？ 那不会有帮助。 相反，想象一下练习一小部分相关问题会非常有用，这将帮助你完全掌握一些新概念或新章节。 通过访问数十万个问题，我们开发了基于多个维度的相似性对问题进行聚类的能力——内容定位、概念测试、难度级别和考试目标等。
基于潜在语义信息空间的文本聚类，以及它们与其他分类和数字特征空间的结合，使我们能够将我们的问题领域精确地分组到可以使用 Embibe 为每个人定制的感兴趣的领域。 此外，我们已将这种丰富的文本数据资源转化为与概念集群相关的稳健数字特征空间，让我们稍微扰乱现有数据以生成问题空间的潜在无限表达。 运行时更多问题，前所未见！ 这使我们能够为用户在我们平台上花费的时间提供最大价值。
内容交付
用户分析
我们跟踪用户在 Embibe 上的一举一动。 我们的用户在过去三年中进行的数百万次实践和测试尝试是在数千维的数据空间中进行校准的。 这意味着我们可以挖掘数十亿数据点的空间，以深入挖掘用户的行为数据并生成与学习发生方式相关的见解。 用户的每一次额外尝试，都会调整她在标记到该尝试的概念以及相关的先前和后续概念上得分更高的能力。 这个超级复杂的问题涉及利用稀疏矩阵处理、图论中的计算算法和项目响应理论中的思想来构建稳健且自适应的用户配置文件，以适应我们不断增长的用户群。
为你推荐：
反暴利条款对印度初创企业意味着什么？
教育科技初创公司如何帮助印度的劳动力提高技能并为未来做好准备……
本周新时代科技股：Zomato 的麻烦仍在继续，EaseMyTrip 发布强...
印度初创公司走捷径寻求资金
数字营销平台 Logicserve 获得 80 卢比的资金，更名为 LS Dig...
报告警告对 Lendingtech Space 重新进行监管审查
一个有趣的条形图，显示了用户在 Embibe 上开始测试会话的时间（IST 中的小时数）。 医疗 (AIPMT) 用户在上午 10 点左右和下午 3 点到 5 点之间有一个明确的高峰。 另一方面，工程 (JEE) 用户显示，随着时间的推移，会话开始时间逐渐增加，在下午 4 点到 8 点左右达到峰值。 与 AIPMT 学生相比，JEE 学生在下午 5 点到凌晨 3 点之间开始的练习也更多。 我们猜测医生更有纪律！
我们在非常精细的级别上对用户活动进行广泛的检测和测量，使我们能够推断出与个人用户相关的学习风格相关的潜在偏好。 例如，某些学生可能会在视频解释的帮助下学习，然后在测试中表现得更好，而其他学生则喜欢广泛的文本描述，或者还有一些学生通过逐步解决示例问题来学习。 我们可以将用户映射到经过深入研究的学习风格理论模型，如 Dunn 和 Dunn 模型 (Dunn & Dunn 1989) 或 Gregorc 的思维方式模型 (Gregorc 1982)，以自动定制补习课程并帮助用户提高分数。
用户群组
队列是一个经典的聚类问题。 用户根据他们在产品特性方面的使用模式以及他们在测试、实践和修订会话方面的性能模式进行分组。 每个用户都映射到包含数千个属性的高维特征空间，其中包括静态和时间度量。 时间度量上的队列使我们能够通过根据初始活动为这些用户分配可能的队列轨迹来冷启动低活动和新用户。 用户群组是我们更高层次的深度科学功能（如微自适应学习、自动反馈生成和内容推荐）的核心要求。
用户群组的一种可能视图——与长期测试性能相关。 根据他们的整体测试分数，成就者是 Embibe 用户的最高百分位组，表演者是下一个组，战士是最后一个组。 显示的各个方面与我们将特征空间聚类到的分数改进的不同方面有关。 例如，我们可以看到，尽管 Facet_A 在不同群组之间存在显着差异，但通过针对其他学习方面的反馈并影响其他学习方面，有可能将用户推入下一个更高的群组。
微适应学习
一口大小的内容和反馈交付是有效在线学习的关键。 通常，用户在网上花费 30 分钟到一个小时，练习概念和问题。 在这么短的时间跨度内，最大化每个有时间限制的会话的影响是非常重要的。 每个会话都是用户最大程度地学习的资产，而这最好通过一口大小的策略来完成。 我们用于练习会话的微自适应引擎，将用户的个人资料和群组属性以及我们的 11,000 个（并且还在增长！）相互关联的概念的元属性的知识树作为输入，并确保问题排序、提供的提示和公正 -及时的智能在线反馈可以精确地适应用户，以提高她在任何小目标上的学习成果。 每一口内容或反馈的消费都会影响用户对我们广泛的概念知识树的熟练度校准。 稀疏矩阵处理技术、项目响应理论和图算法指导学习的微观适应性。
很明显，熟能生巧，但我们还是决定算一算。 上图显示了用户的平均分数提高，对于那些花时间在我们的自适应练习课程上的用户进行的连续测试，以及那些不花时间的用户。 在 Embibe 上练习的用户在测试测试中的得分始终比不练习的用户高出近 10%。
反馈和推荐系统
Embibe 的反馈和推荐系统（我们已经在其上申请了专利）是为一个目的而设计和构建的——最大限度地提高用户的分数。 我们在练习和测试会话期间检测和解释有关用户尝试的数千个信号，并将这些信号转换为每个用户的数千个特征的高维空间。 在我们庞大的用户尝试特征空间上使用统计模式挖掘，我们已经将排名参数集归零，这些参数集可以积极提高用户的分数。 这些参数被机器编码为分数改进反馈的高度针对性的即时胶囊，并在用户继续练习时传递给用户。 反馈和建议揭示了她可以用来最大化她的分数的弱点和策略。
上图显示了当用户接触并意识到常见的考试陷阱时，我们针对分数提高的高度针对性的即时反馈胶囊如何影响学生的表现。 图（a）显示了完美尝试的平均次数在连续测试中增加。 完美尝试是在规定时间内正确回答的尝试。 图 (b) 显示了在连续测试中浪费尝试的平均次数减少。 浪费的尝试是在学生有更多时间可以用来思考问题的情况下被错误回答的尝试。 图（c）显示了平均主题准确度不平衡在连续测试中下降。 受试者准确度不平衡被定义为用户参加的任何测试中所有受试者的最高准确度和最低准确度之间的差异。 较高的主题准确度不平衡意味着与其他主题相比，用户对某些主题的准备不足。
上图显示了使用我们反馈系统各个方面的用户在连续测试分数中的百分比增益。 从我们的平台以视频解决方案或整体测试反馈的形式获得帮助，会对测试分数产生积极影响，尤其是当用户完成更多测试时。
估计分数提高
对于准备任何形式的考试的用户来说，分数提高是影响学习成果的最重要方面。 我们丰富的行为数据使我们能够从用户过去的行为中学习，通过衡量他们在 Embibe 测试期间和之后的行为如何影响分数提高。 在各种用户群中对使用、活动和行为特征的统计模式进行数据挖掘，为我们提供了有科学依据的平台有效性证明。
上图显示了我们为每个用户构建的特征空间的一个子集。 对特征空间和整体归一化分数的互相关分析为我们提供了相对特征重要性的排序。 这与经验优势分析一起，使我们能够衡量每个特征对其对分数提高的贡献的影响量。 这些特征中最重要的特征的速度的适当加权组合使我们能够定量地为每个学生分配一个潜在分数提高的度量，这些学生在她使用平台时会适应她。
对于教育领域来说，这是激动人心的时刻，尤其是在印度和其他发展中国家。 迫切需要应用深度科学，重点关注使用数据及其可以提供的洞察力，以便将教育和学习提升到一个新的水平。 我们的内容摄取和交付平台是根据可靠的科学原理构建的，并正在帮助用户在有限的准备时间范围内以提高分数的形式实现 Embibe 的巨大价值。 我们的微自适应学习框架利用用户特定的反馈和建议，根据用户的群组分类和行为特征，为用户量身定制，让用户在 Embibe 上获得充实的体验。 这些是解决积极影响学习成果问题的第一个具体步骤。 这是个性化学习。
在这篇文章中，我们谈到了需要解决的各种子问题，以推动我们沿着影响学习成果的道路前进。 在我们的下一篇文章中，我们将讨论我们如何在 Embibe 测量和跟踪与我们的用户及其活动相关的各种指标，以便我们了解我们产品的脉搏、它的增长和它的有效性一个在线学习目的地。
我们一直在寻找邪恶的聪明人加入我们在数据科学实验室的行列。 如果你喜欢测试假设、运行回归、分解庞大的矩阵、面对大数据发笑、启动 map-reduce 工作、在凌乱的非结构化文本上构建主题模型、挖掘噪声数据以获得统计模式、从开放数据中摄取大量数据资源、争论 p 值、训练神经网络和深度信念网络、在 python 和 R 之间切换、旋转可视化和脚本 shell，你会喜欢这里的！
请将您的简历发送至 jobs.<id>@embibe.com，其中：
<id> 是由正态分布的概率密度函数值的前 8 个非零数字组成的数字，四舍五入到 19 位精度，并且
mu 是 Padovan 序列中的第 26 个数字，并且
sigma 是斐波那契数列中从 1 开始的第 17 个数字，并且
x 是第 1002 个素数
我们的团队由 Keyur Faldu（首席数据科学家）、 Achint Thomas（首席数据科学家）和Chintan Donda（数据科学家）组成。
参考
- 学习风格盘点。 堪萨斯州劳伦斯：价格系统。
- 格雷戈克 AF，（1982 年）。 思维风格模型：理论、原理和应用。 马萨诸塞州梅纳德：Gabriel Systems。
作为教育数据分析领域最重要的公司之一，Embibe 最近在市场上完成了 3 年。 仅在 2016 年 3 月，学生就在该产品上花费了超过 10 万小时，而对付费营销的投资为零。