事实核查和人工智能幻觉| 商业人工智能#110

已发表: 2024-05-06

我们追踪了人工智能异常的根源，提供了如何避免异常的实用技巧，并解释了事实核查如何确保人工智能结果的可靠性。 请继续阅读。

事实核查和人工智能幻觉 - 目录

什么是人工智能幻觉？
幻觉的例子
如何预防出现幻觉？
事实核查。如何验证人工智能的工作成果？
如何从人工智能幻觉中受益？
事实核查和人工智能幻觉 - 摘要

在人工智能的世界中，虚构与现实之间的界限有时变得模糊。虽然创新的人工智能系统几乎在每个领域都在加速进步，但它们也面临着挑战，例如幻觉——人工智能产生不准确或虚假信息的现象。为了充分利用这项技术的潜力，我们需要了解幻觉并对其进行事实核查。

什么是人工智能幻觉？

人工智能幻觉是人工智能模型生成的错误或误导性结果。这种现象根源于机器学习的核心——算法使用巨大的数据集或训练数据来识别模式并根据观察到的模式生成响应的过程。

即使是最先进的人工智能模型也并非没有错误。产生幻觉的原因之一是训练数据的不完善。如果数据集不充分、不完整或有偏差，系统就会学习到不正确的相关性和模式，从而导致虚假内容的产生。

例如，想象一个主要针对白人照片进行训练的面部识别人工智能模型。在这种情况下，算法可能无法正确识别其他种族的人，因为它在这方面没有经过适当的“训练”。

产生幻觉的另一个原因是过度拟合，当算法过于适应训练数据集时就会发生这种情况。结果，它失去了概括和正确识别新的、以前未知的模式的能力。这种模型在训练数据上表现良好，但在真实的动态条件下却失败了。

最后，错误的假设或不充分的模型架构可能会导致幻觉。如果人工智能设计者的解决方案基于错误的前提或使用错误的算法结构，系统将生成错误的内容，试图将这些错误的假设与真实数据“匹配”。

来源：DALL·E 3，提示：Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)

幻觉的例子

人工智能幻觉的影响远远超出了理论领域。我们越来越多地遇到它们真实的、有时令人惊讶的表现。以下是这种现象的一些例子：

2023 年 5 月，一名律师使用 ChatGPT 准备了一场诉讼，其中包括虚构地引用法院判决和不存在的法律先例。这导致了严重的后果——律师被罚款，因为他声称他对 ChatGPT 生成虚假信息的能力一无所知，
ChatGPT 碰巧会创建有关真实人物的虚假信息。 2023 年 4 月，该模特编造了一个关于一名法学教授涉嫌骚扰学生的故事。在另一起案件中，它错误地指控一名澳大利亚市长收受贿赂，而事实上，他是揭露此类行为的举报人。

这些并不是孤立的案例——生成式人工智能模型经常发明历史“事实”，例如，提供穿越英吉利海峡的虚假记录。更重要的是，他们每次都可以针对同一主题创建完全不同的虚假信息。

然而，人工智能的幻觉不仅仅是错误数据的问题。它们也可能采取奇怪、令人不安的形式，就像 Bing 的例子一样，它宣称它爱上了记者凯文·罗斯 (Kevin Roose)。这表明这些异常的影响可能不仅仅是简单的事实错误。

最后，对人工智能系统的特殊攻击（称为对抗性攻击）可以故意诱发幻觉。例如，稍微改变猫的照片会使图像识别系统将其解释为……。 “鳄梨。” 这种类型的操纵可能会在精确图像识别至关重要的系统中产生严重后果，例如自动驾驶汽车。

如何预防出现幻觉？

尽管人工智能幻觉带来的挑战规模很大，但仍有有效的方法来应对这种现象。关键是采用一种综合方法，该方法结合了：

高质量的训练数据，
相关提示，即AI的命令，
直接提供知识和例子供AI使用，
人类和人工智能本身的持续监督以改进人工智能系统。

提示

对抗幻觉的关键工具之一是结构合理的提示，或者向人工智能模型发出的命令和指令。通常，对提示格式进行微小的更改就足以大大提高所生成响应的准确性和可靠性。

Anthropic 的 Claude 2.1 就是一个很好的例子。虽然在没有相关命令的情况下使用长上下文的准确性为 27%，但在提示中添加“这是上下文中最相关的句子：”这句话，将有效性提高到 98%。

这种变化迫使模型专注于文本中最相关的部分，而不是根据断章取义的孤立句子生成响应。这凸显了正确制定命令对于提高人工智能系统准确性的重要性。

创建详细、具体的提示，尽可能减少人工智能的解释空间，也有助于降低产生幻觉的风险，并使事实核查变得更加容易。提示越清晰具体，产生幻觉的几率就越低。

例子

除了有效的提示之外，还有很多其他方法可以降低人工智能幻觉的风险。以下是一些关键策略：

使用高质量、多样化的训练数据，可靠地代表现实世界和可能的场景。数据越丰富、越完整，AI产生虚假信息的风险就越低，
使用数据模板作为人工智能响应的指南——定义可接受的格式、范围和输出结构，从而提高生成内容的一致性和准确性，
将数据源限制为来自受信任实体的可靠、经过验证的材料。这消除了模型从不确定或错误来源“学习”信息的风险。

基于分析人工智能系统的实际性能和准确性，对人工智能系统进行持续测试和完善，可以持续纠正任何缺陷，并使模型能够从错误中学习。

语境

正确定义人工智能系统运行的环境对于防止幻觉也起着重要作用。应明确定义模型的使用目的以及模型的限制和责任。

这种方法可以为人工智能设定一个清晰的运行框架，从而降低其“提出”不需要的信息的风险。可以通过使用过滤工具并设置可接受结果的概率阈值来提供额外的保护措施。

应用这些措施有助于为人工智能建立安全的路径，提高其为特定任务和领域生成的内容的准确性和可靠性。

来源：表意文字，提示：Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)

事实核查。如何验证人工智能的工作成果？

不幸的是，无论采取什么预防措施，人工智能系统产生一定程度的幻觉都是不可避免的。因此，保证所获得结果可靠性的一个关键要素是事实核查——验证人工智能生成的事实和数据的过程。

审查人工智能结果的准确性和与现实的一致性应被视为防止虚假信息传播的主要保障措施之一。人工验证有助于识别和纠正算法无法自行检测到的任何幻觉和不准确之处。

在实践中，事实检查应该是一个循环过程，定期检查人工智能生成的内容是否有错误或有问题的陈述。一旦识别出这些问题，不仅需要纠正AI生成的语句本身，还需要更新、补充或编辑AI模型的训练数据，以防止将来再次出现类似问题。

重要的是，验证过程不应仅限于简单地拒绝或批准有问题的段落，而应积极让在该领域拥有深入知识的人类专家参与。只有他们才能正确评估人工智能生成的陈述的背景、相关性和准确性，并决定可能的更正。

因此，人工事实核查为人工智能内容的可靠性提供了必要且难以高估的“保障”。在机器学习算法达到完美之前，这个繁琐但至关重要的过程必须仍然是任何行业人工智能解决方案中不可或缺的一部分。

如何从人工智能幻觉中受益？

虽然人工智能幻觉通常是一种不受欢迎的现象，应该尽量减少，但它们可以在一些独特的领域找到令人惊讶的有趣和有价值的应用。巧妙地利用幻觉的创造潜力提供了新的、通常完全意想不到的视角。

艺术和设计是人工智能幻觉可以开辟全新创意方向的领域。通过利用模型生成超现实、抽象图像的倾向，艺术家和设计师可以尝试新的表达形式，模糊艺术与现实之间的界限。它们还可以创造独特的、梦幻般的世界——以前人类无法感知到的世界。

反过来，在数据可视化和分析领域，幻觉现象提供了在复杂信息集中发现替代观点和意外关联的机会。例如，人工智能发现不可预测的相关性的能力可以帮助改善金融机构做出投资决策或管理风险的方式。

最后，电脑游戏和虚拟娱乐世界也可以从人工智能的创造性畸变中受益。这些解决方案的创建者可以利用幻觉来生成全新的、迷人的虚拟世界。通过为它们注入惊喜和不可预测的元素，它们可以为玩家提供无与伦比的身临其境的体验。

当然，人工智能幻觉这种“创造性”方面的任何使用都必须受到仔细控制并受到严格的人类监督。否则，创造虚构而不是事实的倾向可能会导致危险或社会不良的情况。因此，关键是巧妙地权衡这种现象的好处和风险，并仅在安全、结构化的框架内负责任地使用它。

事实核查和人工智能幻觉——总结

人工智能系统中幻觉现象的出现是我们在该领域目睹的革命不可避免的副作用。人工智能模型产生的扭曲和虚假信息是其巨大创造力和吸收大量数据能力的另一面。

目前，验证人工智能生成内容有效性的唯一方法是通过人工验证。虽然有多种减少幻觉的方法，从提示技术到真相森林等复杂方法，但它们都无法提供令人满意的响应准确性，从而消除事实核查的需要。

如果您喜欢我们的内容，请在 Facebook、Twitter、LinkedIn、Instagram、YouTube、Pinterest、TikTok 上加入我们的忙碌蜜蜂社区。

作者：罗伯特·惠特尼
JavaScript 专家和 IT 部门的讲师。他的主要目标是通过教其他人如何在编码时有效合作来提高团队生产力。
查看所有帖子

商业人工智能：

人工智能在商业中的威胁和机遇（第 1 部分）
人工智能在商业中的威胁和机遇（第 2 部分）
人工智能在商业中的应用 - 概述
人工智能辅助文本聊天机器人
商业 NLP 的今天和明天
人工智能在商业决策中的作用
安排社交媒体帖子。人工智能有何帮助？
自动社交媒体帖子
利用人工智能运行的新服务和产品
我的经营理念有哪些弱点？ ChatGPT 的头脑风暴会议
在商业中使用 ChatGPT
合成演员。排名前 3 的 AI 视频生成器
3 个有用的 AI 图形设计工具。商业中的生成式人工智能
今天你必须尝试的 3 位出色的人工智能作家
探索人工智能在音乐创作中的力量
使用 ChatGPT-4 探索新的商机
经理的人工智能工具
6 个很棒的 ChatGTP 插件，让您的生活更轻松
3 绘图人工智能。商业情报总局
麦肯锡全球研究院认为人工智能的未来是什么？
商业人工智能 - 简介
什么是 NLP，即商业中的自然语言处理
自动文档处理
谷歌翻译 vs DeepL。机器翻译的 5 个商业应用
语音机器人的运营和商业应用
虚拟助理技术，或者说如何与AI对话？
什么是商业智能？
人工智能会取代商业分析师吗？
人工智能如何帮助 BPM？
人工智能和社交媒体——它们对我们有何评价？
内容管理中的人工智能
今天和明天的创意人工智能
多模态人工智能及其在商业中的应用
新的互动。人工智能如何改变我们操作设备的方式？
数字公司中的 RPA 和 API
未来的就业市场和即将到来的职业
教育科技中的人工智能。利用人工智能潜力的 3 个公司示例
人工智能与环境。 3 个人工智能解决方案可帮助您建立可持续发展的业务
AI 内容检测器。他们值得吗？
ChatGPT vs Bard vs Bing。哪个人工智能聊天机器人在这场竞赛中处于领先地位？
聊天机器人人工智能是谷歌搜索的竞争对手吗？
有效的 ChatGPT 人力资源和招聘提示
及时工程。即时工程师做什么的？
AI 模型生成器。四大工具
人工智能还有什么？ 2024 年商业顶级技术趋势
人工智能和商业道德。为什么您应该投资道德解决方案
元人工智能。关于 Facebook 和 Instagram 的人工智能支持功能，您应该了解哪些？
人工智能监管。作为一名企业家你需要了解什么？
人工智能在商业中的 5 个新用途
人工智能产品和项目——它们与其他产品和项目有何不同？
人工智能辅助流程自动化。从哪儿开始？
如何将人工智能解决方案与业务问题相匹配？
人工智能作为您团队中的专家
AI团队与角色分工
人工智能职业领域如何选择？
在产品开发过程中添加人工智能总是值得的吗？
人力资源中的人工智能：招聘自动化如何影响人力资源和团队发展
2023 年 6 个最有趣的人工智能工具
人工智能造成的六大商业灾难
公司的人工智能成熟度分析是怎样的？
用于 B2B 个性化的 AI
ChatGPT 用例。 2024 年如何利用 ChatGPT 改善业务的 18 个示例
微学习。获得新技能的快速方法
2024 年公司中最有趣的人工智能实施
人工智能专家做什么的？
AI项目带来了哪些挑战？
2024 年 8 款最适合商业的人工智能工具
CRM 中的人工智能。人工智能给 CRM 工具带来了哪些改变？
UE 人工智能法案。欧洲如何监管人工智能的使用
索拉。 OpenAI 的真实视频将如何改变业务？
七大人工智能网站建设者
无代码工具和人工智能创新
使用人工智能可以在多大程度上提高您团队的生产力？
如何使用ChatGTP进行市场研究？
如何扩大人工智能营销活动的影响范围？
“我们都是开发者”。公民开发者如何帮助您的公司？
运输和物流中的人工智能
AI可以解决哪些业务痛点？
媒体中的人工智能
银行和金融领域的人工智能。 Stripe、Monzo 和 Grab
人工智能在旅游行业的应用
人工智能如何促进新技术的诞生
社交媒体中的人工智能革命
电子商务中的人工智能。全球领导者概览
四大人工智能图像创作工具
用于数据分析的 5 大人工智能工具
贵公司的人工智能战略——如何构建？
最佳人工智能课程 – 6 条精彩推荐
使用人工智能工具优化社交媒体聆听
物联网+人工智能，或者如何降低公司的能源成本
物流中的人工智能。 5 个最佳工具
GPT 商店 – 最有趣的商业 GPT 概述
LLM、GPT、RAG...AI 缩写词是什么意思？
人工智能机器人——商业的未来还是现在？
在公司实施人工智能的成本是多少？
人工智能如何帮助自由职业者的职业生涯？
自动化工作并提高生产力。自由职业者人工智能指南
初创公司的人工智能——最佳工具
用人工智能建立网站
OpenAI、中途、人择、拥抱脸。 AI世界里谁是谁？
十一个实验室还有什么？最有前途的人工智能初创公司
综合数据及其对业务发展的重要性
顶级人工智能搜索引擎。去哪里寻找人工智能工具？
视频人工智能。最新的AI视频生成器
面向管理者的人工智能。人工智能如何让您的工作变得更轻松
Google Gemini 有什么新功能？你需要知道的一切
波兰的人工智能。公司、会议和会议
人工智能日历。如何优化自己在公司的时间？
人工智能和工作的未来。如何为您的企业做好变革准备？
商业人工智能语音克隆。如何利用人工智能创建个性化语音消息？
事实核查和人工智能幻觉