Science：新研究发现ChatGPT可以提高某些写作任务的效率

在围绕生成式人工智能的大量炒作中，来自美国麻省理工学院的研究人员在一项新的研究中揭示了这项技术对工作的影响，发现它提高了被分配了写求职信、写精致的电子邮件和做成本效益分析等任务的员工的工作效率。相关研究结果发表在2023年7月14日的Science期刊上，论文标题为“Experimental evidence on the productivity effects of generative artificial intelligence”。

这项研究中的任务并不完全是真实工作的翻版： 它们不需要精确的事实准确性，也不需要公司目标或客户偏好等背景信息。不过，这项研究的一些参与者表示，这些任务与他们在实际工作中写过的东西很相似，而且收益也很大。通过使用辅助聊天程序ChatGPT，员工完成任务的时间减少了 40%，而由独立评估人员衡量的产出质量提高了 18%。

这些作者希望这项新的研究能帮助人们了解像 ChatGPT 这样的人工智能工具对劳动力的影响。

论文通讯作者、麻省理工学院经济系博士生Shakked Noy说，“我们可以肯定的是，生成式人工智能将对白领工作产生巨大影响。我认为我们的研究表明，这种技术在白领工作中有着重要的应用。这是一项有用的技术。但要判断它是好是坏，或者它究竟会如何引起社会调整，还为时尚早。”

为聊天程序（chatbot）模拟工作

几个世纪以来，人们一直担心新技术的进步会导致大规模自动化和失业。但新技术也会创造新的工作岗位，当新技术提高工人的生产率时，就会对经济产生净的积极影响。

Noy说，“在考虑新技术发展时，生产力是经济学家最关心的问题。经济学的经典观点是，技术进步最重要的作用是提高生产力，也就是让我们更有效地生产经济产出。”

为了研究生成式人工智能对员工生产率的影响，这些作者给 453 名受过大学教育的营销人员、基金申请人（grant writers）、顾问、数据分析师、人力资源专业人士和经理布置了两项与其职业相关的写作任务。这些 20 到 30 分钟的任务包括撰写拨款申请求职信、有关组织结构调整的电子邮件，以及帮助公司根据给定的客户数据决定向哪些客户发送推送通知的分析计划。与每位参与者从事相同职业的经验丰富的专业人士对每份提交的材料进行评估，就像他们在工作环境中遇到这些材料一样。评估者不知道哪些提交材料是在 ChatGPT 的帮助下创建的。

对生产力的影响。图片来自Science, 2023, doi:10.1126/science.adh2586。

在第二次任务中，半数参与者获得了由 OpenAI 公司开发的聊天程序 ChatGPT-3.5 的使用权。这些参与者完成任务的时间比对照组快了 11 分钟，而他们的平均质量评价提高了 18%。他们的数据还显示，员工之间的绩效不平等现象有所减少，这意味着在第一次任务中获得较低评分的员工在第二次任务中使用 ChatGPT 时获益更多。

这些作者说，这些任务大致代表了这些专业人员在实际工作中遇到的任务，但他们也指出了一些局限性。由于使用的是匿名参与者，这些作者无法要求他们提供特定公司或客户的背景知识。这些作者还必须对每项任务给出明确的指示，而现实世界中的任务可能更加开放。此外，这些作者认为聘请事实核查人员来评估结果的准确性并不可行。准确性是当今生成式人工智能技术面临的一个主要问题。

这些作者说，这些局限性可能会削弱 ChatGPT 在现实世界中提高生产力的潜力。尽管如此，他们认为这些结果显示了这项技术的前景---这项新研究的另一项发现也支持了这一观点： 在实验中接触到 ChatGPT 的员工在实验两周后表示在实际工作中使用该技术的可能性增加了一倍。

Noy说，“实验表明，它确实带来了显著的速度优势，即使这些速度优势在现实世界中会大打折扣，因为你需要花时间核实事实和编写提示。”

从宏观角度看待

这项新的研究提供了一个近距离观察 ChatGPT 等工具对某些写作任务的影响的机会。但将这种影响推而广之，以了解生成式人工智能对经济的影响则更为困难。这正是这些作者希望下一步努力的方向。

论文共同作者、麻省理工学院博士研究生Whitney Zhang说，“还有很多其他因素会影响工资、就业和各行业的变化，这些都需要我们论文中没有的证据。但在我们的论文中，节省的时间和质量的提高是非常大的，所以这看起来确实是非常具有革命性的，至少对某些类型的工作来说是这样。”

这两名作者都认为，即使人们都认为 ChatGPT 会提高许多员工的工作效率，但要想知道社会应该如何应对生成式人工智能的普及，仍有许多工作要做。

Zhang说，“根据未来的研究发现，适应这些技术所需的政策可能会大相径庭。"如果我们认为这会提高低薪员工的工资，这与通过提高高收入者的工资来加剧工资不平等的意义是完全不同的。我认为有很多下游的经济和政治影响需要加以确定。”（生物谷 Bioon.com）

参考资料：

1. Shakked Noy et al. Experimental evidence on the productivity effects of generative artificial intelligence. Science, 2023, doi:10.1126/science.adh2586.

2. Study finds ChatGPT boosts worker productivity for some writing tasks
https://phys.org/news/2023-07-chatgpt-boosts-worker-productivity-tasks.html