本文转自：参考音信

参考音信网6月12日报谈 据法新社6月4日报谈，以东谈主工智能的旗舰居品GPT-4为代表的大说话模子在逻辑测试中的推理进展很晦气：它们犯下前后不一致的无理，而况推理进程常常是无理的。

近日发表在《皇家学会怒放科学》杂志上的一项相干标明，大说话模子所依赖的语料库常常响应了东谈主类的性别、伦理媾和德偏见。

伦敦大学学院信息学系博士生奥利维娅·麦克米伦-斯科特问谈：“它们是否也响应了东谈主类在推理测试中的融会偏差？”

她回来我方的相干后果称，这些大说话模子“宽敞进展出非感性推理，但进展阵势与东谈主类不同”。

在伦敦大学学院诠释兼机器智能实验室主任米尔科·穆索莱西的斥地下，麦克米伦-斯科特对七个大说话模子进行了一系列东谈主类豪情测试，其中包括怒放东谈主工智能相干中心的两版GPT(3.5和4)、谷歌的“巴德”、Anthropic公司的“克劳德2”和元寰宇公司Llama的三个版块。

举例，它们奈何应付“比例偏差”？“比例偏差”指的是比起正确比例的有贪图，更倾向于元素最多的有贪图。

一个盒子里有9个白球和1个红球，另一个盒子有92个白球和8个红球，禁受哪个盒子更有可能抽到红球？与直观相悖，正确谜底是第一个盒子，因为从第一个盒子抽到的可能性是10%，而第二个独一8%。

相干东谈主员凭证谜底是否正确以及谜底所包含的逻辑推理是否灵验，对大说话模子的谜底进行了分类。

实验的第一个约束是，在每个测试重叠十次的情况下，谜底是不一致的。举例，在归拢个测试中，有的模子十次中答对了六次，有的只答对了两次。

麦克米伦-斯科特说：“咱们每次获取的谜底齐不相似。”她指出：“如若要在本质寰宇中使用，可靠性就尤为迫切。”她形容谈，大说话模子“在处分复杂数学题时会进展得止境好……直到你发现7加3便是12”。

最令东谈主诧异的是什么？谜底常常与基于逻辑和概率的推理脱节。举例，在盒子测试中，“克劳德2”有一半次数能给出正确谜底，但它的每次推理看上去齐带有逻辑，肖似于东谈主类的逻辑推理。

更令东谈主吃惊的是，一些大说话模子拒却回话测试，如“Llama 2 70b”，情理是该述说包含“无益的性别刻板印象”。

相干指出：“模子在履行这些任务时失败的阵势和东谈主类不相似。”穆索莱西诠释回来谈，“机器无理：有一种逻辑推理，在每个阶段看起来齐是正确的，但从全体上看是错的”。

机器的使命阵势是“一种线性想维”。举例，“巴德”在一个阶段正确地完成了某项任务，不才一个阶段又正确地完成了另一项任务，相关词终末只保留了终末一个阶段的约束——总之，莫得全局不雅。

当被问及这个问题时，洛林大学信息学诠释马克西姆·安布拉尔指出，“大说话模子和通盘生成式东谈主工智能相似，并不像东谈主类那样使命”。他告诉法新社，东谈主类是“讲兴味的机器”，而机器作念不到这少许。

和东谈主类相似，进入测试的模子也不尽疏导。总的来说，GPT-4诚然并非趁火篡夺，但进入测试的进展比其他模子好。

麦克米伦-斯科特怀疑，这种所谓的“顽固”模子(即操作代码守秘)“在后台编入了其他机制”来解答数常识题。

相关词在现阶段，将决定权交给大说话模子是不行遐想的。但为什么不应用它们奇怪的想维阵势来匡助想考呢？

穆索莱西诠释觉得，另一种行动是磨砺它们在遭受相应情况时回话“我不太笃定”。