PNAS最新研究：81%解题率，神经网络 Codex 推开高等数学世界大门(2)

除了解决数学问题和解释答案，Codex 也被用于为每门课程生成新问题。 为了评估生成的问题水平，团队在参加过这些课程或者同水平课程的MIT学生中做了调查，主要是比较机器生成的问题和人工编写问题的质量和难度。 在MIT的6门课程中，每门选择5个人工编写问题和5个模型生成问题混合起来并且随机呈现。对于 60 个问题中的每一个问题，参与调查的学生都需要回答 3 个调查问题： 1）你认为这个问题是人工编写的还是机器生成的？ 2）你认为这个问题适合还是不适合特定课程？ 3 ) 在 1（最简单）和 5（最难）之间，你认为这个问题的难度级别是多少？ 在收回的问卷中，学生调查结果总结如下：

机器生成和人工编写的问题难度相似。

人工编写的问题比机器生成的问题更适合课程。

人工编写的答案很难被识别错，而机器生成的问题被学生认为既可能是机器生成的，也可能是人工编写的。

机器生成的问题已经能让学生无法辨别，说明Codex 在生成新内容方面已达到了人类的表现水平。 但是，该模型也有无法解决的问题，比如，如果问题以图像或其他非文本形式出现，它就无法回答；带有需 要证明的解决方案的问题，或者计算上难以解决的问题，比如分解非常大的素数，该模型也无法解决。不过，最后一种问题也不应出现在任何数学课程作业中，因为就算是真人学生也没法回答。 声明

来源 ：AI科技评论 ， RAD极客会推荐阅读，不代表RAD极客会立场，转载请注明，如涉及作品版权问题，请联系我们删除或做相关处理！