业界资讯 全部文章

MIT研究者提出一种衡量大模型不确定性的新指标，通过比较目标模型与同类模型的答案分歧，并结合自身回答一致性，形成总不确定性指标；在问答、摘要、翻译和数学等10类任务中，它比传统方法更能识别自信但错误的幻觉输出，还可减少查询成本，帮助用户判断模型是否可信。

MIT研究测试GPT-4、Claude3、Llama3在TruthfulQA与SciQ上对不同用户画像的答复，发现对低英语水平、低学历、非美国出身者准确性与真实性下降、拒答率上升且更易出现居高临下措辞，结论是LLM可能向弱势群体传播错误信息并加剧信息不平等。