返回上一页  首页 | cnbeta报时: 07:25:44
斯坦福大学研究表明世界上最大的人工智能模型并不很透明
发布日期:2023-10-19 04:50:45  稿源:cnBeta.COM

斯坦福大学 HAI(以人为中心的人工智能)的一份新报告指出,人工智能基础模型的知名开发商(包括 OpenAI 和 Meta 等公司)都没有发布足够的信息来说明其对社会的潜在影响。

今天,斯坦福 HAI 发布了其基础模型透明度指数,该指数追踪 10 个最受欢迎的人工智能模型的创建者是否披露有关其工作以及人们如何使用其系统的信息。 在其测试的模型中,Meta 的 Llama 2 得分最高,其次是 BloomZ,然后是 OpenAI 的 GPT-4。 但事实证明,他们都没有得到特别高的分数。

其他评估的模型包括 Stability 的 Stable Diffusion、Anthropic 的 Claude、Google 的 PaLM 2、Cohere 的 Command、AI21 Labs 的 Jurassic 2、Inflection 的 Inflection-1 和 Amazon 的 Titan。

研究人员承认,透明度可以是一个相当广泛的概念。 他们的定义基于 100 个指标,这些指标提供有关模型如何构建、模型如何工作以及人们如何使用模型的信息。 他们解析了有关该模型的公开信息,并给每个人打分,指出这些公司是否披露了合作伙伴和第三方开发商,是否告诉客户他们的模型是否使用了私人信息,以及一系列其他问题。

随着该公司发布了对模型创建的研究,Meta 得分为 53%,在模型基础知识上得分最高。 开源模型 BloomZ 紧随其后,获得了 50% 的支持,GPT-4 获得了 47% 的支持——尽管 OpenAI 的设计方法相对锁定,但它与稳定扩散并列。

OpenAI 拒绝公布其大部分研究成果,也没有透露数据源,但 GPT-4 却成功排名靠前,因为有大量有关其合作伙伴的可用信息。 OpenAI 与许多不同的公司合作,将 GPT-4 集成到他们的产品中,产生了大量可供查看的公开细节。

然而,斯坦福大学的研究人员发现,这些模型的创建者都没有透露任何有关社会影响的信息,包括向何处提出隐私、版权或偏见投诉。

斯坦福大学基础模型研究中心的学会负责人、该指数的研究人员之一 Rishi Bommasani 表示,该指数的目标是为政府和公司提供基准。 一些拟议的法规,例如欧盟的人工智能法案,可能很快就会迫使大型基础模型的开发商提供透明度报告。

“我们试图通过该指数实现的目标是使模型更加透明,并将非常不明确的概念分解为可以测量的更具体的事物,”博马萨尼说。 该小组专注于每个公司的一种模型,以便更容易进行比较。

生成式人工智能拥有一个庞大而活跃的开源社区,但该领域的一些最大的公司并没有公开分享研究成果或他们的代码。 尽管 OpenAI 的名称中有“开放”一词,但它以竞争和安全问题为由,不再分发其研究成果。

Bommasani 表示,该组织对扩大该指数的范围持开放态度,但与此同时,将坚持使用已经评估过的 10 个基础模型。

查看网友评论   返回完整版观看

返回上一页  首页 | cnbeta报时: 07:25:44

文字版  标准版  电脑端

© 2003-2024