OpenAI 悄悄招募了 Altman 投资的安全团队,但与超级对齐无关

发布日期:2024-10-06 21:16

来源类型:果姨妈育儿 | 作者:Selkirk

阅读提醒: 原文作者:赵健 原文来源:甲子光年 在OpenAI首席科学家伊利亚·苏茨克维(Ilya Sutskever)宣布离职8天后,OpenAI悄悄招募了一整个安全相关的团队。 这个团队名叫「Indent」,是一家位于美国加利福尼亚州的数据安全初创公司。5月23日,Indent的联合创始人、CEO阿福德·马丁(Fouad Matin)在X上宣布自己将加入OpenAI负责安全相关的工...
【2024澳门天天开好彩大全开奖记录】 【澳门天天六开彩正版澳门】 【2024新澳正版免费资料大全】 【2024年正版资料免费大全】 【澳门最准一肖一码】 【澳门一码一码100准确】 【澳门天天开彩期期精准】 【2024澳门天天六开彩结果】 【新奥六合全年免费资料大全】 【2024澳门精准正版澳门码】 【澳门六开彩天天开奖结果】 【二四六新奥门免费资料】 【2024新澳天天开好彩大全】

原文作者:赵健

原文来源:甲子光年

在OpenAI首席科学家伊利亚·苏茨克维(Ilya Sutskever)宣布离职8天后,OpenAI悄悄招募了一整个安全相关的团队。

这个团队名叫「Indent」,是一家位于美国加利福尼亚州的数据安全初创公司。5月23日,Indent的联合创始人、CEO阿福德·马丁(Fouad Matin)在X上宣布自己将加入OpenAI负责安全相关的工作。

虽然双方并未宣布细节,但Indent这家公司大概率将全部并入OpenAI。Indent在其网站上宣布,“经过仔细考虑,我们做出了一个非常艰难的决定,Indent将在未来几个月内关闭”,“7月15日之后服务将停止使用”。

值得一提的是,OpenAI CEO 萨姆·奥尔特曼(Sam Altman),曾在2021年参与了Indent 560万美元的种子轮融资,双方算是老相识了。

近期OpenAI风波不断,其中备受关注的是在伊利亚·苏茨克维离职后引发的连锁反应,OpenAI负责安全的超级团队的联合主管简·雷克(Jan Leike)也宣布离职。两人共同领导的超级对齐团队去年7月才刚刚成立,现在已经分崩离析。

然而,仔细一看就会发现,Indent团队的加入虽然是对安全团队新鲜血液的补充,但与超级对齐团队却毫无关系。

Indent团队的加入更加明确了一件事:萨姆·奥尔特曼正在把OpenAI变成一家彻头彻尾的商业化公司。

1.Indent是谁?

先介绍一下Indent这家公司。

Indent成立于2018年,从事数据安全相关业务,它所提供的服务也很简单——自动化处理访问权限的审批流程。

比如,当工程师需要查看生产服务器日志或客户支持需要敏感系统的管理员权限时,他们可以使用Indent的应用程序请求访问权限,而无需IT部门的帮助。审阅者可以通过Slack收到消息并直接从那里批准,然后一旦时间到期,访问权限就会自动撤销。

Indent为公司中的每个人提供按需访问控制,让他们可以在需要时访问自己需要的内容。

这项看似简单的服务解决了一个重要的需求——随着团队规模的扩大,越来越多的员工需要访问越来越多的服务,而这些服务的审批可能需要几天、几周甚至几个月的时间。当然可以简化审批流程,但最简单的方法往往不是最正确的方法,因为这可能带来安全问题。如果涉及到关键业务,在几个小时内回复客户还是几天内回复客户将会带来完全不同的结果。

许多公司至少使用几十个应用程序来处理不同团队的关键服务、协作或客户数据,每个应用程序都有几十个不同的潜在角色或子权限,这很容易失控。

而Indent,就是为团队提供最简单、最安全的方式来实现民主化的访问管理和问责制度。

2023年,在大模型兴起之后,Indent将数据安全的业务顺势拓展到了大模型领域。

2024年3月,Indent联合创始人、CEO阿福德·马丁发表了一篇文章《价值百万美元的人工智能工程问题》。

他提到,模型权重、偏差和训练它们所用的数据是人工智能皇冠上的明珠,是公司最宝贵的资产。对于开发定制模型或微调现有模型的公司来说,他们会在工程时间、计算能力和训练数据收集上投入数百万美元。

但是,大语言模型存在泄露的风险。他以Llama举例,Meta一开始并没有考虑将Llama完全开源,而是做出一些限制。然而,有人却将其泄露在了4chan 网站上。Meta不得不顺水推舟,将Llama完全开源了。

因此,Indent针对性地提出了模型权重、训练数据、微调数据的安全解决方案。

2.与Altman渊源颇深

Indent与OpenAI双方的渊源由来已久。

Indent有两位联合创始人,阿福德·马丁(Fouad Matin)担任CEO,丹·吉莱斯皮(Dan Gillespie)担任CTO。

阿福德·马丁是一位工程师、隐私倡导者,也是街头服饰爱好者,他之前在 Segment 公司从事数据基础设施产品的工作。2016年,他与别人共同创立了 VotePlz,这是一个非党派的选民注册和投票率非营利组织。他热衷于帮助人们找到令人满意的工作,此前他创立了一家通过 YC W16 计划的推荐招聘公司。

丹·吉莱斯皮是第一个非谷歌员工管理 Kubernetes 发布的人,并且自项目早期以来一直是定期贡献者。作为他进入 K8s 的起点,他是一家协作部署工具的联合创始人兼 CTO(YC W16),在那里他构建了 Minikube。他的公司被 CoreOS 收购,后来 CoreOS 成为了 RedHat 的一部分,随后又成为IBM的一部分。

通过履历可以看出,两人早年间与YC关系紧密。而萨姆·奥尔特曼在2011年投入了创业孵化器YC,并2014年担任YC总裁,直到2019年担任OpenAI CEO。

2021年12月21日,Indent宣布获得560万美元的种子轮融资,领投方包括Shardul Shah(Index Ventures合伙人)、Kevin Mahaffey(Lookout 首席技术官)和Swift Ventures,而跟投方的豪华阵容中,就包括萨姆·奥尔特曼以及他的弟弟杰克·奥尔特曼(Jack Altman)。

双方紧密的关系,以及日后Indent涉足大模型安全领域,为Indent并入OpenAI做好了铺垫。

3.Indent并非加入超级对齐

将Indent一整个团队招募至麾下,是OpenAI对于超级对齐团队的补充吗?答案是否定的,因为这是两个完全不同的团队。

OpenAI的安全团队实际上一共有三个:安全系统团队(Safety Systems)、准备团队(Preparedness)、超级对齐团队(Superalignment)。

三个团队的分工为安全系统团队关注当前模型的部署风险,专注于减少对现有模型和ChatGPT等产品的滥用;准备团队专注于前沿模型的安全评估;超级对齐团队专注于协调超级智能,为在更遥远的未来拥有的超级智能模型的安全性奠定基础。

安全系统团队是一个相对成熟的团队,分为四个子系统:安全工程、模型安全研究、安全推理研究、人机交互,汇集了一支多样化的专家团队,包括工程、研究、政策、人工智能协作和产品管理等领域的专家。OpenAI表示这种人才组合已被证明非常有效,使OpenAI能够接触到从预训练改进和模型微调到推理时监控和缓解的广泛解决方案范围。

准备团队对前沿人工智能风险的研究远远没有达到需要达到的水平。为了弥补这一差距并系统化安全思维,OpenAI在2023年12月发布了一个名为“准备框架”的初始版本,它描述了OpenAI跟踪、评估、预测和防范日益强大的模型带来的灾难性风险的过程。

OpenAI还表示将成立一个专门的团队来监督技术工作,并建立安全决策的运营结构。准备团队将推动技术工作,以检查前沿模型能力的极限、进行评估并综合报告。OpenAI正在创建一个跨职能的安全咨询小组,以审查所有报告并同时将其发送给领导层和董事会。虽然领导层是决策者,但董事会有权推翻决定。

超级对齐团队是2023年7月5日刚刚成立的新团队,旨在在2027年之前用科学与技术来引导和控制比人类聪明得多的人工智能系统。OpenAI宣称会用公司20%的计算资源投入这项工作。

关于超级对齐还没有明确可行的解决方案。OpenAI的研究方法是,用已经对齐的小模型来监督大模型,然后通过逐步扩大小模型的规模来逐步对齐超级智能,并对整个流程进行压力测试。

OpenAI超级对齐团队由伊利亚·苏茨克维和简·雷克共同领导,但两人现在已经离职。据媒体报道,在两人离职后,超级对齐团队已经分崩离析。

Indent团队并非加入超级团队。根据Indent团队在X上发布的信息,他们加入的是OpenAI的准备团队,负责前沿模型的准备到客户的数据管理。

这意味着OpenAI正在加大前沿模型的投入。

近期在法国巴黎举办的VivaTech峰会上,OpenAI开发者体验主管Romain Huet展示的PPT里,透露了OpenAI的下一款新模型“GPT Next”将在2024年晚些时候发布。

图片为OpenAI在VivaTech分享的PPT,来自X

OpenAI接下来的工作重心,很可能就在这款新模型的能力与安全上。

4.OpenAI的“原罪”

超级团队的解散、Indent团队的加入,如果把一系列相关事件串在一起,只能得出一个结论:OpenAI正在加速追求模型的落地与商业化。

这一点,在超级对齐团队主管简·雷克的离职声明中已经公开化了。

简·雷克认为应该把更多的带宽花在为下一代模型做准备上,包括安全、监控、准备、对抗稳健性、超一致性、机密性、社会影响和相关主题,但过去几个月他的团队“却为计算资源苦苦挣扎”——连最初承诺的20%的计算资源也不能满足了。

他认为,OpenAI的安全文化与流程已经不再受重视,而光鲜的产品备受青睐。

对此,在OpenAI总裁格雷格·布罗克曼(Greg Brockman)长篇大论的回应里有这么一句话:

我们认为这样的(越来越强大的)系统将对人们非常有益和有帮助,并且有可能安全地交付它们,但这需要大量的基础工作。这包括在训练时它们连接到什么的周到考虑,解决可扩展监督等难题的解决方案,以及其他新型的安全工作。在我们朝着这个方向构建时,我们还不确定何时能达到我们的安全标准来发布产品,如果这导致发布时间表推迟,那也没关系。

前面提到,OpenAI在成立超级对齐团队时,把引导与控制比人类聪明得多的超级智能系统的时间表设立在了2027年。格雷格·布罗克曼的回应相当于更改了这一时间表——“如果延迟发布,也没有关系”。

需要强调的是,OpenAI并非不重视安全,但显然它对安全的重视需要加上一个条件——一切安全都要以可落地的模型、可商业化的产品作为前提。显然,在资源相对有限的前提下,即使是OpenAI也要做一个取舍。

而萨姆·奥尔特曼倾向选择做一个更纯粹的商人。

安全与商业化是矛盾的吗?对于世界上其他的所有公司,这并非一个矛盾。但OpenAI就是那一个例外。

2023年3月,在GPT-4发布后,埃隆·马斯克曾发出过灵魂拷问:“我很困惑,我捐赠了一亿美元的非营利性组织,怎么就变成了一个市值300亿美元的营利组织?”

在OpenAI宫斗事件发生时,外界已经或多或少猜测到了矛盾的导火索就是由此产生。今年3月8日,调查结果出炉后,OpenAI在官方通告中除了表示萨姆·奥尔特曼回归之外,还宣布了公司会对治理结构做出重要改进,包括“采用一套新的公司治理准则”、“加强 OpenAI 的利益冲突政策”等。

只是,直到OpenAI的超级团队的解散,我们也没有等到新的政策。这可能才是很多离职员工对OpenAI失望的原因吧。

【2024澳门六开彩开奖结果查询表】 【2024澳门天天六开彩免费】 【2024澳门正版开奖结果】 【4949免费资料2024年】 【澳门六开彩天天免费领取】 【澳门王中王100%的资料2024】 【2024新澳门天天开好彩大全】 【新澳精准资料免费提供】 【澳门六开彩天天开奖结果】 【澳门三码三码精准】 【2024澳门天天六开好彩】 【2024澳门天天开好彩大全53期】 【澳门六开奖结果2024开奖记录】 【新澳门六开彩开奖网站】
【新澳2024年精准资料期期】 【新澳门免费资料】 【澳门六开彩天天开奖结果生肖卡】 【新奥门特免费资料大全】 【新澳内部资料精准一码】 【2024天天开好彩大全正版】 【澳门一码一肖一待一中】 【新澳天天开奖资料大全】 【奥门24年天天开奖免费资料】 【澳门一码一肖一特一中管家婆】 【新澳门正牌挂牌之全篇】 【2024新澳门天天彩开奖记录】 【2024澳门天天开彩】 【2024年澳门的资料】

下载中心

视频封面

视频名称:20年接力 上海科学家领衔揭开乙肝病毒神秘面纱 为乙肝防治“解锁”

大小: 4.9GB 下载:(121647) 语言: 中文字幕 最后更新: 2024年10月07日

下载视频 (注:防盗链已开启)
视频封面

视频名称:中国发布丨国家发展改革委:坚持把绿色作为共建“一带一路”的底色非人哉:黄鼠狼天生克制兔子,黄二顺利附身小玉

大小: 9.3GB 下载:(801856) 语言: 中文字幕 最后更新: 2024年10月07日

下载视频 (注:防盗链已开启)
视频封面

视频名称:菲船只故意冲撞中方海警船

大小: 2.3GB 下载:(808747) 语言: 中文字幕 最后更新: 2024年10月07日

下载视频 (注:防盗链已开启)
视频封面

视频名称:超80城支持国企等收购存量房,至少36城已启动征集

大小: 6.2GB 下载:(526534) 语言: 中文字幕 最后更新: 2024年10月07日

下载视频 (注:防盗链已开启)
视频封面

视频名称:2023北京康养旅游发展对话与资源对接大会成功举办自如业主新选择:增益租模式,共创租房美好明天

大小: 9.8GB 下载:(951541) 语言: 中文字幕 最后更新: 2024年10月07日

下载视频 (注:防盗链已开启)
视频封面

视频名称:《黑神话:悟空》值不值得买——47小时玩家漫谈

大小: 9.8GB 下载:(967691) 语言: 中文字幕 最后更新: 2024年10月07日

下载视频 (注:防盗链已开启)
视频封面

视频名称:昨夜,全线大涨!

大小: 7.9GB 下载:(699740) 语言: 中文字幕 最后更新: 2024年10月07日

下载视频 (注:防盗链已开启)
视频封面

视频名称:印度大举进军半导体市场 莫迪豪言2030年电子业产值冲刺5000亿美元

大小: 5.5GB 下载:(247198) 语言: 中文字幕 最后更新: 2024年10月07日

下载视频 (注:防盗链已开启)
视频封面

视频名称:焦点访谈丨可靠的朋友、真诚的伙伴!中非合作成果遍布非洲大地

大小: 5.6GB 下载:(198736) 语言: 中文字幕 最后更新: 2024年10月07日

下载视频 (注:防盗链已开启)
视频封面

视频名称:西安网警最新通报!

大小: 5.7GB 下载:(643879) 语言: 中文字幕 最后更新: 2024年10月07日

下载视频 (注:防盗链已开启)
视频封面

视频名称:营收净利双降,门店锐减超400家,煌上煌上半年业绩承压

大小: 7.2GB 下载:(322807) 语言: 中文字幕 最后更新: 2024年10月07日

下载视频 (注:防盗链已开启)
视频封面

视频名称:牛约堡现食安问题、网红汉堡关店,高速发展的汉堡赛道迎来挑战

大小: 7.3GB 下载:(785605) 语言: 中文字幕 最后更新: 2024年10月07日

下载视频 (注:防盗链已开启)
视频封面

视频名称:好莱坞寻找下一个施瓦辛格

大小: 4.4GB 下载:(654429) 语言: 中文字幕 最后更新: 2024年10月07日

下载视频 (注:防盗链已开启)
视频封面

视频名称:两个月价格翻两倍?不少上海人在吐槽,之前还是跳水价

大小: 9.3GB 下载:(440475) 语言: 中文字幕 最后更新: 2024年10月07日

下载视频 (注:防盗链已开启)
视频封面

视频名称:《黑神话:悟空》全球评价出炉!国内97%好评,日韩评分全球倒数

大小: 6.4GB 下载:(561448) 语言: 中文字幕 最后更新: 2024年10月07日

下载视频 (注:防盗链已开启)
视频封面

视频名称:沙利文应王毅邀请访华,可能提出这三个诉求→

大小: 7.2GB 下载:(849829) 语言: 中文字幕 最后更新: 2024年10月07日

下载视频 (注:防盗链已开启)
视频封面

视频名称:社科动态 “中国式现代化的历史、现在与未来”学术研讨会召开

大小: 3.2GB 下载:(418078) 语言: 中文字幕 最后更新: 2024年10月07日

下载视频 (注:防盗链已开启)
视频封面

视频名称:“铁头”因向带货主播索要数百克黄金涉嫌敲诈勒索罪被采取刑事强制措施

大小: 4.2GB 下载:(817732) 语言: 中文字幕 最后更新: 2024年10月07日

下载视频 (注:防盗链已开启)
视频封面

视频名称:南方网评:少挂“牌子”多干事,基层减负要落地

大小: 2.4GB 下载:(589633) 语言: 中文字幕 最后更新: 2024年10月07日

下载视频 (注:防盗链已开启)
视频封面

视频名称:“闭店”声不绝,书亦烧仙草正在被加盟商抛弃?

大小: 4.8GB 下载:(787463) 语言: 中文字幕 最后更新: 2024年10月07日

下载视频 (注:防盗链已开启)
视频封面

视频名称:加入以旧换新行列 电动自行车产业链或迎新机遇

大小: 1.2GB 下载:(945356) 语言: 中文字幕 最后更新: 2024年10月07日

下载视频 (注:防盗链已开启)
视频封面

视频名称:痛惜!何小青的遗体已找到……

大小: 6.2GB 下载:(614626) 语言: 中文字幕 最后更新: 2024年10月07日

下载视频 (注:防盗链已开启)
视频封面

视频名称:标题:《朱珠:魅力绽放的背后密码》

大小: 7.3GB 下载:(354688) 语言: 中文字幕 最后更新: 2024年10月07日

下载视频 (注:防盗链已开启)
视频封面

视频名称:父亲“一次拔23颗牙”,13天后心脏骤停去世!死亡原因还在调查

大小: 6.7GB 下载:(47019) 语言: 中文字幕 最后更新: 2024年10月07日

下载视频 (注:防盗链已开启)
视频封面

视频名称:后续来了,郑钦文回应昨天与教练发生争执,陪练没打好,情绪失控

大小: 8.2GB 下载:(963211) 语言: 中文字幕 最后更新: 2024年10月07日

下载视频 (注:防盗链已开启)
视频封面

视频名称:张大奕网红店关店:转平台困难 称红人电商适合小而美

大小: 4.1GB 下载:(6771) 语言: 中文字幕 最后更新: 2024年10月07日

下载视频 (注:防盗链已开启)
视频封面

视频名称:中报现场 上半年增收不增利!碧桂园服务总裁徐彬淮:不会回避问题,需要时间调整和布局

大小: 2.3GB 下载:(519267) 语言: 中文字幕 最后更新: 2024年10月07日

下载视频 (注:防盗链已开启)
视频封面

视频名称:献血证过期不能用血?河北廊坊一医院回应:血站规定的孤舟:顾慧中的死,影响2个人的结局,叛徒胡之平的报应要来了

大小: 6.3GB 下载:(330008) 语言: 中文字幕 最后更新: 2024年10月07日

下载视频 (注:防盗链已开启)
视频封面

视频名称:在农村,70后穷是因为养家,90后眼看要奔三了,还在啃老,为啥?

大小: 8.3GB 下载:(297955) 语言: 中文字幕 最后更新: 2024年10月07日

下载视频 (注:防盗链已开启)
视频封面

视频名称:国金证券:当前光伏板块处于情绪、估值、预期的三重低位 重点布局α突出的环节公司主线

大小: 6.1GB 下载:(49449) 语言: 中文字幕 最后更新: 2024年10月07日

下载视频 (注:防盗链已开启)
视频封面

视频名称:国内芯片公司象帝先回应全员解散传闻:正进行人员优化,积极寻找外部融资机会|钛媒体AGI

大小: 9.1GB 下载:(150490) 语言: 中文字幕 最后更新: 2024年10月07日

下载视频 (注:防盗链已开启)

评论

打开APP查看96条评论

赵吉

2秒前

OpenAI的安全团队实际上一共有三个:安全系统团队(Safety Systems)、准备团队(Preparedness)、超级对齐团队(Superalignment)。

Doherty

9分钟前

OpenAI还表示将成立一个专门的团队来监督技术工作,并建立安全决策的运营结构。

宋光宗赵惇

3天前

近期OpenAI风波不断,其中备受关注的是在伊利亚·苏茨克维离职后引发的连锁反应,OpenAI负责安全的超级团队的联合主管简·雷克(Jan Leike)也宣布离职。

发表您的评论: