两个开源AI项目又火了!

⭐发布日期:2024年10月02日 | 来源:上观新闻

⭐作者:木引优子 责任编辑:Admin

⭐阅读量:887 评论:2人

【白小姐一码中期期开奖结果查询】

【新澳门一码一肖一特一中】

【香港2023最准马资料免费】 【2023澳门今晚开特马开】 【管家婆的资料一肖中特】 【2023澳彩资料免费大全】 【澳门一肖一码100精准澳门】 【澳码精准100%一肖一码最准肖】 【2023澳门今晚开什么】 【新奥六开彩资料2024】
【澳门4949资料免费大全】 【494949澳门今晚开什么】 【2024管家婆开奖结果】 【新澳澳门免费资料网址是什么】 【二四六香港管家婆期期准资料大全】 【2024新澳精准资料免费大全】 【澳门六开彩免费精准大全】 【2024新澳彩免费资料】

给大家介绍两个最近开源的AI项目:Cradle和LivePortrait。

Cradle:迄今为止第一个既能玩多种商业游戏又能操作各种软件应用的AI框架。

LivePortrait:可控人像视频生成AI框架,能够准确、实时地将驱动视频的表情、姿态迁移到静态或动态人像视频上,生成极具表现力的视频结果。

Cradle

近日,昆仑万维与北京智源人工智能研究院、新加坡南洋理工大学以及北京大学等知名学术机构合作,共同推出了一个名为Cradle的创新AI框架。

该框架的独特之处在于,它允许AI以一种新颖的方式与游戏和软件进行交互,无需事先的训练过程,直接使用键盘和鼠标操作,类似于人类用户,而且在不依赖于特定应用程序接口(API)的情况下,与广泛的开源和闭源应用程序进行有效沟通。

Cradle的框架实现大致分为以下几个步骤:

  • 信息收集:Cradle从视频片段中提取所有有用的视觉和文本信息(包括布局、图像、动画和UI元素等),以便理解当前情况并进行进一步推理。同时,通过OCR技术提取图像中的文本信息,包括内容(标题和段落)、导航标签(菜单和链接)、通知和指示等。
  • 技能和动作生成:Cradle利用LMM生成代码函数作为语义级别的技能,这些技能封装了较低级别的键盘和鼠标控制,将LMM生成的语义动作与操作系统级别的可执行动作连接起来。类似于人类在游戏中的逐步提高,这些技能可以根据游戏教程、指南、游戏手册和设置获得,也可以是自我成长。这些技能也可以预定义或组合以解决更复杂的任务。
  • 动作执行:在Cradle生成动作并决定在环境中执行后,将触发执行器将这些语义动作映射为操作系统级别的键盘和鼠标命令,以与环境进行交互。

目前Cradle已经可以在应用和游戏领域取得非常优秀的表现。包括能够操作日常软件,如Chrome、Outlook和飞书等;以及跟随游戏《荒野大镖客2》、《都市:天际线》等剧情游玩。

这一框架标志着AI领域的一项重要进展,尽管尚处于早期发展阶段,但它已经展示了AI与人类交互方式的潜在转变。从提升游戏体验到优化办公效率,Cradle为AI的实用性和普及性开辟了新的道路。

项目地址:https://github.com/baai-agents/cradle

LivePortrait

近日,快手和复旦大学、中科大共同研发的LivePortrait开源了。

这同样是一款图生视频的大模型,只需提供一张正脸照、一段视频,照片上的人物就会栩栩如生的模仿视频中的表情了。

LivePortrait可以用指定驱动视频对指定人脸进行驱动,从而实现多人合照驱动。

甚至在动物数据集上微调后,对动物肖像也可进行精准驱动,让小动物们模仿人的表情!

项目的部署非常简单:

  • 首先克隆仓库,使用conda创建虚拟环境,安装所需的依赖项和FFmpeg。
  • 然后下载模型的权重文件,放到相应的目录,通过脚本运行即可。

项目地址:https://github.com/KwaiVGI/LivePortrait

在线体验:https://huggingface.co/spaces/KwaiVGI/LivePortrait返回搜狐,查看更多

责任编辑:

【2024澳门天天开好彩大全免费】 【新澳天天开奖资料大全最新】
【2024年天天开好彩资料】 【新澳天天开奖资料大全最新54期】
【2024澳门天天开好彩大全53期】 【澳门天天开彩期期精准】
【2024全年资料免费大全】 【新澳天天开奖资料大全】
【澳门内部最精准免费资料】 【2024澳门天天开好彩大全】
【2024年新奥门天天开彩免费资料】 【新澳2024今晚开奖资料】 【澳门王中王100%的资料2024】
上一条新闻 下一条新闻

推荐文章

发表评论

伊岛空

4秒前:该框架的独特之处在于,它允许AI以一种新颖的方式与游戏和软件进行交互,无需事先的训练过程,直接使用键盘和鼠标操作,类似于人类用户,而且在不依赖于特定应用程序接口(API)的情况下,与广泛的开源和闭源应用程序进行有效沟通。

IP:96.58.5.*

吴末帝

3秒前:包括能够操作日常软件,如Chrome、Outlook和飞书等;以及跟随游戏《荒野大镖客2》、《都市:天际线》等剧情游玩。

IP:15.41.2.*

周艺峰

5秒前:Cradle近日,昆仑万维与北京智源人工智能研究院、新加坡南洋理工大学以及北京大学等知名学术机构合作,共同推出了一个名为Cradle的创新AI框架。

IP:66.11.7.*

上观新闻APP介绍

APP图标

2023澳门精准正版资料大全APP名:上观新闻

版本:V1.30.601

更新时间:2024-10-01 23:22

新奥门资料大全正版资料2024这是一个功能强大的管家婆一码中一肖资料大全APP,可以帮助你完成各种任务。包括最新24小时热点资讯,今日最新:Cradle:迄今为止第一个既能玩多种商业游戏又能操作各种软件应用的AI框架。

澳门最准一肖一码一码公开管家婆APP介绍

APP图标

2024最新奥马免费资料生肖卡APP名:上观新闻

版本:V1.49.809

更新时间:2024-10-01 24:18

2023今晚香港开特马开什么这是一个功能强大的新澳历史开奖最新结果查询今天APP,可以帮助你完成各种任务。包括最新24小时热点资讯,今日最新:这一框架标志着AI领域的一项重要进展,尽管尚处于早期发展阶段,但它已经展示了AI与人类交互方式的潜在转变。

2024澳门管家婆资料大全APP介绍

APP图标

新澳门开奖结果2023开奖记录查询APP名:上观新闻

版本:V3.64.368

更新时间:2024-10-01 19:19

新澳彩资料免费资料大全33图库这是一个功能强大的管家婆一码一肖资料大全APP,可以帮助你完成各种任务。包括最新24小时热点资讯,今日最新:com/baai-agents/cradleLivePortrait近日,快手和复旦大学、中科大共同研发的LivePortrait开源了。

2024新澳今晚资料APP介绍

APP图标

澳门2023年今晚开奖号码APP名:上观新闻

版本:V7.22.946

更新时间:2024-10-01 17:16

香港期期准资料大全这是一个功能强大的澳门六开彩资料查询最新2024APP,可以帮助你完成各种任务。包括最新24小时热点资讯,今日最新:这些技能也可以预定义或组合以解决更复杂的任务。

2023澳门全年资料免费大全APP介绍

APP图标

2023澳门正版开奖结果APP名:上观新闻

版本:V7.55.835

更新时间:2024-10-01 23:22

新澳彩开奖记录2024年最新消息这是一个功能强大的2024澳门天天开好彩大全APP,可以帮助你完成各种任务。包括最新24小时热点资讯,今日最新:技能和动作生成:Cradle利用LMM生成代码函数作为语义级别的技能,这些技能封装了较低级别的键盘和鼠标控制,将LMM生成的语义动作与操作系统级别的可执行动作连接起来。

管家婆一肖一马最早出图APP介绍

APP图标

2024新澳免费资料APP名:上观新闻

版本:V9.76.528

更新时间:2024-10-01 16:22

澳门一肖一码100精准这是一个功能强大的2023今晚必开一肖一码APP,可以帮助你完成各种任务。包括最新24小时热点资讯,今日最新:LivePortrait:可控人像视频生成AI框架,能够准确、实时地将驱动视频的表情、姿态迁移到静态或动态人像视频上,生成极具表现力的视频结果。

澳门三肖三码期期准精选牛APP介绍

APP图标

2023澳门今晚开奖直播APP名:上观新闻

版本:V8.94.299

更新时间:2024-10-01 20:24

2024年管家婆的马资料这是一个功能强大的新澳门一码一肖100精确APP,可以帮助你完成各种任务。包括最新24小时热点资讯,今日最新:从提升游戏体验到优化办公效率,Cradle为AI的实用性和普及性开辟了新的道路。

新澳彩资料免费长期公开四大才子APP介绍

APP图标

2024年新奥门免费资料APP名:上观新闻

版本:V5.79.353

更新时间:2024-10-01 19:18

新澳今天最新资料这是一个功能强大的2023年香港港六开奖结果今天APP,可以帮助你完成各种任务。包括最新24小时热点资讯,今日最新:类似于人类在游戏中的逐步提高,这些技能可以根据游戏教程、指南、游戏手册和设置获得,也可以是自我成长。