在他看来★◈,如今和大语言模型(LLM)聊天就像在使用80年代的电脑终端★◈,还没有用上图形用户界面(GUI)★◈。

  而在未来★◈,随着AI能力逐渐扩展尊龙凯时官网入口★◈,GUI将是为每个用户量身打造的流动(fluid)★◈、魔幻(magical)★◈、可交互(ephemeral)的2D画布★◈,就像你专属的操作系统★◈,实时重绘★◈、实时响应★◈。

  受此启发尊龙凯时官网入口★◈,5位来自滑铁卢大学和加拿大国家研究委员会的研究人员提出NeuralOS★◈,并打造出了一个可试玩的初版演示demo★◈。

  具体而言★◈,不管用户操作多复杂(如现在打开了哪些软件★◈、鼠标停在哪个位置★◈、光标是箭头还是输入状态等)★◈,RNN模块都能跟着“记”下来尊龙凯时官网入口★◈,保证后续反应不脱节手机现金打鱼人生就是博·(中国)z6mg★◈。

  然后Renderer渲染器根据前面记下的状态和用户操作(如点击了“浏览器”图标)手机现金打鱼★◈,直接生成对应的屏幕画面(包括窗口弹出★◈、图标变色尊龙凯时官网入口★◈、菜单展开这些视觉变化)★◈。

  为了让它学会模拟操作系统★◈,他们给它准备了一大份“学习材料”——全是Ubuntu XFCE系统(Linux轻量级桌面系统)的操作录像★◈。

  一类是随机生成的用户交互★◈。比如乱点鼠标★◈、随便拖动窗口★◈、无规律敲击键盘★◈,相当于让AI见识“各种可能性”★◈,避免只认固定操作★◈。

  另一类是由AI Agent生成的真实交互★◈。这里让AI Agent来模拟人类的正常行为★◈,比如打开浏览器★◈、输入文字★◈、关闭窗口等★◈,让AI学习“符合常理的操作逻辑”★◈。

  然后经过RNN预训练——RNN+Renderer联合训练——计划采样——将RNN输入的上下文序列加长这一训练流程后★◈,NeuralOS终于学会了根据之前的帧和用户输入(鼠标★◈、键盘)来预测下一帧屏幕图像★◈。

  画面逼真★◈:连续操作时★◈,它生成的界面变化(如从桌面到打开文件夹★◈,再到关闭窗口)看起来和真系统几乎一样尊龙官网中国官网入口★◈!★◈。

  鼠标响应准★◈:不管是移动鼠标让光标跟着动★◈,还是点击图标触发反应(如点“关机”按钮出现确认窗口)尊龙凯时登录★◈,★◈,它都能准确对应★◈。

  状态转换稳★◈:像启动应用★◈、切换窗口这类“系统状态变化”★◈,它也能可靠模拟(如点“计算器” 图标★◈,就会出现计算器窗口★◈,不会乱出别的东西)★◈。

  但它目前对键盘的精细操作处理不好★◈,尤其是快速打字时手机现金打鱼★◈,它可能跟不上每个按键的实时显示★◈,或者出现字母顺序错乱的情况手机现金打鱼★◈。

  下图展示了模型预测状态与真实状态之间的对应关系★◈,主对角线区域有明显高亮★◈,说明模型大多数预测是准确的★◈;但也存在一定比例的偏移预测★◈,说明个别状态存在混淆★◈。

  Luke Rivard★◈,目前正在滑铁卢大学计算机科学系读研尊龙凯时官网★◈。★◈,研究方向为自然语言处理(NLP)尊龙凯时官网入口★◈。

  Hongyu GuoAG尊发凯龙人生就博是正规品牌吗★◈。★◈,本科毕业于上海交大★◈,目前是加拿大国家研究委员会数字技术研究中心的高级研究员★◈。

  其研究方向为推理★◈、信息检索★◈、基准与评估等★◈,2022年获得了加拿大的CIFAR AI主席奖★◈,该奖主要由加拿大政府授予在AI领域表现突出的世界顶尖人才★◈。

  自NeuralOS论文发表后★◈,他们还提供了一个在线体验版本★◈,不过每个用户的操作演示(session)运行时★◈,后台要专门分配一块H100显卡才能跑起来★◈。

  切换“Auto Input”开关★◈,启用自动帧生成功能手机现金打鱼★◈,即当你将鼠标移入画布并保持静止2秒后自动开始★◈,每0.5秒生成一帧★◈。

  虽然现在看起来很粗糙★◈,但它展示了一个新可能——未来的“操作系统”不一定是死板的按钮尊龙凯时官网入口★◈,而是可以被AI动态“生成”的★◈。


上一篇 : z6尊龙凯时官方网站|广东公式网|香港首个AI大模型自动协同通用问答系统上线
下一篇 : d88尊龙凯时从人防到智防杭州拱墅|一女被两根凶猛挺进视频|区建筑业大会展示AI


尊龙凯时 - 人生就是博!(中国区)官网| http://www.bason-mylinear.com