“你们怎么看?”
黄仁勋的话音刚落,就有一个声音传出来:“我觉得纯扯!”
说话的是英伟达高级技术官,克里斯·马拉乔夫斯基,他接着这么说道:“将小参数ai模型作为决策核心替代原本自由的神经网络节点,在理论上就不可能行得通。”
“如果说原本的模型是一个线团,我们跑的很顺,像这么一搞,完全成了一团乱麻了!
“训练效率不仅得不到提升,还造成了极大的困恼,就我目前的测试而言,百万参数模型训练时的损失已经高达70%。
“而且,模型越大,损失也越大。到gpt4的水准,能损失到只剩千分之一不到。
“换句话说,如果要用这种方式训练gpt4,要消耗原本一千倍的算力资源!什么狗屁的死思考模型?将一万个小参数模型放一起,就类比人了?扯淡吧!”
克里斯听起来怨气颇深,自从卷耳智能科技的一百二十多项专利申请披露以来,克里斯这几天那是没有睡过一个好觉,别说类思维了,他感觉自己都快没有思维了。
不过,他得出的结论跟黄仁勋的想法是不谋而合的。
“可是耳语……”但一提到耳语,他们又都沉默了。
因为耳语事实存在,效果他们都看到了,那么就一定存在一个方案能够做到。是选择相信纪弘的一番乱扯,还是继续无头苍蝇一般的乱撞,都不是一个好的选择。
“还是要做!我们别无选择不是吗?”黄仁勋如此说道。
“我们只是硬件供应商,这些东西让搞ai的头疼去不行吗?”克里斯如此说道:
“你现在不是在中国吗?是否考虑去见一见卷耳智能科技的创始人,论gpu,全世界没有任何一家公司能比得上我们,这不是天然的合作者吗?”
克里斯是葡萄牙人,他不懂国人的思维,而黄仁勋是懂一些的,心里也是不断的摇头,如果有可能,他早就去了。
但卷耳智能科技第一个找上摩尔科技的时候他就知道,英伟达肯定是没戏的。倒不如指望openai能够知耻而后勇,赶紧赶上来。
“不过还是去见见吧,就算不成,也没有什么损失不是吗?”黄仁勋寻思,来都来了,这里离河州也不算太远。
……
别说英伟达这种业内企业了,就算是八竿子打不着的网友们,这个夜晚也都选择不眠。
时间已是深夜,科技圈还热闹的很,简直就像过大年。
而“今年”的“春晚”只有一个主角,那就是类思维模型。
“一百多项专利我全都整理了,纪大在河州大学智算中心项目的启动仪式上讲的那番话,我也反复琢磨过。
“据此,我设计了一套实施方案【从0开始训练一套类思维大模型】,源程序上传到gitee码云上了,地址是:‖gitee.com|cla*****king。有兴趣的可以下载下来一起试试,共同探讨。”
“我试了,根本不行啊,这效率,还不如直接从0搭建gpt呢!”
“你废话,专利文件肯定不可能给你披露细节的,这需要你一点点一点点的慢慢去试去调整,才能达到最佳。”
“能达到吗?我怎么觉得这就是个坑呢?我用数学模型做了一下评估,所有条件都考虑进去,看多少参数的小模型替代神经网络节点,结果是多少你们知道吗?答案是1。”
专业的it社区都是业内人士,尤其是今天,csdnblog人工智能分区更是一群ai领域大佬的聚集地。
答案是1代表什么意思,他们再明白不过了——那就是现有神经网络模型的效率就是最高的,任何改变都只会影响效率,而不会提高效率。
“把你的计算过程贴出来,我们一起看看……”
“好!”这个人名为孙博,毕业于信息科技大学本科,国科大硕士、博士,现为科学院自动化所人工智能基础前沿理论研究室研究员。
……
纪弘也在窥屏,他是csdn的老用户了,也经常会在里面发一些东西,今天从河州大学回来以后,也是照例进来看了看。
正好就看到这群人在讨论类思维模型的事儿,也就一直在盯着。
当孙博把所有的计算过程贴出来的时候,他也是第一时间就下载了下来。
计算过程极为复杂,涉及到微分、积分、线性代数、离散数学、最优化理论、信息论等一大堆学科的交叉。
如果不是最近能力一直在+0.1+0.1的不断在提升着,这么复杂的东西他都有可能看不懂。
“这人不简单呐!”好久之后,纪弘才感叹着,不知道是哪位大佬,有没有机会挖过来?
这么想着,纪弘挑了一些纯理论且不涉及机密的东西给他私信了过去:“我看博主水平非常高,对这个方向有兴趣吗?有机会可以聊聊。”
发过去之后,纪弘就没再管他,又在窥屏了。
还别说,专业的论坛不太经常冒泡的还真有几个大牛,今天趁着这个“团圆夜”全都出来了,纪弘就看到好几个。
“看样子确实是的,这个理论行不太通啊!”一位名为“人工智能杂谈”的博主说话了:
“这样我就放心了,我还以为卷耳智能科技是傻的,这么机密的东西都敢往外放。原来是假的,那就对了!”
“也不尽然是假的,小模型肯定不行,但是如果能解决一个最优化理论的问题,用一个新的东西代替这位微模型,那……”
孙博对前沿理论的研究很深,总觉得类思维模型有点儿意思,而且跟自己思考的一个最优化理论问题有所牵连,说不定这就是他那个问题得到了解决的成功过。
不过,正敲着字儿呢,他突然反应过来,自己这不是在和同事探讨问题,而是在玩技术论坛。
这是玩儿high了呀!这东西可不能往外发,也是急忙删除了这段文字,并检查了一番自己的电脑。
最后回道:“嗯,确实是假的,不过就算是假的,不试一试,你心里不痒痒吗?”
“还真是!不管真的假的,耳语系统已经事实存在了,怎么来的?不试一试肯定不会甘心的,我先跑跑看,说不定效率虽然低,但是真实效果却非常好呢?数学计算出来的结果不一定就绝对符合事实!”
“嘿嘿……”
纪弘笑着,这就是阳谋。
在自己并没有其他思路的情况下,谁能不去试一试呢?哪怕明知道这是个坑!
相信英伟达啊、openai啊,尤其是openai肯定会试一试的——白白消耗他们一大批算力资源,不管是从哪儿挪来的,那也是好事儿一桩!