📢 Gate广场 #MBG任务挑战# 发帖赢大奖活动火热开启!
想要瓜分1,000枚MBG?现在就来参与,展示你的洞察与实操,成为MBG推广达人!
💰️ 本期将评选出20位优质发帖用户,每人可轻松获得50枚MBG!
如何参与:
1️⃣ 调研MBG项目
对MBG的基本面、社区治理、发展目标、代币经济模型等方面进行研究,分享你对项目的深度研究。
2️⃣ 参与并分享真实体验
参与MBG相关活动(包括CandyDrop、Launchpool或现货交易),并晒出你的参与截图、收益图或实用教程。可以是收益展示、简明易懂的新手攻略、小窍门,也可以是现货行情点位分析,内容详实优先。
3️⃣ 鼓励带新互动
如果你的帖子吸引到他人参与活动,或者有好友评论“已参与/已交易”,将大幅提升你的获奖概率!
MBG热门活动(帖文需附下列活动链接):
Gate第287期Launchpool:MBG — 质押ETH、MBG即可免费瓜分112,500 MBG,每小时领取奖励!参与攻略见公告:https://www.gate.com/announcements/article/46230
Gate CandyDrop第55期:CandyDrop x MBG — 通过首次交易、交易MBG、邀请好友注册交易即可分187,500 MBG!参与攻略见公告:https://www.gate.com/announcements
Stability AI火速发布Llama 2微调模型FreeWilly,性能媲美ChatGPT!网友惊呼游戏规则已改变
来源:新智元
Meta的Llama 2一发布,就引爆了整个开源社区。
正如OpenAI科学家Karpathy所说,对于整个大语言模型领域来说,这是极其重要的一天。在开放权重的所有模型中,Llama 2是最强大的一个。
从此,开源大模型与闭源大模型的差距将进一步缩小,构建大模型的机会,从此对所有开发者都是平等的。
就在刚刚,Stability AI和CarperAI实验室联合发布了基于LLaMA 2 70B模型的微调模型——FreeWilly2。
以及,基于LLaMA 65B原始模型微调的——FreeWilly1。
在各项基准测试中,FreeWilly2都展现出了卓越的推理能力,甚至有部分任务还超过了GPT-3.5。
这两款模型都是研究实验,并在非商业许可下发布。
数据生成与收集
Stability AI表示,FreeWilly模型的训练是受到了微软论文《Orca: Progressive Learning from Complex Explanation Traces of GPT-4》的直接启发。
不过,虽然数据生成过程类似,但来源却有所不同。
FreeWilly的数据集变体包含有60万个数据点(大约是原始Orca论文使用的数据集大小的10%),并通过使用Enrico Shippole创建的高质量指令数据集,对模型进行了引导:
COT Submix Original
NIV2 Submix Original
FLAN 2021 Submix Original
T0 Submix Original
通过这种方法,Stability AI使用了一个较简单的LLM模型生成了50万个示例,再使用一个更复杂的LLM模型生成了额外的10万个示例。
尽管训练样本量仅为原始Orca论文的十分之一,但由此生成的FreeWilly模型,不仅在各种基准测试中都表现出色,而且也验证了合成生成数据集方法的可行性。
模型性能的评估
在性能评估方面,Stability AI的研究人员采用了EleutherAI的lm--harness,并加入了AGI。
从结果来看,FreeWilly在很多方面都表现出色,包括复杂的推理、理解语言的微妙之处,以及回答与专业领域相关的复杂问题(如法律和数学问题解决)。
基本上,FreeWilly 2已经实现了与ChatGPT相当的水平,甚至在有些评测上更胜一筹。
可以看到,在Open LLM排行榜上,FreeWilly 2以绝对领先的优势排在第一,平均得分比原始版的Llama 2高了4个百分点。
为了开放的未来
可以说,FreeWilly1和FreeWilly2为开源大语言模型树立了新的标准。
这两个模型的推出,不仅极大地推进了相关领域的研究,增强了自然语言理解能力,而且还支持复杂任务的完成。
Stability AI表示,团队为这些模型能AI社区带来的无限可能感到非常兴奋,并期待着那些因它们而激发出全新应用。
此外,也衷心感谢充满激情的研究人员、工程师和合作伙伴团队,是他们的卓越努力和奉献,使Stability AI能够达到这一重要里程碑。
激动人心的时刻
模型一经发布,网友「Phil Howes」就利用Tuhin Srivastava的Llama v2框架,在不到一分钟时间就完成了FreeWilly 2的实现。
经过275GB的权重加载后,模型的运行速度在开箱即用的情况下达到了23 token/s。