📢 #Gate广场征文活动第三期# 正式启动!
🎮 本期聚焦:Yooldo Games (ESPORTS)
✍️ 分享独特见解 + 参与互动推广,若同步参与 Gate 第 286 期 Launchpool、CandyDrop 或 Alpha 活动,即可获得任意奖励资格!
💡 内容创作 + 空投参与 = 双重加分,大奖候选人就是你!
💰总奖池:4,464 枚 $ESPORTS
🏆 一等奖(1名):964 枚
🥈 二等奖(5名):每人 400 枚
🥉 三等奖(10名):每人 150 枚
🚀 参与方式:
在 Gate广场发布不少于 300 字的原创文章
添加标签: #Gate广场征文活动第三期#
每篇文章需 ≥3 个互动(点赞 / 评论 / 转发)
发布参与 Launchpool / CandyDrop / Alpha 任一活动的截图,作为获奖资格凭证
同步转发至 X(推特)可增加获奖概率,标签:#GateSquare 👉 https://www.gate.com/questionnaire/6907
🎯 双倍奖励机会:参与第 286 期 Launchpool!
质押 BTC 或 ESPORTS,瓜分 803,571 枚 $ESPORTS,每小时发放
时间:7 月 21 日 20:00 – 7 月 25 日 20:00(UTC+8)
🧠 写作方向建议:
Yooldo
Stability AI火速发布Llama 2微调模型FreeWilly,性能媲美ChatGPT!网友惊呼游戏规则已改变
来源:新智元
Meta的Llama 2一发布,就引爆了整个开源社区。
正如OpenAI科学家Karpathy所说,对于整个大语言模型领域来说,这是极其重要的一天。在开放权重的所有模型中,Llama 2是最强大的一个。
从此,开源大模型与闭源大模型的差距将进一步缩小,构建大模型的机会,从此对所有开发者都是平等的。
就在刚刚,Stability AI和CarperAI实验室联合发布了基于LLaMA 2 70B模型的微调模型——FreeWilly2。
以及,基于LLaMA 65B原始模型微调的——FreeWilly1。
在各项基准测试中,FreeWilly2都展现出了卓越的推理能力,甚至有部分任务还超过了GPT-3.5。
这两款模型都是研究实验,并在非商业许可下发布。
数据生成与收集
Stability AI表示,FreeWilly模型的训练是受到了微软论文《Orca: Progressive Learning from Complex Explanation Traces of GPT-4》的直接启发。
不过,虽然数据生成过程类似,但来源却有所不同。
FreeWilly的数据集变体包含有60万个数据点(大约是原始Orca论文使用的数据集大小的10%),并通过使用Enrico Shippole创建的高质量指令数据集,对模型进行了引导:
COT Submix Original
NIV2 Submix Original
FLAN 2021 Submix Original
T0 Submix Original
通过这种方法,Stability AI使用了一个较简单的LLM模型生成了50万个示例,再使用一个更复杂的LLM模型生成了额外的10万个示例。
尽管训练样本量仅为原始Orca论文的十分之一,但由此生成的FreeWilly模型,不仅在各种基准测试中都表现出色,而且也验证了合成生成数据集方法的可行性。
模型性能的评估
在性能评估方面,Stability AI的研究人员采用了EleutherAI的lm--harness,并加入了AGI。
从结果来看,FreeWilly在很多方面都表现出色,包括复杂的推理、理解语言的微妙之处,以及回答与专业领域相关的复杂问题(如法律和数学问题解决)。
基本上,FreeWilly 2已经实现了与ChatGPT相当的水平,甚至在有些评测上更胜一筹。
可以看到,在Open LLM排行榜上,FreeWilly 2以绝对领先的优势排在第一,平均得分比原始版的Llama 2高了4个百分点。
为了开放的未来
可以说,FreeWilly1和FreeWilly2为开源大语言模型树立了新的标准。
这两个模型的推出,不仅极大地推进了相关领域的研究,增强了自然语言理解能力,而且还支持复杂任务的完成。
Stability AI表示,团队为这些模型能AI社区带来的无限可能感到非常兴奋,并期待着那些因它们而激发出全新应用。
此外,也衷心感谢充满激情的研究人员、工程师和合作伙伴团队,是他们的卓越努力和奉献,使Stability AI能够达到这一重要里程碑。
激动人心的时刻
模型一经发布,网友「Phil Howes」就利用Tuhin Srivastava的Llama v2框架,在不到一分钟时间就完成了FreeWilly 2的实现。
经过275GB的权重加载后,模型的运行速度在开箱即用的情况下达到了23 token/s。