来源：量子位
从Meta的LLaMA发展出的羊驼家族一系列大模型，已成为开源AI重要力量。
但LLamA开源了又没全开，只能用于研究用途，还得填申请表格等，也一直被业界诟病。
好消息是，两大对标LLaMA的完全开源项目同时有了新进展。
可商用开源大模型来了，还一下来了俩：
MosaicML推出MPT系列模型，其中70亿参数版在性能测试中与LLaMA打个平手。
Together的RedPajama系列模型，30亿参数版在RTX2070游戏显卡上就能跑。
首次大裁员后扎克伯格答员工疑问：两大即时通讯软件早已为Meta盈利:金色财经报道，扎克伯格当天在一次公司范围的内部会议上回答了一些尖锐问题。他称与Meta旗下的两款社交平台脸书和Instagram相比，WhatsApp和Messenger“很早就开始盈利了”。扎克伯格说，虽然人们经常谈论元宇宙的长期投资机会，但随着Meta努力让WhatsApp和Messenger更多地盈利，这两款即时通讯软件将成为Meta“业务的下一个主要支柱”。[2022/11/18 13:21:07]
对于这些进展，特斯拉前AI主管AndrejKarpathy认为，开源大模型生态有了寒武纪大爆发的早期迹象。
MPT，与LLaMA五五开
动态 | 比特币长期价值受两大因素推动:据bitcoin.com 12月12日报道，Delphi Digital发布了一份名为《比特币现状》的报告。报告指出两大因素支撑着比特币长期存在价值：“比特币的长期价值受两大因素推动： 1、它是一种抗审查的价值储存手段； 2、它是一种与国家行为无关数字储备货币。”[2018/12/12]
MPT系列模型，全称MosaicMLPretrainedTransformer，基础版本为70亿参数。
MPT在大量数据上训练，与LLaMA相当，高于StableLM，Pythia等其他开源模型。
支持84ktokens超长输入，并用FlashAttention和FasterTransformer方法针对训练和推理速度做过优化。
在各类性能评估中，与原版LLaMA不相上下。
动态 | 美国两大监管机构发布关于数字货币投资虚假声明的警告:据Bitcoinexchangeguide报道，美国证券交易委员会（SEC）和商品期货交易委员会（CFTC）近日发布了关于数字货币投资虚假声明的警告。根据该机构官方声明，欺诈者可能会使用虚假声明来诱投资者并购买数字货币和其他代币，例如ICO提供的代币。SEC通报称，“当有人声称于任何联邦政府机构有关联时，请不要相信此人提供的投资信息，并且在向任何你不认识的人提供个人信息时要保持谨慎”。[2018/10/15]
除了MPT-7BBase基础模型外还有三个变体。
MPT-7B-Instruct，用于遵循简短指令。
MPT-7B-Chat，用于多轮聊天对话。
MPT-7B-StoryWriter-65k+，用于阅读和编写故事，支持65ktokens的超长上下文，用小说数据集微调。
MosaicML由前英特尔AI芯片项目Nervana负责人NaveenRao创办。
公告 | FORTUNA方图公链测试网络与web钱包上线，FOTA同步上线两大新交易所:2018年6月25日，方图公有链测试网络成功上线，目前支持创建账户、转账、注册代理人、投票、区块与交易查询等功能。同时，首款web版数字钱包提前发布。此外，方图代币FOTA将上线两大全新交易所，累计上线海外交易所11家。[2018/6/25]
该公司致力于降低训练神经网络的成本，推出的文本和图像生成推理服务成本只有OpenAI的1/15。
一线监管紧盯伪区块链概念 沪深两大交易所同时发声敲打区块链炒作 :目前，A股有几十家上市企业涉及区块链概念，不乏许多伪区块链概念，一线监管开始紧盯，近期沪深两大交易所同时发声敲打区块链炒作。分析认为，相关概念股需要更多实际业务的落地来回应质疑。同时，也需要市场上对它们有一定的耐心，区块链技术从概念验证到真正的业务落地确实需要几年的时间来摸索。[2018/2/22]
RedPajama，2070就能跑
RedPajama系列模型，在5TB的同名开源数据上训练而来。
除70亿参数基础模型外，还有一个30亿参数版本，可以在5年前发售的RTX2070游戏显卡上运行。
目前70亿版本完成了80%的训练，效果已经超过了同规模的Pythia等开源模型，略逊于LLamA。
预计在完成1Ttokens的训练后还能继续改进。
背后公司Together，由苹果前高管VipulVedPrakash，斯坦福大模型研究中心主任PercyLiang，苏黎世联邦理工大学助理教授张策等人联合创办。
开源模型发布后，他们的近期目标是继续扩展开源RedPajama数据集到两倍规模。
OneMoreThing
来自南美洲的无峰驼类动物一共4种，已被各家大模型用完了。
Meta发布LLaMA之后，斯坦福用了Alpaca，伯克利等单位用了Alpaca，JosephCheung等开发者团队用了Guanaco。
以至于后来者已经卷到了其他相近动物，比如IBM的单峰骆驼Dromedary，Databricks的Dolly来自克隆羊多莉。
国人研究团队也热衷于用古代传说中的神兽，如UCSD联合中山大学等推出的白泽。
港中文等推出的凤凰……
最绝的是哈工大基于中文医学知识的LLaMA微调模型，命名为华驼。
参考链接：
https://www.mosaicml.com/blog/mpt-7b
https://www.together.xyz/blog/redpajama-models-v1
https://twitter.com/karpathy/status/1654892810590650376?s=20
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。