1.从周五到周末ChatGPT已经疯传开来，其对话能力让人惊艳。从玩梗、写诗、写剧本，到给程序找bug，帮人设计网页，甚至帮你生成AIGC的提示词，一副无所不能的样子。可以去Twitter上看BenTossell梳理的一些例子，或者自己去试试！一位MBA老师让ChatGPT回答自己的管理学题目，结论是以后不能再布置可以带回家的作业了。很多人用了以后无法自拔，就如这位所见：
Musk问ChatGPT怎么设计Twitter(不得不说还挺有创意）：
2.有人让ChatGPT参加了智商测试，得分83;SAT测试得分1020，对应人类考生52%分位。要知道ChatGPT并没有对数学方面做过优化，已经是相当不错的结果了。
房地产经纪人或已接受与SBF相关的华盛顿特区房产的报价:金色财经报道，一个身份不明的买家可能很快就会拥有SBF在华盛顿特区国会山附近的一处房产。据Realtor上的一个最新帖子，华盛顿特区的这处房产被列为\"或有\"，表明处理该交易的一方已经接受了报价，但交易还没有最终完成。据报道，这栋位于美国国会大厦附近的联排别墅属于Guarding Against Pandemics，这是一个由FTX前CEO的兄弟Gabriel Bankman-Fried成立的非营利组织。
此前1月报道，该房产据称是由SBF挪用的FTX用户资金购买的，已经从房地产列表中删除。Realtor在发布时的列表显示价格为300万美元，而现有的照片并没有表明房子有任何加密货币或区块链设计。[2023/6/20 21:48:27]
3.ChatGPT的提升点
相比之前的GPT-3，ChatGPT的提升点在于能记住之前的对话，连续对话的感觉让人舒服。
WeMade对WEMIX遭下架一事对韩国各相关交易所提起诉讼:12月2日消息，今日上午韩国首尔中央地方法院对韩国游戏巨头WeMade就“Upbit等加密交易所下架WEMIX代币一事”申请的临时禁令进行了首次审讯。法庭当天表示:“结束审理后，将在12月7日之前得出结论。”并要求双方在12月5日之前提交补充资料。
WeMade一共提起了三起诉讼，被告分别是Dunamu（Upbit）、Bithumb Korea、Coinone和Korbit。据悉，Upbit、Bithumb、Coinone、Korbit和Gopax此前宣布下架WEMIX的时间为12月8日。
此前消息，Bithumb、Upbit等多家韩国交易所宣布将下架WEMIX代币。WeMade CEO将WEMIX遭下架的原由指向Upbit，控诉其滥用权力且对项目区别对待。韩国DAXA回应称，此决定为各交易所达成的共识，WEMIX未能通过披露恢复其受损的信任。（Forth Journal）[2022/12/2 21:17:47]
ChatGPT可以承认错误，如果你认为他的回答不对，你可以让他改正，并给出更好的答案。
ChatGPT可以质疑不正确的前提，GPT-3刚发布后很多人测试的体验并不好，因为AI经常创造虚假的内容，而现在再问“哥伦布2015年来到美国的情景”这样的问题，AI已经知道哥伦布不属于这个时代了。
研究人员：闪电网络中的漏洞可以通过大规模双花攻击窃取超过750BTC:金色财经报道，伊利诺伊大学的两位研究人员 Cosimo Sguanci 和 Anastasios Sidiropoulos 发表了一篇论文，发现了闪电网络中的漏洞，他们使用恶意节点可以串通攻击的假设案例解释了Layer 2网络中的漏洞。只有30个节点的联盟可以通过僵尸攻击将 31%的通道的资金锁定约2个月，并可以通过大规模双花攻击窃取超过 750 BTC（约1800万美元）。
研究人员表示，这两次攻击利用比特币区块链上的拥塞对闪电网络造成损害。如果发生双花攻击，可能是最灾难性的。随着网络的不断发展，严重性只会增加，因此需要立即有效地处理漏洞。[2022/8/13 12:22:58]
ChatGPT还采用了注重道德水平的训练方式，按照预先设计的道德准则，对不怀好意的提问和请求“说不”；当然，尽管OpenAI非常小心，这种准则还是可能被聪明的提问方式绕开。
4.ChatGPT的训练方法
当下大模型的工作范式是“预训练-微调”。首先在数据量庞大的公开数据集上训练，然后将其迁移到目标场景中，通过目标场景中的小数据集进行微调，使模型达到需要的性能。微调/prompt等工作从本质上对模型改变并不大，但是有可能大幅提升模型的实际表现。人类问问题方式对于GPT-3而言不是最自然的理解方式，要么改造任务，要么微调模型，总之是让模型和任务更加匹配，从而实现更好的效果。
ChatGPT是22年1月推出的InstructGPT的兄弟模型。InstructGPT增加了人类对模型输出结果的演示，并且对结果进行了排序，在此基础上完成训练，可以比GPT-3更好的完成人类指令。ChatGPT新加入的训练方式被称为“从人类反馈中强化学习”。
Votorantim集团与淡马锡合作推出7亿美元基金投资于巴西:金色财经消息，在周二的一份联合声明中，巴西的 Votorantim 集团和新加坡的淡马锡控股联手推出了一项 7 亿美元的基金，用于投资巴西公司。
两家公司表示，该投资基金名为 23S Capital，将瞄准巴西经济高增长领域的长期投资。
23S Capital 的首席执行官 Matheus Villares 表示：“我们的投资任务将专注于巴西和全球的高潜力趋势，重点是巴西经济各个领域的新商业模式和技术。”（dealstreetasia）[2022/8/10 12:14:04]
ChatGPT是基于GPT-3.5模型，训练集基于文本和代码，在微软AzureAI服务器上完成训练。原先GPT-3的训练集只有文本，所以这次新增了代码理解和生成的能力。
5.为什么ChatGPT的提升这么明显
除了带有记忆能力、上下文连续对话能带给人显著的交互体验提升，ChatGPT的训练方式也值得关注。上述提到的RLHF方法首见于22年3月发表的论文(Traininglanguagemodelstofollowinstructionswithhumanfeedback)，但根据业界的推测，RLHF并未用到InstructGPT的训练中。InstructGPT所用到的text-davinci-002遇到了一些问题，会呈现出模式坍塌(modecollapse)现象，不管问他什么问题，经常收敛到同样的答案，比如正面情绪相关的回答都是跟婚礼派对相关。
币安将推迟UST合约置换计划:5月11日消息，币安将推迟UST（Shuttle）与UST（Wormhole）的合约置换，现已恢复UST（Shuttle）在BNBChain（BEP20）、以太坊（ERC20）和Polygon网络的充值、提现业务，关于UST（Shuttle）合约置换的最新进展，将另行公告。
注：4月29日，币安公布UST合约置换计划，置换完成后，??UST（Shuttle）将更名为WUST??，此外??UST（Wormhole）将继续使用??相同的??UST代码及图标。[2022/5/11 3:06:59]
这次RLHF的方法得以在ChatGPT上应用，并取得了很好的效果。但RLHF实际上并不容易训练，强化学习很容易遇到模式坍塌，反馈过于稀疏这类问题，训练起来很困难。这可能也是为什么论文在3月发表，ChatGPT在12月才上线，中间需要大量的时间来调优。
此外，指令调整的贡献也很大。InstructGPT虽然在参数上比GPT-3少了100倍，它的输出效果比GPT-3以及用监督学习进行微调的模型都要好得多。
根据知乎用户“避暑山庄梁朝伟”的观点：“InstructionTuning和Prompt方法的核心一样，就是去发掘语言模型本身具备的知识。而他们的不同点就在于，Prompt是去激发语言模型的补全能力，比如给出上半句生成下半句、或者做完形填空，都还是像在做languagemodel任务，而InstructionTuning则是激发语言模型的理解能力，通过给出更明显的指令，让模型去理解并做出正确的反馈。”
参考下图，以前大模型的提升重心更多放在了大模型本身和PromptEngineering上，而ChatGPT的迭代重点是右侧的闭环。
action-drivenLLM训练流程图
最后，ChatGPT在过于保守不提供有效回答和提供虚假信息之间做出了较好的权衡。之前Meta用于科研的大模型Galactica上线仅3天就被迫下线，因为提供了过多虚假的信息。这跟Meta的宣传策略也有关，其本意是想帮助研究人员整理信息、辅助写作，但Meta将其模型宣传为“可以总结学术论文，解决数学问题，生成维基文章，编写科学代码，为分子和蛋白质做注解等”，过高期望带来了反效果，科研人员本来就是挑剔的。ChatGPT尽管不能完全避免虚假信息的问题，但可以看出在微调/Prompt方面做了足够细致的工作，一些自相矛盾的提问可以被甄别出来，让用户对其回答更有信心。
6.商业策略也是重要一环
这次ChatGPT是免费不限量向公众开放，用户可以尽情在平台上尝试各种奇异疯狂的想法，而此前GPT-3是根据使用量(token)来收费的。在使用过程中，用户可以提供反馈，这些反馈是对OpenAI最有价值的信息。OpenAI并不急于创收也不缺钱，坊间传言最新一轮估值已经达到数百亿美金，还有金主爸爸微软。
对于AI发展来说，工程的重要性实际上大于科学，创建一个迭代反馈的闭环至关重要。OpenAI很注重商业应用，GPT-3已经拥有大量客户。这些客户跟OpenAI的反馈互动也是推动进步的关键一环。相比之下，谷歌的闭门造车就显得不合时宜，或许是缺乏商业化的文化，或许是受限于投入产出比，谷歌对于大模型的应用一直很“克制”，即便起点很高，但如果一直像Waymo做自动驾驶一样小规模迭代，早晚会被更为开放，获得更多数据的企业超越。
7.后续提升点
RLHF是一种较新的方法，随着OpenAI不断摸索，结合ChatGPT搜集到的用户反馈，模型还有进一步提升的空间。尤其是在道德/alignment层面，需要屏蔽掉这几天大家试验出来的绕过系统限制产生负面信息的方法。
当然也别忘了，OpenAI还有WebGPT这样的工具，可以理解为高阶版网页爬虫，从互联网上摘取信息来回答问题，并提供相应出处。比如下面的问题Howdoneuralnetworkswork，WebGPT利用了GPT-3本身具备的语义理解能力和互联网公开信息，自己结合出了一份答案，不失为一种升级的搜索能力。
在MITTechnologyReview对OpenAI科学家的采访中，他们提到了后续有可能将ChatGPT和WebGPT的能力结合起来。有网友挖掘出了ChatGPT内设的提示词，其中包含browsing:disabled，把浏览网页能力关闭了，也就是说后续有可能加入这个能力。可以设想，ChatGPT+WebGPT可以产生更为有意思的结果，信息可以实时更新，对于事实真假的判断将更为准确。
与WebGPT的这种结合，对应到上面?action-drivenLLM训练流程图?的左半部分，即连接外部的信息源和工具库。事实上网页搜索只是一种可能，还结合利用各种工具，实现更丰富的功能。
在产品层面，是不是有更好的界面和实现方式也值得讨论。同屏对话框形式容易让人产生过高的预期，因为要保障对话的流畅性。在这一点上，GithubCopilot产品就做得很好，Copilot主打的是programmingpair，以伙伴的身份提出建议。从用户角度，这个建议好就接受，不好就不接受；即便提出了很多不被接受的建议，但在随机时间间隔产生的有效建议带来的爽感就会让用户上瘾。如果ChatGPT后续成为写作助手、编剧助手、工作助手等等，类似Copilot的产品形态会容易让人接受。
写在最后
很多人惊叹于ChatGPT的能力，但其实真正惊艳的还在后面。OpenAI最厉害的不是他关于大模型的理解，而是其工程化、迭代反馈的能力，以及alignment(AI跟人类目标的统一）方面的工作。很欣赏OpenAICEOSamAltman的一句话：“Trusttheexponential.Flatlookingbackwards,verticallookingforwards.”?我们就处在即将起飞的这个点上。
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。