羿阁 衡宇 发自 凹非寺
你说，咱今天可以不加班不？
不，到点走不了，今天这班你必须得加。
如此冷冰冰的回答，来自一个可以免费调戏千亿参数大模型的网站：
这个网站是依托Meta AI开源的预训练语言模型OPT-175B做的，背后团队来自加州大学伯克利分校。
最近该网站在twitter有点火。
再加上不用注册，可以“白嫖”，不少人一边大呼Nice，一边已经去网站“到此一游”了。
如果你之前不知道它，不妨现在跟我们去玩一玩。
这是一个什么网站？
网站主页整个看起来还挺清爽，最重要的是位于页面中心的输出和输入框。
在上方的输入框敲入你需要的内容，点击一下左下角的蓝色按钮，再等上那么一会儿，你就能得到结果了。
目前可以实现的功能有：询问事实，直接聊天，航班代码，多语言翻译，加密货币，代码，计算数学……
比如把你想要回家的迫切心情翻译一下：
或者来点儿数学题：
为了使用起来更简便，网站上只给了三个生成参数：
响应时长、温度参数和Top-p。
在初始设置值下，无论输入句的长与短，响应时长都需要20来秒的时间。
我们试了一下，把这一参数极限往左或往右拉，发现响应时长大概是维持在10-90秒这个区间里。
温度参数控制采样分布的尖锐程度，较低的温度会促使生成器从模型中选择得分较高的token。
Top-p从累计概率超过p的最小可能单词集中抽样，较小的p值会阻止生成器从模型中选取分数较低的token。
如果用户现在就想尝试更多的超参数，在网站上体验不同的生成技术，可以通过使用团队做出的一个系统Alpa（用来训练和服务大模型），自己增加相关服务的设置。
他们目前在开发一个RESTFUL API 来公开完整的参数集，后续可以关注一下。
因为采用的是随机抽样，所以针对同一个问题，每一次生成的结果都会有所不同。
比如，前后两次想让网站帮忙解决“中午吃啥”这个千古难题，它一会儿推荐你吃三明治，一会儿推荐你吃沙拉。
（总之是非常健康了）
在隐私保密这一块，网站称不会存储输入的内容，只会记录输入词长度这一类东西。
团队还说了，对于没多少AI相关背景，还想了解接触一下AI生态系统的人来说，网站挺容易上手。
为了验证友好性，我们找来一个AI小白玩儿了一下这个网站。
打开网站，这位旁友啥参数也没动，单刀直入，在输入框里明目张胆地输入了
让我们邀请读者在阅读这篇文章后，关注我们的公号吧。
21.7秒后，网站和我们一起面带热情的微笑，暗（ming）示（shi）你记得关注量子位（手动狗头）。
网站背后的技术依托
要想搞清网站背后的原理，首先，让我们先了解一下它为什么会选择OPT-175B做原型。
OPT-175B，是Meta AI开源的预训练语言模型，共有1750亿个参数，今年5月开源的时候，简直引发了AI研究社区的大轰动。
原因是它的效果完全不输GPT-3，还弥补了OpenAI不够open的问题，有时候被大家戏称为GPT-3的免费版本。
△用14个NLP任务对GPT和OPT进行测试，平均精度相差不大
不仅从完整模型到训练代码、部署代码完全开放，OPT-175B运行时的碳消耗更是连GPT-3所需的1/7都不到，属实是非常环保省能了。
可以说，OPT-175B的开源增加了大模型开发的开放性。
而这个神奇网站背后的技术Alpa，则堪称是OPT-175B的“加强免费版”。
Alpa，是一个专门用于训练和服务大规模神经网络的系统。
此前，无论是OpenAI的GPT-3，还是Meta AI的OPT-175B，都已经实现了将神经网络扩展到数千亿参数。
但是呢，神经网络规模越大，训练和服务他们的分布式系统技术就更复杂。
现有的模型并行训练系统，要么要求用户手动创建一个并行化计划，要么要求用户从有限的模型并行化配置空间中自动生成一个。
相对来说有点复里复杂的，而且还做不到在分布式计算设备上扩展复杂的DL模型。
Alpa的优势在于，仅通过几行代码，就能实现大规模分布式训练和服务的自动并行化。
具体来说，Alpa的突破之处有以下几点：
专为大型模型设计：Alpa在分布式集群上实现了数十亿参数的训练模型的线性缩放，专为训练和服务于GPT-3等大型模型而设计。
没有硬件限制：不依赖最新一代的A100 80GB GPU或花哨的InfiniBand硬件，凭借自家的GPU集群即可使用OPT-175B，特别是在40GB A100、V100等老一代GPU上也能提供更灵活的并行性服务。
灵活的并行策略：Alpa能够根据集群设置和模型架构，自动找出适当的模型并行策略。
而且Alpa由Jax、XLA和Ray等开源、高性能和生产就绪的库提供支持，和ML生态系统集成得比较紧密。
网站的建立，就是团队在Alpa的基础上，根据Meta AI已开源的OPT-175B，做了一个类似OpenAI GPT-3的服务。
运行成本更低，并行化技术更先进，所以可以做到免费供所有人使用。
当然，网站使用受Alpa开源许可的约束。同时因为是针对OPT-175B的，也受到相应的约束，也就是说，这个网站玩玩可以，真要应用，只能以研究为目的。
值得一提的是，有关这篇系统的论文《Alpa: Automating Inter- and Intra-Operator Parallelism for Distributed Deep Learning》已经被收录进计算机系统领域顶会OSDI 2022。
并且，该团队还在国际机器学习大会ICML 2022上，做了关于整个大模型技术栈的tutorial。
目前该项目已在GitHub上开源，链接可在文末自取。
研究团队
Alpa的研究团队主要来自加州大学伯克利分校。
共同一作有三位，分别是郑怜悯，李卓翰，张昊。
郑怜悯，加州大学伯克利分校EECS（电子工程和计算机科学）系博士，研究兴趣包括大规模ML系统、编译器、并行计算和程序合成。
郑怜悯本科毕业于上海交通大学ACM荣誉班，取得计算机科学学士学位。曾经在Amazon Web Services、OctoML和华盛顿大学担任过研究实习生。
李卓翰，加州大学伯克利分校计算机科学博士生，本科毕业于北京大学。
他的研究方向主要在ML和分布式系统的交叉点，致力于提高当前ML模型的准确性、效率、可解释性等性能。
张昊，加州大学伯克利分校RISE实验室博士后。
张昊最近致力于大规模分布式DL，构建端到端的可组合和自动化系统；还研究大规模分布式ML，涉及性能和可用性。
如果你感兴趣的话，可以戳下面的链接，自己上手体验一下～
网站demo：https://opt.alpa.ai
参考资料：[1]https://arxiv.org/pdf/2201.12023.pdf[2]https://arxiv.org/pdf/2205.01068.pdf[3]https://github.com/alpa-projects/alpa
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一时间获知前沿科技动态
用户评论
这UC伯克利的在线GPT3游戏太神器了，我试了一下，果然快到飞起！
有9位网友表示赞同！
哇塞，免费享受GPT3的智能，真香啊！
有10位网友表示赞同！
用了UC伯克利这个平台，感觉像是拥有了一个移动的AI助手。
有13位网友表示赞同！
最快10秒出结果，真是等不及想去体验一下了。
有20位网友表示赞同！
以前想申请GPT3太难了，现在网上就能用，太方便啦！
有13位网友表示赞同！
这游戏的名字取得真有意思，GPT3的魅力不容小觑啊。
有11位网友表示赞同！
我玩了一下午，感觉就像是和一个聪明的大脑对话一样。
有11位网友表示赞同！
免费还能在线玩，这UC伯克利果然是大手笔。
有16位网友表示赞同！
这款游戏让我对这个AI技术产生了浓厚的兴趣。
有15位网友表示赞同！
太惊讶了，这GPT3的能力真是让人眼前一亮。
有18位网友表示赞同！
我朋友说这个游戏能提升思维能力，我要试试看。
有6位网友表示赞同！
感觉这游戏可以帮助我在学习和工作中更有效率。
有6位网友表示赞同！
希望这样的平台能更多，让我们都能享受到科技带来的便利。
有18位网友表示赞同！
玩了这个游戏后，觉得人工智能越来越贴近我们的生活了。
有14位网友表示赞同！
这种免费提供给大众的游戏，让我感受到了科技的温暖。
有10位网友表示赞同！
这个GPT3的游戏体验真的非常好，推荐给大家试一试。
有5位网友表示赞同！
我觉得这样的游戏可以激励更多年轻人去探索人工智能领域。
有16位网友表示赞同！
10秒出结果的效率，让我对UC伯克利的技术实力更加佩服了。
有17位网友表示赞同！
免费玩GPT3的感觉太棒了，仿佛拥有了超能力一样。
有6位网友表示赞同！
这游戏的交互设计很赞，让人忍不住想多玩一会儿。
有12位网友表示赞同！