7.4方式4:服务器部署(了解)。
服务器可以是物理机,也可以是云服务器。举例几种性价比配置如下:Mac Studio运行3-bit量化的版本,在这些硬件上的运行速度可达到10+token/秒。
最后还有一种方式叫做服务器的部署,对于绝大部分的兄弟来讲做一个了解就行,因为它主要是适用于企业的,也就是说在企业当中如果想自由化部署满血版的ROI模型,就是671B的版本,就可以看一看它。因为这个版本需要的硬件配置比较高,就得使用服务器了。

可以是公司自己实打实的买的物理机的服务器,也可以是租用的阿里云或者华为云这种云服务器,都是 ok 的。
首先就是下载模型的大小,这在欧拉曼的官网当中也能看得到是404GB,但是如果安装以后还有缓存等等的,建议得有500GB以上的空间。下面是列举着几种有性价比的配置,大家有需要做一个参考就行,这就不一一去说了。
具体的部署的方式跟刚才个人电脑部署方式其实是一样的,就是在服务器的操作系统当中下载欧拉玛的客户端,然后运行欧拉玛,去下载满血版的模型,接着通过客户端来进行访问调用就ok了,跟个人版的其实是一样的。
最后一种方式做一个了解就行。