前言

有时候，感觉自己的电脑有点力不从心（本机只配了一张2080的显卡），尤其是在跑cuda 程序的时候，比如大模型的落地推理。

查看了一些云上的GPU服务器，普遍都是需要收费的。但是，发现魔塔社区提供了一个GPU云服务器试用的机会，我的账号还可以用36小时呢。

我试了试，还挺好用的，下面是我的体验。

1、登录modelscope

关注阿里云账号：

等录阿里云账号后进行授权，然后就可以看到：

我这里还有36小时的剩余额度。

2、启动GPU环境

2.1、开始启动

2.2、选择GPU环境

3、点击进入Notebook编辑运行

3.1、进入Notebook编辑环境

点击“知道了”，如下图：

3.2、先进入Terminal看看

采用Terminal查看显卡型号：

查看了GPU型号，并特意问了Chatgpt

3.3、新建Python文件进行测试

Python文件中填入内容：

在Terminal中开始运行这个Python程序，如下图：

可见服务器针对服务器下载文件非常的快捷。

出现了一个运行错误，如下图：

将transformers的版本改为4.40.0,

再次运行：python chatGLM3_cpu.py

错误已经消除了。发现可以较快的获取答案了，如下图：

运行时间只需要50秒，比本机运行快了5倍

本地本机的运行图：

4、关闭Notebook和实例

先关闭Notebook，再关闭实例，下次再用，否者剩余时间会持续减少。

更多相关的文章，可以访问作者本人在csdn的技术博客：

https://blog.csdn.net/quickrubber