AIGC实训室解决方案——大模型开发平台介绍

大模型开发平台是一款面向高校大模型教学、科研的一站式大模型开发工具。平台能够自定义调用CPU和内存资源，自由配置专门针对大模型和深度学习等任务的硬件加速器（如GPU或XPU），能够高效地执行大模型的prompt工程、大模型应用开发和大模型的微调。平台支持主流的大模型基座，支持大模型基座私有化部署，包括智谱的ChatGLM、百川的Baichuan、阿里的Qwen等，助力用户快速进行大模型的开发和微调。平台还提供了丰富大模型开发工具、整套开发环境和资源监控功能，能够灵活分配资源，方便用户轻松使用、开发、管理大模型应用。

 大模型开发平台功能简介

    1、资源看板

    提供资源监控页面，汇总系统的资源配置情况，包括CPU、GPU、内存、节点状态和任务实时数据。

     2、数据存储

     提供上传本地数据资源，支持非结构化数据和通用的表结构化数据，同时提供了数据的下载、重命名、移动和删除功能。支持将数据文件共享至公共存储空间，多用户可以复制和使用相同的数据。

     3、训练任务

     提供简单的界面操作，定义任务的入口程序、算力规格，完成任务创建，可设置定时任务功能，预定任务的启动时间。支持复制已有任务并进行修改，从而提高任务创建的效率。通过查看任务运行日志的功能，包括任务当前的状态、输出信息以及可能的错误提示，判断任务的运行成果。 

    4、微调开发

    提供开发环境列表界面可以对单用户的多个开发环境进行管理，点击链接可进入在线JupyterLab开发界面。支持大模型微调，包括Qwen-7B-Chat、chatglm2-6b、vicuna-13b、vicuna-7

   5、规格管理

   管理员可以根据需要设定CPU和GPU配额，以确保资源的合理分配。支持国产算力卡、GPU、XPU等多种硬件，包括昆仑芯、华为昇腾、天数智芯等,可以根据大模型项目要求选择适合的硬件加速器，以优化性能。

    大模型开发功能

    (1)提供资源监控页面，用于综合显示系统的资源配置概况，包括CPU、GPU、内存、节点状态以及即时任务数据，轻松了解系统资源的状况和大模型任务的实时执行情况。

    (2)支持多种数据上传，如本地数据资源、非结构化数据或通用的表结构化数据，提供一系列数据管理功能，包括下载、重命名、移动和删除，同时可将数据文件共享至公共存储空间，其余用户可以复制和使用相同的数据。

    (3)创建训练任务时，可以根据计算需求，灵活选择所需的CPU和GPU算力规格以及根据需求设定定时任务，完成任务创建。并提供多种任务管理功能，如查看所有任务、定时启动任务、复制任务、查看任务状态和执行进度、查看日志输出等。

   (4)支持对单用户的多个开发环境进行管理。支持对大模型进行微调，包括Qwen-7B-Chat、chatglm2-6b、vicuna-13b、vicuna-7b、Baichuan2-7B、Baichuan2-13B、RWKV等。支持复制现有的交互开发任务，快速创建相似的任务，省去了重新配置环境的麻烦。支持查看任务的实时状态和进展，以确保任务正常运行。支持随时停止正在运行的开发环境，以释放资源或者结束任务。

   (5)可对CPU和GPU的配额进行设定，管理员可以根据需要，为每个用户或项目设定特定的CPU和GPU配额，确保资源的公平分配，满足不同任务的计算需求。同时，支持多种硬件加速器，包括国产算力卡、GPU、XPU等，涵盖了昆仑芯、华为昇腾、天数智芯等多种硬件。平台可以根据大模型项目要求选择最适合的硬件来优化性能，确保资源的有效利用，提高工作效率和任务执行的成功率，为用户提供最佳的计算体验。

     相关实训支持

     1、Python机器算法实现

     (1)完成波士顿房价预测模型

     (2)对研究生是否被录取进行预测

     (3)决策树算法自编

     (4)用决策树算法构建鸢尾花分类模型

      ..... 

    2、TensorFlow实战

    (1)TensorFlow入门示例

    (2)拟合三维平面

    (3)Mnist手写数字识别

    (4)BP网络模型实现鸢尾花分类

       .....