最新更新：一键本地化部署 DeepSeek-R1-671b大模型+企业级智能体平台
DeepSeek 以其卓越的性能和开放性受到越来越多关注的同时，广大企业客户也希望能够用一款低门槛、极易用的大模型 Agent 平台，充分发挥 DeepSeek大语言模型的能力来搭建强大且服务稳定的智能体，并融入企业场景发挥价值。
现在，你可以基于LinkAI企业级智能体平台私有化服务一键本地部署DeepSeek各尺寸模型，并直接用于搭建智能体，无需任何中间件和脚手架，构建企业专属的、本地的一体化AI应用平台。
通过本文，你可以轻松实现：产品化界面下载和部署模型、精细化的企业级 LLMOps 能力、不联网本地运行的 DeepSeek 大模型+智能体搭建平台。
一、环境准备
本文以部署 deepseek-r1-671b 完整参数模型为例，所用环境如下：
1. 硬件环境
GPU：8 * A800
显存：8 * 80G
CPU：112核
内存：224G
显卡信息-nvidia-smi
我们使用了8张A800显卡进行部署作为演示， 实际线上使用时可根据用户访问量进行相应扩展。
* 以上环境不包含运行 LinkAI 私有化版本的服务器资源
2. 软件环境
软件版本：PyTorch 2.6.0 CUDA: 12.4
LinkAI 私有化版（含模型DeepSeek-r1-671b下载能力）
二、模型部署
运行部署在企业本地服务器的 LinkAI 私有化版本，进入模型管理功能菜单，可选择需要部署的模型。
除 DeepSeek-R1 的 671B 模型外，还支持 1.5B~70B 的蒸馏版本，同时支持 Qwen、Llama 等各种不同参数大小的开源模型，企业也可根据自己实际需求和机器资源条件选择其他不同参数的模型。
选择模型，连接 GPU 服务器地址，点击部署后将从模型仓库自动下载，下载完成后会自动运行模型。
选择开源模型一键部署
可在产品页面直接监控模型的运行状态，并支持对其进行下线、上线和删除等操作。
无需专业的运维人员，也能轻松构建起企业内人人可用的本地化开源模型管理能力。
模型自动下载运行
通过 LinkAI 私有化版本部署模型，仅下载模型时需联网。下载完成后，开源模型将运行在企业本地的 GPU 服务器，通过运行在在企业本地 CPU 服务器的 LinkAI 可直接管理部署了大模型的服务器。
至此，全尺寸的 DeepSeek R1 大模型本地部署完成，毫无难度，轻松丝滑有没有？🥳
三、开始使用
1. 搭建 AI 应用或工作流
LinkAI 是一站式智能体搭建与接入平台，支持构建具备知识库、数据库、个性化插件工具的 AI Bot 或 AI WokFlow 智能体。
部署完成后，你可以在应用配置中选择 DeepSeek 模型，根据需求编写 Prompt ，开启知识库检索、联网搜索或图像识别等能力，完成后即可开始对话。
应用配置-模型配置
或在工作流的「大模型」节点中选择 DeepSeek 模型，结合工作流强大的编排能力（联网搜索、知识库检索、图像识别、文件处理、消息推送、http请求等），构建企业级专属智能体。
工作流编排-大模型节点配置
2. 知识库对话 & 自然语言数据BI
配置完成后，可在本地环境的网页端直接对话。网页端使用时，原生支持展示 R1 模型的深度思考过程，如有需要，还可结合联网搜索能力进行问答。
智能体对话-联网搜索 & DeepSeek深度思考
基于 LinkAI 私有化版本，你还可以使用完全存储在本地的知识库，让 DeepSeek 模型具备 RAG 问答的能力。
智能体对话-基于DeepSeek和本地企业知识库问答
此外，还可通过 LinkAI 的数据库连接能力，实现对话式数据分析，AI能够智能地分析用户提问的意图，识别和选取正确的数据库，自动生成数据查询 SQL 语句并执行，对查询结果进行分析统计并生成图表和结论。
智能体对话-基于DeepSeek和企业数据库进行数据分析
也可将智能体接入企业微信、钉钉、飞书、公众号、公司网站等渠道端进行使用，或通过 API 调用智能体的对话能力（详情可参考：接口文档）。
智能体对话-将智能体接入渠道端使用
3. 企业级平台管理能力
LinkAI 平台具备完善的企业级管理能力，除模型管理外，还支持对企业内部成员进行角色配置、权限管理，可满足精细化的企业管控需求。
企业空间-角色权限管理
四、性能测试
模型运行时，可在运行大模型的本地服务器上通过命令查看当前 GPU 使用情况。
模型调用时的GPU使用情况
未进行性能调优的情况下，测试不同并发下的文本生成速率。经过测试，搭载了8*A800显卡的服务器在运行 DeepSeek-r1-671b 的速度性能情况如下表：
| 并发请求数 | 平均每个请求的token生成速率（tokens/s/req） |
| 1 | 18.83 |
| 4 | 8.81 |
| 8 | 5.14 |
| 16 | 2.89 |
| 32 | 1.24 |
| 64 | 0.79 |
基于私有化版本的 LinkAI 产品，企业可以轻松构建起一套由本地化 DeepSeek 模型驱动的智能体平台，其丰富完善的一体化应用能力，可将卓越模型能力发挥至极致。
请先 登录后发表评论 ~