最新动态
如何在本地快速搭建一个离线版GPT?无需GPU,无需联网即可使用,速来围观!
2024-12-26 07:41

2023,AI元年,人工智能应用爆发式增长,尤其是生成式AI的出现极大提升了人们的工作效率,以前半天才能写完的周报现在只需要输入几个关键词便可一键生成,就连程序员也得到了一定的解放,通过聊天的方式就能让生成式AI为自己写出一份完整的程序代码,或找出程序中的Bug。

如何在本地快速搭建一个离线版GPT?无需GPU,无需联网即可使用,速来围观!

但目前AI应用也存在一些问题,首先就是技术还存在一定的封锁,这体现在ChatGPT等应用国外大模型还未在国内市场上线(国内能访问的大多都是第三方镜像站,再就是前段时间OpenAI大量封禁大陆账号。再一个问题就是无法保证数据的安全,上传给大模型的数据或对话内容都没有隐私保障,之前韩国三星公司内部人员使用大模型就曾导致机密数据泄漏。

好在现在ChatGPT也有平替版了,可以部署在本地,部署完成后使用过程完全不需要联网,也不需要GPU(显卡)的支持,一般配置的电脑即可保证应用的顺利运行,可以作为ChatGPT的平替选择。

文末附主程序安装包和大模型参数文件~

一、软件简介

GPT4ALL是一个三平台(Windows、MacOS、Linux)通用的本地聊天机器人软件,其支持下载预训练模型到本地来实现离线对话,也支持导入ChatGPT3.5或ChatGPT4的API Key到工具实现ChatGPT应用的桌面化。导入API Key使用的方式比较简单,我们本次主要介绍如何本地化部署模型。

二、使用方法

软件主要分为两个部分:GPT4ALL软件主体(主程序+模型参数(离线模型,如果使用API Key的话则不需要下载模型参数。

可以从官网下载主程序安装包或者直接使用小编准备好安装包进行主程序安装(软件官网地址放在最后的链接中了

主程序安装

以Windows为例,双击安装程序正常执行主程序安装即可,大概需要200MB左右的磁盘空间

安装完成后,第一次进入主程序界面会出现两个隐私选项,为了保证个人隐私的安全,建议都选择【No】

模型下载

选择完隐私选项后,大概率会自动弹出一个窗口,让我们选择一个模型进行下载,其中有红色字体的的模型表示不推荐下载,大概率是因为内存不满足模型运行的最低要求。这里最小的模型为GPT4ALL Falcon,该模型包含70亿参数,只需要8GB的可支配运行内存即可

【注】:可支配内存为8G往往需要电脑的实际内存大于8G,总内存为8G的电脑可支配内存通常不足8G(维持操作系统运行要用掉一部分)。

别着急点击下载,据小编测试,使用国内网络大概率不能下载成功,并且直接在软件内部下载会有极大可能下载几MB后卡住不动,所以小编推荐在官网下载模型参数(官网地址见链接中文本文件,然后手动导入(GPT4ALL Falcon模型小编已经下载好放在最后的链接里了,大家下载后直接导入即可

官网下载模型方法:在官网下拉找到【Model Explorer】,从下拉框找到需要下载的模型然后点击右下角的下载按钮即可下载,推荐使用迅雷等下载软件下载,否则很可能下载到一半因链接中断需要重新下载

模型文件的后缀名为【.bin】,将模型文件下载下来后,我们在主程序中点击【设置】按钮

进入设置界面后,点击【Application】,在【Download path】按钮旁边有一个【Browse】按钮,用于选择模型默认下载路径,点击该按钮,然后选择模型文件所在的路径作为默认下载路径

一般来说经过上述设置,主程序就可以自动识别模型,需要注意的是,尽量不要在模型存放路径中出现中文,否则很可能会在加载模型时出现类似下面这样的错误提示

建议直接在D盘根目录创建一个名为【Model】的文件夹作为模型默认下载路径,然后直接将模型文件放在这个文件夹即可

如此一来,就可以使用这款本地GPT为你完成一些简单的工作啦,经过小编测试,该离线版GPT响应速度还可以(和CPU性能有关,设置中可以调整线程数,线程数越多,使用的CPU资源越多,模型响应速度越快,并且具备编写代码的功能,可惜仅支持英文沟通,当你用中文描述问题时,模型会表示无法理解你的问题

三、下载链接

百度网盘(可转存

https://pan.baidu.com/s/1l1IAfdWVSdFcbt6-sSxHJQ?pwd=2579

【解压密码】:donot996-gpt4all

大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “?”“”等问题热议不断。

事实上

继等巨头公司发布AI产品后,很多中小企业也陆续进场超高年薪,挖掘AI大模型人才 如今大厂老板们,也更倾向于会AI的人,普通程序员,还有应对的机会吗

与其焦虑……

不如成为「」,毕竟AI时代谁先尝试,谁就能占得先机

但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高。

针对所有自学遇到困难的同学们,我帮大家系统梳理大模型学习脉络,将这份 分享出来:包括等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击👈

AI大模型已经成为了当今科技领域的一大热点,那以下这些大模型书籍就是非常不错的学习资源。

这套包含640份报告的合集,涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

四、LLM大模型开源教程(LLaLA/meta/chatglm/chatgpt

阶段1:AI大模型时代的基础理解

  • 目标:了解AI大模型的基本概念、发展历程和核心原理。

  • 内容

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2:AI大模型API应用开发工程

  • 目标:掌握AI大模型API的使用和开发,以及相关的编程技能。

  • 内容

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3:AI大模型应用架构实践

  • 目标:深入理解AI大模型的应用架构,并能够进行私有化部署。

  • 内容

    • L3.1 Agent模型框架
    • L3.2 metaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4:AI大模型私有化部署

  • 目标:掌握多种AI大模型的私有化部署,包括多模态和特定领域模型。

  • 内容

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 包括等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击👈

    以上就是本篇文章【如何在本地快速搭建一个离线版GPT?无需GPU,无需联网即可使用,速来围观!】的全部内容了,欢迎阅览 ! 文章地址:http://fabua.ksxb.net/quote/4671.html 
     动态      相关文章      文章      同类文章      热门文章      栏目首页      网站地图      返回首页 海之东岸资讯移动站 http://fabua.ksxb.net/mobile/ , 查看更多