AI
文章平均质量分 88
CodingPioneer
人生就是永无休止的奋斗。
展开
-
RK3588NPU驱动版本升级至0.9.6教程
1、(如果正确就不用改了,我这里的版本原本就时正确的)修改drivers/rknpu/rknpu_devfreq.c将MONITOR_TYPE_DEV写成了MONITOR_TPYE_DEV。2.2.1.1 SDK/kernel/include/sock/rockchip/rockchip_opp_select.h 修改如下。转换rkllm内存至少需要16G,从https://huggingface.co/Qwen/Qwen-1_8B-Chat下载所有文件。2.2.1 vm_flags_set具体修改如下。原创 2024-09-23 10:44:19 · 802 阅读 · 0 评论 -
RK3588人工智能学习笔记-rknn_server代理服务使用介绍
1. 连板调试简介2. 环境要求2.1 硬件环境2.2 软件环境3. rknn_server存放目录3.1 Android平台3.2 Linux平台4. 启动步骤4.1 Android平台4.2 Linux平台(非RV1103/RV1106/RV1103B)4.3Linux平台(RV1103/RV1106/RV1103B)5. 查看rknn_server详细日志5.1 Android平台5.2 Linux平台(非RV1103/RV1106/RV1103B)原创 2024-09-14 09:47:32 · 1152 阅读 · 0 评论 -
RK3588人工智能学习笔记-WSL中使用RKNN-ToolKit2
近期学习了一些与大语言模型有关的知识,不过每次都使用自己办公的电脑测试很不方便,又不想再花钱买算力,正好有2台备用的RK3588的设备,看了参数,也有6TOPS的算力。想尝试把它当作跑模型的服务器。学习过程中用到的一些知识,记录下来,方便后期查阅。原创 2024-09-14 09:44:28 · 609 阅读 · 0 评论 -
大模型本地化部署2-Docker部署MaxKB
MaxKB是一款基于LLM大预言模型的知识库问答系统。多模型支持:支持对接主流的大模型,包括本地私有大模型(如Llama 2)、Azure OpenAI、百度千帆、阿里通义千问大模型等;开箱即用:支持直接上传文档、自动爬取在线文档,支持文本自动拆分、向量化、智能问答交互体验好;无缝嵌入:支持零编码快速嵌入到第三方业务系统。原创 2024-08-28 10:00:43 · 951 阅读 · 0 评论 -
大模型本地化部署1-Ollama安装(Windows)
其实,开始菜单中的Ollama就时Ollama app.exe,相当于ollama的守护进程,会自动监控ollama.exe的运行情况,如果发现ollama.exe结束后,会自动启动ollama.exe。3、环境变量设置完毕后,需要重启ollama服务才能生效,ollama服务在启动的时候会读取这个环境变量的值,按这个值进行侦听。注意,在windows下安装时,是不允许选择安装位置的,默认是安装在系统盘的。在windows,ollama安装的模型,默认存放目录为。5、再新开一个终端,查看侦听的地址和端口。原创 2024-08-28 09:51:13 · 1820 阅读 · 0 评论