学习使用InternLM完成简单的应用开发

一、开源模型平台

HuggingFace、ModelScope和OpenXLab是常见的三个开源模型平台，书生·浦语在三个社区均已开源InternLM-7B和InternLM-20B模型，并且提供免费商用授权，本部分将介绍如何从开源社区下载自己所需的模型文件。

HuggingFace模型下载

HuggingFace是目前影响力最广泛的深度学习模型开源社区之一，许多有影响力的人工智能项目均在HuggingFace上开源，可以说其为深度学习时代的github也不为过。HuggingFace提供了多种大模型的开发与部署工具，本次作业重点学习模型下载功能。

模型下载需要安装huggingface-hub工具包：

pip install huggingface_hub

然后可以在Python脚本中下载模型，具体代码如下所示：

from huggingface_hub import hf_hub_download
hf_hub_download(repo_id='internlm/internlm-7b', filename='config.json', cache_dir=..., local_dir=...)

repo_id是需要下载的模型仓库的路径，如下图中方框所标示的内容，filename是所需要下载的仓库中的文件，cache_dir是该模型的缓存目录，hf_hub_download还具有一个local_dir属性，该属性是指定模型下载的本地目录，两者之间的差别在于，缓存目录是可以被huggingface-hub追踪到的目录，下次下载同样仓库的文件时，可以避免重复下载。

当cache_dir和local_dir参数均为默认值时，下载好的config.json文件和其路径如下图所示，可以看到第二次执行下载config.json的脚本时，因为平台上的版本没有发生改变，所以huggingface-hub不会再从网络上下载。

当主动设置cache_dir='./cache'时，同样运行两次脚本，得到的结果如下图所示，文件下载到了指定的缓存目录，且第二次运行代码是模型不会重新下载。

当主动设置local_dir='./local时，运行两次脚本，得到的下载结果如下图所示，可以看到一开始下载到本地路径时，因为有缓存的存在，脚本并不会重新下载文件，但是当删除缓存以后，脚本将会重新下载文件，而且后续运行脚本时，依旧无需重新下载，这是因为就算设定了local_dir，脚本还是会在缓存目录中保存相关信息，但是在缓存目录中并没有config.json，所以缓存目录与本地目录是如何建立联系的依旧需要查看相关文档和说明。