Android APP 集成本地大模型 LLM

这篇文章介绍如何在Android项目中集成大模型LLM，并展示大模型 text-to-text 结果。主要依赖如下2项：

• MediaPipe

• Gemma 2B

  

  MediaPipe

Google 在2017年发布了 TensorFlow Lite， 它是一个用于在Mobile和IoT上进行 ML 推断的轻量级框架。主要用于将 TensorFlow 模型转换为适用于移动设备(Android、IOS)的轻量级模型格式。

在2019年，Google 又发布了MediaPipe。使得Android项目集成TensorFlow Lite变得更加容易。MediaPipe主要提供了一系列开源库、工具，用来快速在上层 Android App 中集成 AI 和ML 能力。

目前 Mediapipe 能集成调用的大模型有：Gemma 2B, Phi-2, Falcon-RW-1B, 和 StableLM-3B。本篇文章将使用 Gemma 2B 做实例。

Gemma 2B

Gemma 2B 是谷歌开发的一款轻量级AI模型，提供两种规模：2B和7B参数。Gemma 2B 提供 text-to-text 的功能，但是目前只能处理英语语言任务。可以通过如下链接下载模型：

https://www.kaggle.com/models/google/gemma/tfLite/

注意：需要下载 TFLit 版本，如下图

 
下载完之后，需要先将解压后的模型文件保存到Android设备存储中。 可以使用如下 ADB 命令：

adb shell rm -r /data/local/tmp/llm/adb shell mkdir -p /data/local/tmp/llm/ adb push gemma-2b-it-gpu-int4.bin /data/local/tmp/llm/gemma2b.bin

Andorid 代码

添加 MediaPipe依赖

在 app module 的 build.gradle 中添加如下依赖：

implementation("com.google.mediapipe:tasks-genai:0.10.14")

实现 LocalLLMTask 类

实现Class LocalLLMTask类，用来完成本地模型的加载和推理。代码如下：

public class LocalLLMTask {    private static final String TAG = LocalLLMTask.class.getSimpleName();    private static final String MODEL_PATH = "/data/local/tmp/llm/gemma2b-gpu.bin";    private static LocalLLMTask mLLMTask;    private final LlmInference mLlmInference;
    public LocalLLMTask(Context context) {        LlmInference.LlmInferenceOptions options = LlmInference.LlmInferenceOptions.builder()			.setModelPath(MODEL_PATH)			.setMaxTokens(2048)			.setTopK(50)			.setTemperature(0.7f)			.setRandomSeed(1)			.setResultListener((partialResult, done) ->                          Log.i(TAG, "LocalLLMTask, partialResult: " +  partialResult)).build();
		mLlmInference = LlmInference.createFromOptions(context, options);	}
	public static LocalLLMTask getInstance(Context context) {		if (mLLMTask == null) {			mLLMTask = new LocalLLMTask(context);		}		return mLLMTask;	}
	public void generateResponse(String prompt) {		if (mLlmInference != null) {			Log.i(TAG, "generateResponse, prompt: " + prompt);			String result = mLlmInference.generateResponse(prompt);			Log.i(TAG, "generateResponse, result: " + result);		}	}}

调用本地模型获取结果

在 MainActivity 中直接执行 LlmInference的 generateResponse 方法，如下：

LocalLLMTask.getInstance(MainActivity.this).generateResponse("tell me 7 wonders of the world");

传入的 prompt 是 "tell me 7 wonders of the world"，来看一下本地大模型是否能够给出世界7大奇迹的结果。最终打印结果如下：

如果你喜欢本文
长按二维码关注