登录 立即注册

首页 > 绿虎论坛 > 人工智能 > 大模型 (发帖)

标题: 在 Android 设备上运行 Llama-3.2-3B 模型

作者: @Ta

时间: 10-05 23:27发布,10-05 23:31修改

点击: 5330

  1. 下载 ChatterUI 作为图形界面;
  2. 下载模型文件 Llama-3.2-3B-Instruct-Q4_0_4_4.gguf
  3. 在 ChatterUI 的 Instruct 选项中,点击 Alpaca,将其修改为Llama 3
  4. 在 ChatterUI 的 API 选项中,点击 Import Model,选择下载的模型文件,再点击 Load 载入模型;
  5. 现在即可与默认的 AI Bot 角色进行对话。还可以使用自定义的设定描述词,创建新的角色。

使用截屏:

视频链接:(3.9 MB)

1000017693.jpg(821.49 KB)


因为 Llama 3.2 模型本身并不支持中文,所以它的中文对话能力不太好,有时回答可能会夹杂外语。


[隐藏样式|查看源码]


『回复列表(5|隐藏机器人聊天)』

1.

啊这欲言又止

image.png

(/@Ta/2024-10-06 14:42//)

2.

@hik,都拿啥中文语料训练了。。

(/@Ta/2024-10-06 15:38//)

3.
(/@Ta/2024-10-06 16:46//)

4.

用文心 2.5 3b 我觉得还行,中文准确率挺高,速度有点慢,1.5b 速度快但结果不太满意

模型q2到q8依据手机配置选择,数字越小的占用越低,准确率也低,越大对配置要求越高

Qwen/Qwen2.5-3B-Instruct-GGUF at main (huggingface.co)

Qwen/Qwen2.5-1.5B-Instruct-GGUF at main (hf-mirror.com)

image.png

(/@Ta/2024-10-07 03:12//)

5.
(/@Ta/2024-10-09 10:16//)

回复需要登录

11月21日 20:19 星期四

本站由hu60wap6华为CPU驱动

备案号: 京ICP备18041936号-1