1.6 KiB
1.6 KiB
tinyllama
可部署在边缘计算设备的小模型
开源地址:https://github.com/jzhang38/TinyLlama
采用了与 Llama 2 完全相同的架构和分词器。这TinyLlama 可以在许多基于 Llama 的开源项目中即插即用。此外，TinyLlama 结构紧凑，参数仅为 1.1B。这种紧凑性使其能够满足需要有限计算和内存占用的多种应用程序的需求
类似的小模型还有
-
微软开源的phi-2
-
阿里开源的Qwen-1.8B
开发板CPU测试
基于RK3588芯片
下载模型
测试数据,根据问题的长度,可以达到10-20token/s
这在不依靠GPU计算的环境下,已经是非常好的速度了
但是阿里的通义千问,就慢的令人发指,完全不能正常使用
使用llama.cpp部署模型
pip install llama-cpp-python
参考示例
api调用
llama.cpp-python会默认生成swagger文档
直接按照格式发起post请求就好啦
并且其设计结构与openai一致
开源webui界面
