一日一技:三分钟离线运行开源大模型

谢乾坤|青南 at 
经过一年多的发展,各种开源大模型现在已经相当不错了。国产的 Qwen 1.5 的生成效果已经能满足一些日常使用。有一些同学可能之前一直在用网页版的 ChatGPT、Kimi Chat、文心一言或者通义千问,那么你可能会遇到如下一些问题:网络问题。例如 ChatGPT 需要特殊的网络才能访问。审查问题。国产大模型会大量屏蔽关键字,有一些你觉得完全没有任何问题的回答,它会告诉你不符合法律规范,不能回答。不能自定义模型,网页版的这些大模型,你没有办法做微调,难以自定义内容。当你花了大量时间设计了一个高级 Prompt,把模型洗脑成了猫娘,结果第二天它又不能用了。隐私泄漏问题,担心大模型的开发商把你问……