本地推理,单机运行,MacM1 芯片系统基于大语言模型 C++版本 LLaMA 部署“本地版”的 ChatGPT

刘悦 at 
OpenAI 公司基于 GPT 模型的 ChatGPT 风光无两,眼看它起朱楼,眼看它宴宾客,FaceBook 终于坐不住了,发布了同样基于 LLM 的人工智能大语言模型 LLaMA,号称包含 70 亿、130 亿、330 亿和 650 亿这 4 种参数规模的模型,参数是指神经网络中的权重和偏置等可调整的变量,用于训练和优化神经网络的性能,70 亿意味着神经网络中有 70 亿个参数,由此类推。在一些大型神经网络中,每个参数需要使用 32 位或 64 位浮点数进行存储,这意味着每个参数需要占用 4 字节或 8 字节的存储空间。因此,对于包含 70 亿个参数的神经网络,其存储空间将分别为 8GB ……