1.LLaMA

LLaMA项目包含了一组基础语言模型，其规模从70亿到650亿个参数不等。这些模型在数以百万计的token上进行训练，而且它完全在公开的数据集上进行训练。结果，LLaMA-13B超过了GPT-3（175B），而LLaMA-65B的表现与Chinchilla-70B和PaLM-540B等最佳模型相似。

图片来自LLaMA

资源：

• 研究论文：“LLaMA: Open and Efficient Foundation Language Models (arxiv.org)” [https://arxiv.org/abs/2302.13971]
• GitHub：facebookresearch/llama [https://github.com/facebookresearch/llama]
• 演示：Baize Lora 7B [https://huggingface.co/spaces/project-baize/Baize-7B]

2.Alpaca

斯坦福大学的Alpaca声称它可以与ChatGPT竞争，任何人都可以在不到600美元的情况下复制它。Alpaca 7B是在52K指令遵循的示范上从LLaMA 7B模型中进行微调。

训练内容｜图片来自斯坦福大学CRFM

资源：

• 博客：斯坦福大学CRFM。[https://crfm.stanford.edu/2023/03/13/alpaca.html]
• GitHub：tatsu-lab/stanford_alpaca [https://github.com/tatsu-lab/stanford_alpaca]
• 演示：Alpaca-LoRA (官方演示已经丢失，这是Alpaca模型的再现) [https://huggingface.co/spaces/tloen/alpaca-lora]

3.Vicuna

Vicuna是在从ShareGPT收集到的用户共享对话上的LLaMA模型基础上进行微调。Vicuna-13B模型已经达到了OpenAI ChatGPT和Google Bard的90%以上的质量。它还在90%的情况下超过了LLaMA和斯坦福大学Alpaca模型。训练Vicuna的成本约为300美元。

图片来自Vicuna

资源：

• 博客文章：“Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality” [https://vicuna.lmsys.org/]
• GitHub：lm-sys/FastChat [https://github.com/lm-sys/FastChat#fine-tuning]
• 演示：FastChat (lmsys.org) [https://chat.lmsys.org/]

4.OpenChatKit

OpenChatKit：开源的ChatGPT替代方案，是一个用于创建聊天机器人的完整工具包。它提供了用于训练用户自己的指令调整的大型语言模型、微调模型、用于更新机器人响应的可扩展检索系统以及用于过滤问题的机器人审核的指令。

图片来自TOGETHER

可以看到，GPT-NeoXT-Chat-Base-20B模型在问答、提取和分类任务上的表现优于基础模式GPT-NoeX。

资源：

• 博客文章：“Announcing OpenChatKit”—TOGETHER [https://www.together.xyz/blog/openchatkit]
• GitHub: togethercomputer/OpenChatKit [https://github.com/togethercomputer/OpenChatKit]
• 演示：OpenChatKit [https://huggingface.co/spaces/togethercomputer/OpenChatKit]
• 模型卡：togethercomputer/GPT-NeoXT-Chat-Base-20B [https://huggingface.co/togethercomputer/GPT-NeoXT-Chat-Base-20B]

5.GPT4ALL

GPT4ALL是一个社区驱动的项目，并在一个大规模的辅助交互语料库上进行训练，包括代码、故事、描述和多轮对话。该团队提供了数据集、模型权重、数据管理过程和训练代码以促进开源。此外，他们还发布了模型的量化4位版本，可以在笔记本电脑上运行。甚至可以使用Python客户端来运行模型推理。

图片来自GPT4ALL

资源：

• 技术报告：GPT4All [https://s3.amazonaws.com/static.nomic.ai/gpt4all/2023_GPT4All_Technical_Report.pdf]
• GitHub: nomic-ai/gpt4al [https://github.com/nomic-ai/gpt4all]
• 演示：GPT4All（非官方）。[https://huggingface.co/spaces/rishiraj/GPT4All]
• 模型卡：nomic-ai/gpt4all-lora · Hugging Face [https://huggingface.co/nomic-ai/gpt4all-lora]

6.Raven RWKV

Raven RWKV 7B是一个开源的聊天机器人，它由RWKV语言模型驱动，生成的结果与ChatGPT相似。该模型使用RNN，可以在质量和伸缩性方面与transformer相匹配，同时速度更快，节省VRAM。Raven在斯坦福大学Alpaca、code-alpaca和更多的数据集上进行了微调。

图片来自Raven RWKV 7B

资源：

• GitHub：BlinkDL/ChatRWKV [https://github.com/BlinkDL/ChatRWKV]
• 演示：Raven RWKV 7B [https://huggingface.co/spaces/BlinkDL/Raven-RWKV-7B]
• 模型卡：BlinkDL/rwkv-4-raven [https://huggingface.co/BlinkDL/rwkv-4-raven]

7.OPT

OPT：Open Pre-trained Transformer语言模型并不像ChatGPT那样强大，但它在零样本和少样本学习以及刻板偏见分析方面表现出卓越的能力。还可以将它与Alpa、Colossal-AI、CTranslate2和FasterTransformer集成以获得更好的结果。注意：它上榜的原因是它的受欢迎程度，因为它在文本生成类别中每月有624,710次下载。

图片来自（arxiv.org）

资源：

• 研究论文：“OPT: Open Pre-trained Transformer Language Models (arxiv.org)” [https://arxiv.org/abs/2205.01068]
• GitHub: facebookresearch/metaseq [https://github.com/facebookresearch/metaseq]
• 演示：A Watermark for LLMs [https://huggingface.co/spaces/tomg-group-umd/lm-watermarking]
• 模型卡：facebook/opt-1.3b [https://huggingface.co/facebook/opt-1.3b]

8.Flan-T5-XXL

Flan-T5-XXL在以指令形式表述的数据集上微调了T5模型。指令的微调极大地提高了各种模型类别的性能，如PaLM、T5和U-PaLM。Flan-T5-XXL模型在1000多个额外的任务上进行了微调，涵盖了更多语言。

图片来自Flan-T5-XXL

资源：

• 研究论文：“Scaling Instruction-Fine Tuned Language Models” [https://arxiv.org/pdf/2210.11416.pdf]
• GitHub: google-research/t5x [https://github.com/google-research/t5x]
• 演示：Chat Llm Streaming [https://huggingface.co/spaces/olivierdehaene/chat-llm-streaming]
• 模型卡：google/flan-t5-xxl [https://huggingface.co/google/flan-t5-xxl?text=Q: ( False or not False or False ) is? A: Let's think step by step]

总结

现在有很多开源的可供选择的大模型，本文涉及到其中比较流行的8个大模型。