​Awesome-Chinese-LLM:开源中文大模型资源集合,含各领域微调大模型、数据集及教程

中文领域最全大模型资源

· 前沿动态

文章首发:「活水智能」公众号

 

 

Awesome-Chinese-LLM 整理了开源的中文大模型相关资源,包括开源底座模型、垂直领域微调模型应用、数据集及教程等。

目前,收录的资源已超过100个,涵盖了从小型到大型的多种模型,如ChatGLM、LLaMA、Baichuan、Qwen等。以规模较小、可私有化部署、训练成本较低的模型为主。

项目作者@HqWu-HITCS。

项目地址:https://github.com/HqWu-HITCS/Awesome-Chinese-LLM

broken image

项目价值

项目提供了最全中文大模型资源,你可以在这里找到垂直领域微调大模型,以及详细的使用指南,包括如何下载模型、进行本地推理、快速部署以及如何通过量化来优化模型的推理速度和显存占用。

此外,项目还提供了基于不同平台和框架的部署教程,例如使用llama.cpp、Transformers、text-generation-webui、LlamaChat、LangChain等。

部分内容简

broken image

部分内容简介

1. 典型底座大模型

broken image

表 作者 @HqWu-HITCS

ChatGLM

地址:https://github.com/THUDM/ChatGLM-6B

简介:中文领域效果最好的开源底座模型之一,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持。

2. 垂直领域微调模型

 

broken image

图作者 @HqWu-HITCS

医疗:DoctorGLM

地址:https://github.com/xionghonglin/DoctorGLM

简介:基于 ChatGLM-6B的中文问诊模型,通过中文医疗对话数据集进行微调,实现了包括lora、p-tuningv2等微调及部署。

 

法律:獬豸(LawGPT_zh)中文法律对话语言模型

地址:https://github.com/LiuHC0428/LAW-GPT

简介: 由ChatGLM-6B LoRA 16-bit指令微调而得。数据集包括现有的法律问答数据集和基于法条和真实案例指导的self-Instruct构建的高质量法律文本问答,提高了通用语言大模型在法律领域的表现,提高了模型回答的可靠性和专业程度。

 

金融:FinGPT

地址:https://github.com/AI4Finance-Foundation/FinGPT

简介:该项目开源了多个金融大模型,包括ChatGLM-6B/ChatGLM2-6B+LoRA和LLaMA-7B+LoRA的金融大模型,收集了包括金融新闻、社交媒体、财报等中英文训练数据。

 

网络安全:SecGPT

地址:https://github.com/Clouditera/secgpt

简介:开项目开源了网络安全大模型,该模型基于Baichuan-13B采用Lora做预训练和SFT训练,此外该项目还开源了相关预训练和指令微调数据集等资源。

 

3. LLM教程

LLMsPracticalGuide

地址:https://github.com/Mooler0410/LLMsPracticalGuide

简介:该项目提供了关于LLM的一系列指南与资源精选列表,包括LLM发展历程、原理、示例、论文等。

 

OpenAI Cookbook

地址:https://github.com/openai/openai-cookbook

简介:该项目是OpenAI提供的使用OpenAI API的示例和指导,其中包括如何构建一个问答机器人等教程,能够为从业人员开发类似应用时带来指导。

 

4. llm-action

地址:https://github.com/liguodongiot/llm-action

简介:该项目提供了一系列LLM实战的教程和代码,包括LLM的训练、推理、微调以及LLM生态相关的一些技术文章等。

 

活水智能成立于北京,致力于通过AI教育、AI软件和社群提高知识工作者生产力。中国AIGC产业联盟理事。

活水现有AI线下工作坊等10+门课程,15+AI软件上线,多款产品在研。知识星球中拥有2600+成员,涵盖大厂程序员、公司高管、律师等各类知识工作者。在北、上、广、深、杭、重庆等地均有线下组织。

公众号:「活水智能」、「AI研究速递」

broken image

申明:项目归原作者所有。本文未经允许,禁止转载,侵权必究