LLAMA Fine-tune
LLaMA 概要与实践LLaMA(Large Language Model Meta AI) 是由 Meta AI 发布了一款全新的大型语言模型，共有7B、13B、33B、65B 四种版本，其模型参数如下表所示： LLaMA模型参数表 与原始的 transformer Decoder 相比，LLaMA主要有以下改进： 层归一化(Pre-normalization)[GPT3] 为了提高训练
常见的分布式并行策略
分布式：是指利用多个计算节点（也称工作节点，Worker）进行机器学习或者深度学习的算法和系统，旨在提高性能、并可扩展至更大规模的训练数据和更大的模型。并行（parallel）：是指两个或者多个事件在同一时刻发生，并行的反义词是串行；要区分并发（concurrent），它是指两个或多个事件在同一时间间隔发生 看了很多资料，一直也没搞清楚分布式并行到底是个啥，直到读完
显存优化技术→LLM 训练
文章源自@Vadim Irtlach大佬在kaggle的开源notebook 梯度累积（Gradient Accumulation） 冻结（Freezing） 自动混合精度（Automatic Mixed Precision） 8位优化器（8-bit Optimizers） 梯度检查点（Gradient Checkpointing） Parameter-Efficient Fine-Tuni
PEFT 技术简介
转载自 https://mp.weixin.qq.com/s/E_0-skD3__w5jLGEJlDpoA 本文介绍了参数高效微调 Parameter-Efficient Fine-Tuning（PEFT）技术，可以仅微调少量或者额外的模型参数，并固定住大部分预训练参数，从而大大降低 LLM 的训练成本。 下图总结了一些最广泛使用的 PEFT 技术。PEFT 技术的主要做法包括 Adapter
StackLLaMA：用 RLHF 训练 LLaMA 的手把手教程
训练 StackLLaMA 的主要目标是提供一个教程和指南，介绍如何使用 RLHF 来训练模型，而不是主要关注模型的性能表现。 原文链接“StackLLaMA”: 用 RLHF 训练 LLaMA 的手把手教程 内容总结：本文介绍了使用人类反馈的强化学习 (RLHF) 训练 LLaMA 模型的方法，以回答 Stack Exchange 上的问题。具体包括有监督的微调、奖励 / 偏好建模和 RLH
LoRa 学习笔记
LoRa是什么？LoRA，出自论文《LoRA: Low-Rank Adaptation of Large Language Models》，是Microsoft 于 2021 年推出的一项新技术，用于微调大型语言模型 (LLM)。比如，GPT-3有1750亿参数，为了让它能干特定领域的活儿，需要做微调，但是如果直接对GPT-3做微调，成本太高太麻烦了。LoRA的做法是，冻结预训练好的模型权重参数，
开源ChatGPT平替项目汇总
开源ChatGPT替代模型项目整理寻找那些ChatGPT/GPT4开源“平替”们 原版用的是GPT-3.5+OpenAI自己的数据集，目前开源社区搞得最多的还是LLaMA+Alpaca这套方案，但是其他不一样的方案也是百花齐放，这里简单列一下 名称 点赞数 支持语言 简介+基础 LLM 训练方法/数据集 备注 gpt4all 33.7k 基于GPT-J和LLaMa训练开源的大
GitHub Pages + Hexo搭建个人博客网站
一、准备工作安装Git安装NodeJS 访问nodejs官网，点击稳定版，并下载node.js 双击刚下载的文件，按步骤默认安装就行 验证 npm -v、node -v二、创建仓库使用个人 GitHub 创建仓库，并配置 GitHub Pages 注意: 此仓库用于存放个人博客页面，仓库名必须使用 .github.io 格式。 三、安装HexoHexo 是一个基于NodeJS的静态博客网站生