[ChatGPT] 個人化Llama2 ！如何在Colab中運用自己的資料集微調 Llama2 模型
[本影片有CC字幕] 在上次介紹如何使用 HuggingFace 載入Llama2 建立本地端大型語言模型後，本次將進一步教您如何微調(Fine-Tune) Llama2 模型。儘管官方版本已提供Llama2的訓練指南，為了方便起見，我們將使用在Github上較受歡迎的LLaMA-Efficient-Tuning 專案來進行模型訓練。
LLaMA-Efficient-Tuning是一個簡單易用的大型語言模型微調框架，除了可以進行常見的PEFT（PT+SFT+RLHF with QLoRA），還支援訓練許多其他大型語言模型，例如LlaMA2、BLOOM、Falcon和Baichuan。如果想要訓練ChatGLM，還可以使用同作者開發的ChatGLM-Efficient-Tuning。
我們進行微調的步驟如下：
1. 在Colab載入配備A100 GPU
2. 安裝LLaMA-Efficient-Tuning。
3. 調整dataset_info.json，將自己的資料集描述加入其中（命名為largitdata）。
4. 導入自己的監督式微調資料集（命名為largitdata_llm_sample.json）。
5. 使用內建指令src/train_bash.py進行監督式微調（Supervised Fine Tuning，SFT）。
6. 使用內建指令src/train_bash.py進行預測生成。
有了Llama2，再搭配自己的資料集，相信在不久的將來，大家都可以使用LLaMA-Efficient-Tuning快速有效地微調Llama2模型以適應特定需求。
請不要忘記點讚和訂閱本頻道，以便獲得更多有關ChatGPT與人工智慧相關的教學和資訊，我們下個教學見！
影片： https://www.largitdata.com/course/229/
前情提要 - [ChatGPT] 如何利用Meta推出的開源Llama2模型，打造屬於自己的ChatGPT: https://www.largitdata.com/course/228/
程式碼： https://github.com/ywchiu/largitdata/blob/master/code/Course_229.ipynb
資料集： https://github.com/ywchiu/largitdata/blob/master/data/largitdata_llm_sample.json
LLaMA-Efficient-Tuning 專案位置： https://github.com/hiyouga/LLaMA-Efficient-Tuning/tree/main
給資料科學家的Python基礎課： https://www.youtube.com/watch?v=uzInb5gbl4M&t=0s
大數學堂 - 學習資料科學的第一站： https://www.youtube.com/channel/UCSmvtvsTjqkvKLqpmsFWRQw