Este repositorio utiliza a formatação, scripts e aplicação originais do projeto Baize-Chatbot, porém modificado com objetivo de gerar conteúdo enviesado para uma perspectiva específica. Além disso desenvolvemos um script de inferencia customizado para utilizar modelos ggml. Neste projeto nao utilizamos nenhum dos dados gerados pelo projeto original do Baize. O script de ingestão dos arquivos foi completamente copiado do repositório localGPT.
Modelo lora Aurora-IA V1
Dataset utilizado Dataset-V1
Modelo lora v2 Aurorav2-IA
Dataset aurora v2 Dataset-v2
Modelo ggml v2-ref-doc Aurora-v2-doc-ref
Para subir a aplicação com lora (não suporta referencias):
Efetue o download do modelo lora citado acima
base_model=decapoda-research/llama-7b-hf
lora_model=project-baize/baize-lora-7B
cd aurora-ia/demo/
python app.py $base_model $lora_model
Instalar dependencias:
pip install -r requirements.txt
Para executar um chat simples com os modelos quantizados:
# Faça o download do modelo no huggingface.
# Efetue a ingestão dos arquivos para criar uma chromadb.
python ingest.py refs/korean-war-usa-clean.txt
# Execute o chat
python ggml_chat.py -m ./aurorav2-ultrachat-refer-q5_1.bin --cpu