Avaliação de modelos de linguagem compactos em execução offline
estudo do TinyLlama-1.1B-Chat
DOI:
https://doi.org/10.47385/tudoeciencia.2561.2025Palavras-chave:
Modelos de linguagem de pequeno porte. Sistemas conversacionais autônomos. Avaliação de desempenho. VS Code. Python.Resumo
Este estudo apresenta uma análise do modelo TinyLlama-1.1B-Chat-v1.0 operando em ambiente local completamente offline, utilizando VS Code e Python em máquina pessoal sem necessidade de conectividade de rede após o carregamento inicial. O trabalho investiga as capacidades conversacionais de um modelo de linguagem de pequeno porte (1.1 bilhão de parâmetros) em cenários de uso autônomo, avaliando sua precisão factual, coerência contextual e capacidade de manutenção de diálogo. A metodologia envolveu a implementação de um sistema de chat interativo com preservação de histórico e avaliação sistemática de respostas em domínios variados, executado localmente em ambiente de desenvolvimento integrado. Os resultados demonstraram que, apesar das limitações inerentes ao tamanho reduzido, o modelo apresentou desempenho satisfatório em questões factuais básicas, mantendo coerência conversacional e fornecendo respostas estruturadas. O sistema operou de forma autônoma após carregamento, demonstrando viabilidade para aplicações em ambientes com restrições de conectividade e necessidades de privacidade de dados. As análises revelaram precisão factual adequada em conhecimentos gerais, embora com limitações em detalhes específicos e contextos mais complexos.
Downloads
Referências
BROWN, T. et al. Language models are few-shot learners. In: ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS 33 (NEURIPS 2020), 2020, Online. Proceedings... [S.l.: s.n.], 2020. p. 1877-1901.
TOUVRON, H. et al. Llama 2: Open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288, 2023.
WOLF, T. et al. Transformers: State-of-the-art natural language processing. In: CONFERENCE ON EMPIRICAL METHODS IN NATURAL LANGUAGE PROCESSING: SYSTEM DEMONSTRATIONS, 2020, Online. Proceedings... Association for Computational Linguistics, 2020. p. 38-45.
ZHANG, P. et al. TinyLlama: An open-source small language model. arXiv preprint arXiv:2401.02385, 2024.
ZHAO, W. Z. et al. A survey of large language models. arXiv preprint arXiv:2303.18223, 2023.
GOLDBERG, Yoav. A primer on neural network models for natural language processing. Journal of Artificial Intelligence Research, v. 57, p. 345-420, 2016.
GOUSIOS, Georgios et al. Work practices and challenges in pull-based development: The integrator's perspective. In: 2015 IEEE/ACM 37th IEEE International Conference on Software Engineering. IEEE, 2015. p. 358-368.
DETTMERS, Tim et al. Gpt3. int8 (): 8-bit matrix multiplication for transformers at scale. Advances in neural information processing systems, v. 35, p. 30318-30332, 2022.
HOLTZMAN, A. et al. The curious case of neural text degeneration. In: INTERNATIONAL CONFERENCE ON LEARNING REPRESENTATIONS, 7., 2019, New Orleans. Proceedings... [S.l.: s.n.], 2019.
PETRONI, F. et al. Language models as knowledge bases? In: CONFERENCE ON EMPIRICAL METHODS IN NATURAL LANGUAGE PROCESSING, 2019, Hong Kong. Proceedings... Association for Computational Linguistics, 2019. p. 2463-2473.
Downloads
Publicado
Como Citar
Edição
Seção
Licença
Copyright (c) 2025 Tudo é Ciência: Congresso Brasileiro de Ciências e Saberes Multidisciplinares
Este trabalho está licenciado sob uma licença Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
