Docstóteles - Assistente de Documentação Inteligente

Um assistente de documentação inteligente que combina web scraping com RAG (Retrieval Augmented Generation). Permite coletar conhecimento de sites, organizar em coleções e interagir através de chat com os documentos usando LLMs para respostas contextualizadas.

Funcionalidades

• Chat com Documentos: Interface de chat para interagir com documentos coletados
• Web Scraping: Coleta automatizada de conteúdo de sites para uso no RAG
• Gestão de Coleções: Organiza documentos em coleções temáticas
• Visualização de Documentos: Visualiza documentos coletados
• Histórico de Conversas: Salva conversas para referência futura

Tecnologias Utilizadas

• Streamlit: Interface de usuário
• LangChain: Framework para aplicações baseadas em LLM
• OpenAI API: Modelos de linguagem
• Firecrawl: Engine de web scraping
• FAISS: Indexação vetorial para recuperação de documentos
• TinyDB: Armazenamento de dados

Estrutura do Projeto

docstoteles/
├── Home.py                         # Página principal (chat)
├── pages/                          # Páginas adicionais
│   ├── 1_🔍_Scraping.py            # Página de scraping
│   └── 2_📊_Visualizar.py          # Página de visualização
├── core/                           # Módulos core
│   ├── config.py                   # Configurações
│   ├── database.py                 # Operações do banco
│   └── utils.py                    # Utilitários
├── services/                       # Serviços
│   ├── ai_service.py               # Serviços de IA
│   ├── document_service.py         # Serviços de documentos
│   └── scraping_service.py         # Serviços de scraping
└── data/                           # Dados
    ├── conversations/              # Histórico de conversas
    └── rag/                        # Documentos coletados

Instalação

1. Clone o repositório:

git clone https://github.com/seu-usuario/docstoteles-ai-assistant.git
cd docstoteles-ai-assistant

2. Instale as dependências:

# Com Poetry
poetry add streamlit python-dotenv langchain langchain-community langchain-openai faiss-cpu openai streamlit-js-eval tinydb requests unstructured markdown

# Se estiver usando Firecrawl diretamente do GitHub
poetry add git+https://github.com/firecrawl/firecrawl-python.git

# OU com pip
pip install streamlit python-dotenv langchain langchain-community langchain-openai faiss-cpu openai streamlit-js-eval tinydb requests unstructured markdown

3. Configure as variáveis de ambiente:

# Crie um arquivo .env na raiz do projeto
echo "OPENAI_API_KEY=sua_chave_api_aqui" > .env
echo "FIRECRAWL_API_KEY=sua_chave_firecrawl_aqui" >> .env

Uso

Execute o aplicativo:

streamlit run Home.py

Fluxo de trabalho:

1. Página inicial:

   • Selecione uma coleção de documentos existente
   • Ou crie uma nova com a página de Scraping

2. Scraping:

   • Insira uma URL para extrair conteúdo
   • Defina um nome para a nova coleção
   • Execute o scraping e acompanhe o progresso

3. Chat:

   • Selecione uma coleção para conversar
   • Faça perguntas sobre os documentos
   • As respostas serão geradas com base nos documentos da coleção

4. Visualização:

   • Explore os documentos coletados
   • Veja estatísticas das suas coleções

Notas sobre o Streamlit Multipage

Este projeto usa o sistema nativo de páginas do Streamlit:

• A página principal é Home.py na raiz do projeto
• Páginas adicionais ficam na pasta pages/ com prefixos numéricos para definir a ordem
• A navegação é automática pela barra lateral gerada pelo Streamlit
• Compartilhamento de estado entre páginas é feito via st.session_state

Contribuições

Contribuições são bem-vindas! Por favor, abra um issue primeiro para discutir o que você gostaria de mudar.

Licença

MIT