!pip install python-docxfrom docx import Document
# Substitua isso pela sua transcrição real
transcricao = """
Esta é uma transcrição de teste.!pip install python-docxfrom docx import Document
# Substitua isso pela sua transcrição real
transcricao = """
Esta é uma transcrição de teste.| import os | |
| from openai import OpenAI | |
| from pydantic import BaseModel | |
| client = OpenAI(api_key=os.getenv("OPENAI_API_KEY")) | |
| class CalendarEvent(BaseModel): | |
| name: str | |
| date: str | |
| participants: list[str] |
| import faiss | |
| from sentence_transformers import SentenceTransformer | |
| from openai import OpenAI | |
| from dotenv import load_dotenv | |
| load_dotenv() | |
| documents = [ | |
| "FAISS é uma biblioteca para busca eficiente de similaridade desenvolvida pelo Facebook AI Research.", | |
| "RAG (Retrieval-Augmented Generation) é uma técnica que melhora os modelos de linguagem recuperando informações relevantes de uma base de conhecimento.", |
| # This implementation is based on the paper: https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf | |
| # | |
| # pip install torch transformers | |
| # python grpo_demo.py | |
| import torch | |
| import torch.nn as nn | |
| import torch.optim as optim | |
| from transformers import BertTokenizer, BertModel |
A proposta do paper publicado pelo Google chamado Titans, propõe uma arquitetura diferente das tradicionais baseadas em transformers e modelos de linguagem de grande escala. Depois de concluir a leitura, esses são os principais pontos que destaquei:
Transformers e suas limitações:
Transformers usam o mecanismo de self-attention para calcular as relações entre todos os tokens de uma sequência (por exemplo, "o gato pulou sobre o cachorro"). Isso resulta em uma complexidade quadrática, ou seja, é computacionalmente caro para sequências longas. Outra limitação é que os transformers não diferenciam explicitamente entre memória de curto e longo prazo; todos os tokens interagem igualmente.
A proposta dos Titans:
Na arquitetura Titans introduz um sistema de memória dual inspirado no "funcionamento do cérebro humano":
| # dependencies | |
| # pip install -U openai gradio | |
| import os, openai | |
| import gradio as gr | |
| openai.api_key = 'sk-xxxxxx' | |
| messages = [{"role": "system", "content": """Assistant is an expert candidate in | |
| technical IT job interviews. Currently, the interview is | |
| focused on a position for Platform Engineer. So, you have skills |
| Fabricante | Cor | Quilometragem | Portas | Preco | |
|---|---|---|---|---|---|
| Toyota | Branco | 150043 | 4 | R$ 24,000.00 | |
| Honda | Vermelho | 87899 | 4 | R$ 25,000.00 | |
| Toyota | Azul | 32549 | 3 | R$ 27,000.00 | |
| BMW | Preto | 11179 | 5 | R$ 122,000.00 | |
| Nissan | Branco | 213095 | 4 | R$ 13,500.00 | |
| Toyota | Verde | 99213 | 4 | R$ 14,500.00 | |
| Honda | Azul | 45698 | 4 | R$ 17,500.00 | |
| Honda | Azul | 54738 | 4 | R$ 27,000.00 | |
| Toyota | Branco | 60000 | 4 | R$ 26,250.00 |
I hereby claim:
To claim this, I am signing this object: