🐍 Python RAG Песочница

Базовый пример RAG (Pyodide)

import numpy as np
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import textwrap

class SimpleRAG:
    """RAG система с TF-IDF векторизацией"""
    
    def __init__(self):
        self.documents = []
        self.vectorizer = TfidfVectorizer()
        self.document_vectors = None
        
    def add_documents(self, docs):
        """Этап 1-2: Encode + Index документов"""
        self.documents = docs
        # Создаем TF-IDF векторы (аналог Embedding Model)
        self.document_vectors = self.vectorizer.fit_transform(docs)
        return len(docs)
    
    def search(self, query, k=2):
        """Этапы 3-5: Encode Query + Similarity Search + Retrieve"""
        if not self.documents:
            return []
        
        # Векторизация запроса
        query_vector = self.vectorizer.transform([query])
        
        # Вычисление косинусного сходства
        similarities = cosine_similarity(query_vector, self.document_vectors)[0]
        
        # Получение топ-k результатов
        top_indices = similarities.argsort()[-k:][::-1]
        
        results = []
        for idx in top_indices:
            if similarities[idx] > 0:
                results.append({
                    'document': self.documents[idx],
                    'score': float(similarities[idx]),
                    'index': idx + 1
                })
        
        return results
    
    def generate_answer(self, query, context_docs):
        """Этапы 6-7: Prompt + Generate Response (упрощенная версия)"""
        if not context_docs:
            return "Релевантные документы не найдены."
        
        # Формируем промпт с контекстом
        context = "\n".join([doc['document'] for doc in context_docs])
        
        # Простая логика генерации ответа
        if "rag" in query.lower():
            return "RAG (Retrieval-Augmented Generation) объединяет поиск и генерацию для точных ответов"
        elif "быстр" in query.lower() or "алгоритм" in query.lower():
            return "HNSW и FAISS показывают лучшую производительность для векторного поиска"
        else:
            return f"На основе контекста: {context_docs[0]['document'][:100]}..."

# Инициализация
print("🐍 Python RAG Песочница (Pyodide Edition)")
print("=" * 70)

rag = SimpleRAG()

# Добавляем документы
documents = [
    "RAG (Retrieval-Augmented Generation) объединяет поиск и генерацию для точных ответов",
    "FAISS - библиотека Facebook для быстрого поиска по векторам",  
    "HNSW показывает лучшую производительность для приближенного поиска",
    "Эмбеддинги преобразуют текст в числовые векторы для семантического поиска",
    "Recall@k измеряет долю найденных релевантных документов"
]

num_docs = rag.add_documents(documents)
print(f"✅ Добавлено {num_docs} документов в Vector Database")
print()

# Выполняем запросы
queries = [
    "Что такое RAG?",
    "Какой алгоритм поиска самый быстрый?"
]

for query in queries:
    print("=" * 70)
    print(f"🔍 Query: '{query}'")
    
    # Поиск релевантных документов
    results = rag.search(query, k=2)
    print(f"📊 Найдено документов: {len(results)}")
    
    for result in results:
        print(f"\n{result['index']}. (Score: {result['score']:.3f})")
        wrapped = textwrap.fill(result['document'], width=66)
        for line in wrapped.split('\n'):
            print(f"   {line}")
    
    # Генерация ответа
    answer = rag.generate_answer(query, results)
    print(f"\n💡 Generated Response:")
    wrapped = textwrap.fill(answer, width=66)
    for line in wrapped.split('\n'):
        print(f"   {line}")
    print()

print("=" * 70)
print("✅ Pipeline completed successfully!")
Результат выполнения

⏳ Инициализация Pyodide...
Python RAG Песочница

RAG Pipeline Architecture

📥 Этап индексации (Steps 1-2):

🔍 Этап поиска (Steps 3-7):

Базовый пример RAG (Pyodide)

Результат выполнения

Используемые технологии

🐍 Pyodide

📊 Scikit-learn

🔢 NumPy
