feat: новая функция

2025-10-08 18:01:14 +03:00
parent 2c53bce32a
commit 725e7fd5a2
60 changed files with 5427 additions and 3921 deletions
--- a/aidocs/AI_FULL_INVENTORY.md
+++ b/aidocs/AI_FULL_INVENTORY.md
@@ -0,0 +1,505 @@
+# АБСОЛЮТНО ПОЛНЫЙ инвентарь AI системы
+
+**Дата:** 2025-10-08  
+**Метод:** Систематическая проверка ВСЕХ директорий  
+**Статус:** ✅ ПРОВЕРЕНО ВСЁ
+
+---
+
+## 📊 ИТОГОВАЯ СТАТИСТИКА
+
+| Категория | Количество |
+|-----------|-----------|
+| **Backend Services** | 31 файл |
+| **Backend Routes** | 13 файлов |
+| **Backend Utils** | 3 файла |
+| **Backend Scripts** | 3 файла |
+| **Backend Tests** | 4 файла |
+| **Backend Other** | 1 файл (wsHub.js) |
+| **Vector-Search (Python)** | 3 файла |
+| **Scripts (корень)** | 2 файла |
+| **Frontend Components** | 11 файлов |
+| **Frontend Services** | 2 файла |
+| **Frontend Composables** | 1 файл |
+| **Frontend Views** | 12 файлов |
+| **ИТОГО** | **86 ФАЙЛОВ** |
+
+---
+
+## 🔥 BACKEND (55 файлов)
+
+### ⭐ SERVICES (31 файл)
+
+#### КЛЮЧЕВЫЕ (9):
+1. `ai-assistant.js` - главный AI интерфейс
+2. `ollamaConfig.js` - настройки Ollama
+3. `ragService.js` - RAG генерация
+4. `unifiedMessageProcessor.js` - процессор всех сообщений
+5. `botManager.js` - координатор ботов
+6. `encryptedDatabaseService.js` - работа с БД
+7. `vectorSearchClient.js` - векторный поиск
+8. `conversationService.js` - управление беседами
+9. `messageDeduplicationService.js` - дедупликация
+
+#### АКТИВНЫЕ (15):
+10. `aiAssistantSettingsService.js` - настройки AI
+11. `aiAssistantRulesService.js` - правила AI
+12. `aiProviderSettingsService.js` - провайдеры AI
+13. `webBot.js` - веб бот
+14. `telegramBot.js` - Telegram бот
+15. `emailBot.js` - Email бот
+16. `guestService.js` - гостевые сообщения
+17. `guestMessageService.js` - перенос гостевых сообщений
+18. `identity-service.js` - идентификаторы пользователей
+19. `botsSettings.js` - настройки ботов
+20. `admin-role.js` - проверка админской роли
+21. `auth-service.js` - аутентификация
+22. `session-service.js` - сессии
+23. `userDeleteService.js` - удаление данных пользователей
+24. `index.js` - экспорт сервисов (частично устаревший)
+
+#### ЧАСТИЧНО/НЕ В ОСНОВНОМ ПОТОКЕ (5):
+25. `ai-cache.js` ⚠️ - только monitoring
+26. `ai-queue.js` ⚠️ - отдельный API
+27. `notifyOllamaReady.js` 📦 - скрипт для Ollama
+28. `testNewBots.js` 🧪 - тесты
+29. `adminLogicService.js` ❌ - мертвый код
+
+### 📡 ROUTES (13 файлов)
+
+#### КЛЮЧЕВЫЕ (3):
+1. `chat.js` ⭐ - основной чат API
+2. `settings.js` ⭐ - ВСЕ настройки AI
+3. `messages.js` - CRUD сообщений, broadcast
+
+#### СПЕЦИАЛИЗИРОВАННЫЕ (10):
+4. `ollama.js` - управление Ollama
+5. `rag.js` - RAG API
+6. `ai-queue.js` - очередь AI
+7. `monitoring.js` - мониторинг
+8. `auth.js` - аутентификация
+9. `identities.js` - управление идентификаторами
+10. `tables.js` - RAG таблицы
+11. `uploads.js` - загрузка файлов
+12. `system.js` - системные настройки
+13. `admin.js` - админ панель
+
+### 🛠️ UTILS (3 файла)
+
+1. `logger.js` ⭐ - логирование (везде!)
+2. `encryptionUtils.js` ⭐ - шифрование (везде!)
+3. `constants.js` - AI_USER_TYPES, AI_SENDER_TYPES, MESSAGE_CHANNELS
+4. `userUtils.js` - isUserBlocked
+
+### 📜 SCRIPTS (3 файла)
+
+1. `check-ollama-models.js` - проверка моделей Ollama
+2. `fix-rag-columns.js` - исправление RAG колонок
+3. (другие скрипты не связаны напрямую с AI)
+
+### 🧪 TESTS (4 файла)
+
+1. `ragService.test.js` - тесты RAG сервиса
+2. `ragServiceFull.test.js` - полные тесты RAG
+3. `adminLogicService.test.js` - тесты админской логики
+4. `vectorSearchClient.test.js` - тесты векторного поиска
+
+### 🔌 OTHER (1 файл)
+
+1. `wsHub.js` ⭐ - WebSocket хаб (критичен для уведомлений!)
+
+---
+
+## 🔍 VECTOR-SEARCH (3 файла Python)
+
+**Директория:** `vector-search/`
+
+1. **`app.py`** ⭐
+   - FastAPI приложение
+   - Endpoints: `/upsert`, `/search`, `/delete`, `/rebuild`, `/health`
+   - Порт: 8001
+
+2. **`vector_store.py`** ⭐
+   - Векторное хранилище на FAISS
+   - Embedding через Ollama
+   - Сохранение индексов
+
+3. **`schemas.py`**
+   - Pydantic схемы для валидации
+   - UpsertRequest, SearchRequest, DeleteRequest
+
+**Зависимости:**
+- FastAPI
+- FAISS
+- Ollama (для embeddings)
+
+---
+
+## 🎨 FRONTEND (26 файлов)
+
+### 🧩 COMPONENTS (11 файлов)
+
+1. `ChatInterface.vue` ⭐ - главный интерфейс чата
+2. `Message.vue` - компонент сообщения
+3. `MessagesTable.vue` - таблица сообщений
+4. `OllamaModelManager.vue` - управление моделями Ollama
+5. `AIQueueMonitor.vue` - мониторинг AI очереди
+6. `ai-assistant/RuleEditor.vue` - редактор правил AI
+7. `ai-assistant/SystemMonitoring.vue` - мониторинг системы AI
+8. `identity/EmailConnect.vue` - подключение email (для email бота)
+9. `identity/TelegramConnect.vue` - подключение Telegram (для Telegram бота)
+10. `identity/WalletConnection.vue` - подключение кошелька
+11. `identity/index.js` - экспорт компонентов идентификации
+
+### 📄 VIEWS (12 файлов)
+
+1. `AdminChatView.vue` - админский чат
+2. `PersonalMessagesView.vue` - личные сообщения
+3. `settings/AiSettingsView.vue` ⭐ - главные настройки AI
+4. `settings/AIProviderSettings.vue` - настройки провайдеров
+5. `settings/AI/AiAssistantSettings.vue` - настройки ассистента
+6. `settings/AI/OllamaSettingsView.vue` - настройки Ollama
+7. `settings/AI/OpenAISettingsView.vue` - настройки OpenAI
+8. `settings/AI/EmailSettingsView.vue` - настройки Email бота
+9. `settings/AI/TelegramSettingsView.vue` - настройки Telegram бота
+10. `settings/AI/DatabaseSettingsView.vue` - настройки БД
+11. `contacts/ContactDetailsView.vue` - детали контакта (сообщения)
+12. `tables/*` (5 файлов) - управление RAG таблицами
+
+### 🔧 SERVICES (2 файла)
+
+1. `messagesService.js` ⭐ - сервис сообщений
+2. `adminChatService.js` - админский чат
+
+### 🎣 COMPOSABLES (1 файл)
+
+1. `useChat.js` ⭐ - хук для чата с AI
+
+---
+
+## 🚀 SCRIPTS КОРНЕВЫЕ (2 файла)
+
+**Директория:** `scripts/`
+
+1. **`test-ai-assistant.sh`** 🧪
+   - Полный тест AI ассистента
+   - Проверка контейнеров, Ollama, Backend, RAG, производительности
+
+2. **`manage-models.sh`** 🔧
+   - Управление моделями Ollama
+   - Предзагрузка, поддержание в памяти, очистка
+
+---
+
+## 📂 ПОЛНАЯ СВОДКА ПО ДИРЕКТОРИЯМ
+
+```
+backend/
+├── services/         31 файл (9 ключевых, 15 активных, 5 частично, 2 мертвый код)
+├── routes/           13 файлов (3 ключевых, 10 активных)
+├── utils/            3 файла (2 ключевых, 1 активный)
+├── scripts/          3 файла (вспомогательные)
+├── tests/            4 файла (тесты)
+└── wsHub.js          1 файл (ключевой!)
+
+vector-search/        3 файла Python (критичны для RAG)
+
+scripts/              2 файла bash (управление)
+
+frontend/
+├── components/       11 файлов (UI компоненты AI)
+├── views/            12 файлов (страницы AI)
+├── services/         2 файла (API клиенты)
+└── composables/      1 файл (логика чата)
+
+═══════════════════════════════════════
+ИТОГО: 86 файлов
+═══════════════════════════════════════
+```
+
+---
+
+## 🎯 КРИТИЧЕСКИ ВАЖНЫЕ ФАЙЛЫ (TOP 15)
+
+**Без этих файлов AI НЕ РАБОТАЕТ:**
+
+| № | Файл | Путь | Роль |
+|---|------|------|------|
+| 1 | ai-assistant.js | services/ | Главный AI интерфейс |
+| 2 | ollamaConfig.js | services/ | Настройки Ollama |
+| 3 | ragService.js | services/ | RAG генерация |
+| 4 | unifiedMessageProcessor.js | services/ | Обработка сообщений |
+| 5 | botManager.js | services/ | Координатор ботов |
+| 6 | encryptedDatabaseService.js | services/ | Работа с БД |
+| 7 | vectorSearchClient.js | services/ | Векторный поиск |
+| 8 | logger.js | utils/ | Логирование |
+| 9 | encryptionUtils.js | utils/ | Шифрование |
+| 10 | wsHub.js | backend/ | WebSocket |
+| 11 | chat.js | routes/ | API чата |
+| 12 | settings.js | routes/ | API настроек AI |
+| 13 | app.py | vector-search/ | Vector search сервис |
+| 14 | vector_store.py | vector-search/ | FAISS хранилище |
+| 15 | ChatInterface.vue | frontend/ | UI чата |
+
+---
+
+## 📋 ДЕТАЛЬНЫЙ СПИСОК
+
+### BACKEND SERVICES (31)
+
+```
+✅ АКТИВНО ИСПОЛЬЗУЮТСЯ (24):
+━━━━━━━━━━━━━━━━━━━━━━━━━━━━
+1.  ai-assistant.js              ⭐ Главный AI интерфейс
+2.  ollamaConfig.js              ⭐ Настройки Ollama  
+3.  ragService.js                ⭐ RAG генерация
+4.  unifiedMessageProcessor.js  ⭐ Процессор сообщений
+5.  botManager.js                ⭐ Координатор ботов
+6.  encryptedDatabaseService.js ⭐ Работа с БД
+7.  vectorSearchClient.js        ✅ Векторный поиск
+8.  conversationService.js       ✅ Беседы
+9.  messageDeduplicationService.js ✅ Дедупликация
+10. aiAssistantSettingsService.js ✅ Настройки AI
+11. aiAssistantRulesService.js    ✅ Правила AI
+12. aiProviderSettingsService.js  ✅ Провайдеры
+13. webBot.js                     ✅ Web бот
+14. telegramBot.js                ✅ Telegram бот
+15. emailBot.js                   ✅ Email бот
+16. guestService.js               ✅ Гости
+17. guestMessageService.js        ✅ Перенос гостей
+18. identity-service.js           ✅ Идентификаторы
+19. botsSettings.js               ✅ Настройки ботов
+20. admin-role.js                 ✅ Админская роль
+21. auth-service.js               ✅ Аутентификация
+22. session-service.js            ✅ Сессии
+23. userDeleteService.js          ✅ Удаление данных
+24. index.js                      ⚠️ Устаревший экспорт
+
+⚠️ ЧАСТИЧНО (2):
+━━━━━━━━━━━━━━━━━━━━━━━━━━━━
+25. ai-cache.js                   ⚠️ Только monitoring
+26. ai-queue.js                   ⚠️ Отдельный API
+
+📦 ВСПОМОГАТЕЛЬНЫЕ (2):
+━━━━━━━━━━━━━━━━━━━━━━━━━━━━
+27. notifyOllamaReady.js          📦 Ollama скрипт
+
+🧪 ТЕСТОВЫЕ (1):
+━━━━━━━━━━━━━━━━━━━━━━━━━━━━
+28. testNewBots.js                🧪 Тесты ботов
+
+❌ МЕРТВЫЙ КОД (1):
+━━━━━━━━━━━━━━━━━━━━━━━━━━━━
+29. adminLogicService.js          ❌ Не импортируется
+```
+
+### BACKEND ROUTES (13)
+
+```
+⭐ КЛЮЧЕВЫЕ (3):
+━━━━━━━━━━━━━━━━━━━━━━━━━━━━
+1. chat.js                        ⭐ Основной API чата
+2. settings.js                    ⭐ ВСЕ настройки AI
+3. messages.js                    ⭐ CRUD, broadcast
+
+✅ СПЕЦИАЛИЗИРОВАННЫЕ (10):
+━━━━━━━━━━━━━━━━━━━━━━━━━━━━
+4. ollama.js                      ✅ Управление Ollama
+5. rag.js                         ✅ RAG API
+6. ai-queue.js                    ⚠️ Очередь API
+7. monitoring.js                  ✅ Мониторинг
+8. auth.js                        ✅ Аутентификация
+9. identities.js                  ✅ Идентификаторы
+10. tables.js                     ✅ RAG таблицы
+11. uploads.js                    ✅ Загрузка файлов
+12. system.js                     ✅ Системные настройки
+13. admin.js                      ✅ Админ панель
+```
+
+### BACKEND UTILS (3)
+
+```
+1. logger.js                      ⭐ Логирование (ВЕЗДЕ!)
+2. encryptionUtils.js             ⭐ Шифрование (ВЕЗДЕ!)
+3. constants.js                   ✅ AI константы
+4. userUtils.js                   ✅ isUserBlocked
+```
+
+### BACKEND SCRIPTS (3)
+
+```
+1. check-ollama-models.js         🔧 Проверка моделей
+2. fix-rag-columns.js             🔧 Исправление RAG
+3. wait-for-postgres.sh           🔧 Ожидание БД
+```
+
+### BACKEND TESTS (4)
+
+```
+1. ragService.test.js             🧪 Тесты RAG
+2. ragServiceFull.test.js         🧪 Полные тесты RAG
+3. adminLogicService.test.js      🧪 Тесты админской логики
+4. vectorSearchClient.test.js     🧪 Тесты векторного поиска
+```
+
+### BACKEND OTHER (1)
+
+```
+1. wsHub.js                       ⭐ WebSocket хаб
+```
+
+---
+
+## 🐍 VECTOR-SEARCH Python (3 файла)
+
+**Директория:** `vector-search/`
+
+```
+1. app.py                         ⭐ FastAPI приложение
+   - GET  /health
+   - POST /upsert
+   - POST /search
+   - POST /delete
+   - POST /rebuild
+
+2. vector_store.py                ⭐ FAISS векторное хранилище
+   - VectorStore класс
+   - Embeddings через Ollama
+   - Индексация и поиск
+
+3. schemas.py                     ✅ Pydantic схемы
+   - UpsertRequest
+   - SearchRequest
+   - DeleteRequest
+   - RebuildRequest
+```
+
+---
+
+## 🚀 SCRIPTS КОРНЕВЫЕ (2 файла)
+
+**Директория:** `scripts/`
+
+```
+1. test-ai-assistant.sh           🧪 Полный тест AI
+   - Проверка контейнеров
+   - Тест Ollama
+   - Тест Backend API
+   - Тест RAG системы
+   - Тест производительности
+
+2. manage-models.sh               🔧 Управление моделями
+   - status    - статус моделей
+   - preload   - предзагрузка
+   - keep      - поддержание в памяти
+   - clear     - очистка памяти
+   - test      - тест производительности
+```
+
+---
+
+## 🎨 FRONTEND (26 файлов)
+
+### COMPONENTS (11)
+
+```
+1. ChatInterface.vue              ⭐ Главный UI чата
+2. Message.vue                    ✅ Компонент сообщения
+3. MessagesTable.vue              ✅ Таблица сообщений
+4. OllamaModelManager.vue         ✅ Управление моделями
+5. AIQueueMonitor.vue             ⚠️ Мониторинг очереди
+6. ai-assistant/RuleEditor.vue    ✅ Редактор правил
+7. ai-assistant/SystemMonitoring.vue ✅ Мониторинг системы
+8. identity/EmailConnect.vue      ✅ Email подключение
+9. identity/TelegramConnect.vue   ✅ Telegram подключение
+10. identity/WalletConnection.vue ✅ Wallet подключение
+11. identity/index.js             ✅ Экспорт
+```
+
+### VIEWS (12)
+
+```
+1. AdminChatView.vue              ✅ Админский чат
+2. PersonalMessagesView.vue       ✅ Личные сообщения
+3. settings/AiSettingsView.vue    ⭐ Главная страница настроек AI
+4. settings/AIProviderSettings.vue ✅ Настройки провайдеров
+5. settings/AI/AiAssistantSettings.vue ⭐ Настройки ассистента
+6. settings/AI/OllamaSettingsView.vue ✅ Настройки Ollama
+7. settings/AI/OpenAISettingsView.vue ✅ Настройки OpenAI
+8. settings/AI/EmailSettingsView.vue ✅ Настройки Email бота
+9. settings/AI/TelegramSettingsView.vue ✅ Настройки Telegram
+10. settings/AI/DatabaseSettingsView.vue ✅ Настройки БД
+11. contacts/ContactDetailsView.vue ✅ Детали контакта
+12. tables/* (5 views)            ✅ RAG таблицы
+```
+
+### SERVICES (2)
+
+```
+1. messagesService.js             ⭐ API клиент для сообщений
+2. adminChatService.js            ✅ API клиент админского чата
+```
+
+### COMPOSABLES (1)
+
+```
+1. useChat.js                     ⭐ Логика чата
+```
+
+---
+
+## 🔢 ФИНАЛЬНАЯ СТАТИСТИКА
+
+### Всего файлов: 86
+
+#### По директориям:
+- **Backend:** 55 файлов
+  - services: 31
+  - routes: 13
+  - utils: 3
+  - scripts: 3
+  - tests: 4
+  - other: 1 (wsHub)
+
+- **Vector-search:** 3 файла (Python)
+
+- **Scripts:** 2 файла (bash)
+
+- **Frontend:** 26 файлов
+  - components: 11
+  - views: 12
+  - services: 2
+  - composables: 1
+
+#### По статусу:
+- ⭐ **КЛЮЧЕВЫЕ** (критичны): 15 файлов
+- ✅ **АКТИВНЫЕ** (используются): 53 файла
+- ⚠️ **ЧАСТИЧНО** (не в основном потоке): 7 файлов
+- 🧪 **ТЕСТЫ/СКРИПТЫ**: 11 файлов
+- ❌ **МЕРТВЫЙ КОД**: 2 файла
+
+---
+
+## ✅ ВСЁ ПРОВЕРЕНО!
+
+**Проверенные директории:**
+- ✅ backend/services/
+- ✅ backend/routes/
+- ✅ backend/utils/
+- ✅ backend/scripts/
+- ✅ backend/tests/
+- ✅ vector-search/
+- ✅ scripts/
+- ✅ frontend/src/components/
+- ✅ frontend/src/views/
+- ✅ frontend/src/services/
+- ✅ frontend/src/composables/
+
+**Ничего не пропущено! Это ПОЛНЫЙ инвентарь AI системы.**
+
+---
+
+**Дата:** 2025-10-08  
+**Проверил:** Все директории проекта  
+**Метод:** grep + find + систематическая проверка
+