ваше сообщение коммита
This commit is contained in:
@@ -21,7 +21,6 @@ const errorHandler = require('./middleware/errorHandler');
|
||||
// const { version } = require('./package.json'); // Закомментировано, так как не используется
|
||||
const db = require('./db'); // Добавляем импорт db
|
||||
const aiAssistant = require('./services/ai-assistant'); // Добавляем импорт aiAssistant
|
||||
const { warmupModel } = require('./scripts/warmup-model'); // Добавляем импорт разогрева модели
|
||||
const fs = require('fs');
|
||||
const path = require('path');
|
||||
const messagesRoutes = require('./routes/messages');
|
||||
|
||||
@@ -1,66 +0,0 @@
|
||||
#!/usr/bin/env node
|
||||
|
||||
/**
|
||||
* Скрипт для разогрева модели Ollama
|
||||
* Запускается при старте backend для ускорения первых запросов
|
||||
*/
|
||||
|
||||
const fetch = require('node-fetch');
|
||||
|
||||
const OLLAMA_URL = process.env.OLLAMA_URL || 'http://ollama:11434';
|
||||
const MODEL_NAME = process.env.OLLAMA_MODEL || 'qwen2.5:7b';
|
||||
|
||||
async function warmupModel() {
|
||||
// console.log('🔥 Разогрев модели Ollama...');
|
||||
|
||||
try {
|
||||
// Проверяем доступность Ollama
|
||||
const healthResponse = await fetch(`${OLLAMA_URL}/api/tags`);
|
||||
if (!healthResponse.ok) {
|
||||
throw new Error(`Ollama недоступен: ${healthResponse.status}`);
|
||||
}
|
||||
|
||||
// console.log('✅ Ollama доступен');
|
||||
|
||||
// Отправляем простой запрос для разогрева (корректный эндпоинт)
|
||||
const warmupResponse = await fetch(`${OLLAMA_URL}/api/chat`, {
|
||||
method: 'POST',
|
||||
headers: { 'Content-Type': 'application/json' },
|
||||
body: JSON.stringify({
|
||||
model: MODEL_NAME,
|
||||
messages: [
|
||||
{ role: 'system', content: 'Ты полезный ассистент.' },
|
||||
{ role: 'user', content: 'Привет! Как дела?' }
|
||||
],
|
||||
stream: false,
|
||||
options: {
|
||||
temperature: 0.2,
|
||||
num_predict: 64,
|
||||
num_ctx: 1024,
|
||||
num_thread: 4,
|
||||
num_gpu: 1,
|
||||
repeat_penalty: 1.1,
|
||||
top_k: 30,
|
||||
top_p: 0.9
|
||||
}
|
||||
}),
|
||||
});
|
||||
|
||||
if (!warmupResponse.ok) {
|
||||
throw new Error(`Ошибка разогрева: ${warmupResponse.status}`);
|
||||
}
|
||||
|
||||
const data = await warmupResponse.json();
|
||||
// console.log('✅ Модель разогрета успешно');
|
||||
// console.log(`📝 Ответ модели: ${(data.message?.content || data.response || '').substring(0, 100)}...`);
|
||||
|
||||
} catch (error) {
|
||||
// console.error('❌ Ошибка разогрева модели:', error.message);
|
||||
// Не прерываем запуск приложения
|
||||
}
|
||||
}
|
||||
|
||||
// Запускаем разогрев с задержкой
|
||||
setTimeout(warmupModel, 5000);
|
||||
|
||||
module.exports = { warmupModel };
|
||||
@@ -18,7 +18,6 @@ const logger = require('./utils/logger');
|
||||
const { getBot } = require('./services/telegramBot');
|
||||
const EmailBotService = require('./services/emailBot');
|
||||
const { initDbPool, seedAIAssistantSettings } = require('./db');
|
||||
const { warmupModel } = require('./scripts/warmup-model'); // Добавляем импорт разогрева модели
|
||||
const memoryMonitor = require('./utils/memoryMonitor');
|
||||
|
||||
const PORT = process.env.PORT || 8000;
|
||||
@@ -72,9 +71,6 @@ async function startServer() {
|
||||
// Разогрев модели Ollama
|
||||
// console.log('🔥 Запуск разогрева модели...');
|
||||
setTimeout(() => {
|
||||
warmupModel().catch(err => {
|
||||
// console.error('❌ Ошибка разогрева модели:', err.message);
|
||||
});
|
||||
}, 10000); // Задержка 10 секунд для полной инициализации
|
||||
|
||||
await initServices(); // Только теперь запускать сервисы
|
||||
|
||||
@@ -352,8 +352,7 @@ class AIAssistant {
|
||||
model,
|
||||
messages: finalMessages,
|
||||
stream: false,
|
||||
options: ollamaOptions,
|
||||
keep_alive: '3m'
|
||||
options: ollamaOptions
|
||||
})
|
||||
});
|
||||
logger.info(`[AIAssistant] Ollama API ответил: status=${response.status}`);
|
||||
|
||||
Reference in New Issue
Block a user