Эволюция домашней AI-платформы: от идеи до масштабной инфраструктуры

Начавшись как попытка создать альтернативу ChatGPT, амбициозный проект одиночного разработчика превратился в полноценную AI-платформу, работающую на домашнем оборудовании. За два года инициатива, стартовавшая с простого Telegram-бота, разрослась до сложной системы, включающей 66 контейнеров на двух серверах, расположенных под обычным столом.

Изначальный бот, запущенный 26 августа 2024 года, был скромным: он использовал одну модель, не поддерживал контекст и испытывал трудности с длинными сообщениями. Однако его функциональность привлекла первых пользователей, что подтолкнуло разработчика к «небольшим доработкам», которые в итоге привели к созданию многофункциональной платформы.

Архитектура и возможности платформы

Современная итерация платформы демонстрирует впечатляющий набор возможностей и архитектурных решений:

  • Многоканальная доставка: Поддержка шести каналов, включая Telegram, VK, MAX, Discord, веб-интерфейс и электронную почту для уведомлений и результатов длительных задач.
  • Расширенная функциональность: Интегрированный биллинг, голосовой агент и система RAG (Retrieval-Augmented Generation) для работы с документами.
  • Инфраструктура: 66 контейнеров на двух узлах, BGP-маршрутизация, собственная система непрерывной интеграции (CI) и выделенный helpdesk.
  • GPU-нода: Присутствие узла с GPU, оснащенного видеокартой RTX 3090, для локальных моделей, значительно увеличившего энергопотребление по сравнению с первоначальной конфигурацией, которая потребляла меньше игровой приставки.

Разработчик подчеркивает, что значительная часть кода платформы была сгенерирована ИИ. Этот подход не обошелся без проблем: после первого же развертывания платформа столкнулась с атакой шифровальщика, уничтожившего базу данных. Этот инцидент выявил критическую потребность в глубоком понимании вопросов безопасности при запуске ИИ-приложений в интернете.

К моменту своего развития, платформа способна обрабатывать до 1500 одновременных запросов, используя очереди, память на pgvector, детерминированные сценарии, изолированный sandbox и механизмы восстановления задач после сбоев. Проект служит примером того, как энтузиазм и готовность к экспериментам могут привести к созданию мощных и сложных систем даже при отсутствии команды и бюджета, а также демонстрирует, как домашняя инфраструктура может трансформироваться под влиянием непрерывного развития.