Вернуться к профилю

2025 — 2026

Платформа речевых технологий и AI-сценариев

Запись встреч, транскрибация и AI-обработка в одной системе. От ботов для конференций до собственных LLM-сценариев и локального инференса.

Архитектор и основной разработчик AI-подсистем

Задача

Разрозненные модули обработки дублировали код и делили вычислительные ресурсы. Новые AI-функции требовали отдельных реализаций.

Личный вклад

  • Создал ботов записи для Zoom, Google Meet и Яндекс Телемоста с изоляцией каждой встречи в Docker.
  • Объединил обработку транскриптов и исследовательские задачи в общий движок LLM Task.
  • Разработал многошаговые сценарии, структурированные ответы и обработку длинных записей.
  • Создал шлюз к локальным моделям, телеметрию и интерфейсы управления; подключил чаты по транскриптам.

Результаты

  • Три платформы конференций подключены к единому процессу записи и обработки. (3 платформы)
  • Разные AI-задачи работают через общий движок и пул ресурсов.
  • Задачи, модели и серверы доступны для наблюдения из интерфейсов управления.
От записи встречи к результату ИИ. Запись, распознавание речи, обработка задач и локальные модели связаны общим потоком. Сплошные линии показывают поток данных, пунктирные — обратные и эксплуатационные связи.Открыть схему в полном размере ↗
Компоненты и связи

Источники встреч

  • Zoom · Google Meet · Яндекс ТелемостОнлайн-конференции для записи.

Запись и распознавание речи

  • Боты записиИзолированный контейнер на каждую активную конференцию.
  • Распознавание речиПолучение текста и временного контекста записи.
  • Очередь обработки записейАсинхронный переход от записи к обработке медиафайла.
  • Извлечение аудиоПодготовка аудиодорожки для распознавания.

Обработка с помощью ИИ

  • Задача для моделиОбщий способ выполнения задач: итогов встреч, исследований и других запросов к языковой модели.
  • Дерево задачРазбиение длинного текста на части и объединение результатов.
  • Сценарии обработкиПоследовательные и условные многошаговые AI-процессы.
  • Ответ по схемеПарсинг ответа модели в типизированный результат.
  • Инструкции и ассистентыИнструкции, вопросы и конфигурации структурированных ответов.

Локальные модели

  • Шлюз к моделямНаблюдаемая точка входа к локальным языковым моделям.
  • llama.cppСреда выполнения локальных моделей с открытыми весами.
  • Распределение запросовРаспределение запросов между доступными серверами языковых моделей.
  • Модели с открытыми весамиЯзыковые модели, запущенные на собственных серверах.

Продуктовые интерфейсы

  • Панель управленияЗаписи, задачи, отчёты, сценарии, шлюзы к моделям и состояние инфраструктуры.
  • Чат по записямВопросы к конкретному транскрипту через внешний или локальный агент.
  • Локальный агентИзолированный в контейнере агент, использующий локальную языковую модель.
  • Внешняя CRMПередача записей, транскриптов и структурированных отчётов во внешнюю CRM.

Эксплуатация

  • МониторингСостояние моделей, активных задач и инфраструктурных узлов.
  • Управление по SSHУстановка, обновление и проверка состояния разных типов серверных проектов.
  1. Zoom · Google Meet · Яндекс Телемост→Боты записиссылка на встречу
  2. Боты записи→Очередь обработки записейзапись
  3. Очередь обработки записей→Извлечение аудиомедиафайл
  4. Извлечение аудио→Распознавание речиаудио
  5. Распознавание речи→Задача для моделитекст записи
  6. Задача для модели→Дерево задачдлинный текст
  7. Инструкции и ассистенты→Задача для моделиинструкции
  8. Сценарии обработки→Задача для моделиновая задача
  9. Задача для модели→Распределение запросовзапрос к модели
  10. Распределение запросов→Шлюз к моделяммаршрутизация
  11. Шлюз к моделям→llama.cppзапрос
  12. llama.cpp→Модели с открытыми весамизапуск
  13. Задача для модели→Ответ по схемеответ модели
  14. Ответ по схеме→Панель управленияотчёт
  15. Ответ по схеме→Внешняя CRMданные по схеме
  16. Распознавание речи→Чат по записямтекст встречи
  17. Чат по записям↔Локальный агентзакрытый режим
  18. Локальный агент↔Шлюз к моделямлокальная модель
  19. Шлюз к моделям→Мониторингпоказатели
  20. Мониторинг→Панель управлениясостояние
  21. Управление по SSH→Боты записиустановка и обновление
  22. Управление по SSH→Шлюз к моделямустановка и обновление

Инженерный итог

Контекст

Платформа для работы с записями встреч и локальными языковыми моделями.

  • Работа с данными в локальном контуре.
  • Разная доступность вычислительных узлов.
  • Записи длиннее контекстного окна модели.

Подход

Выделил общий движок из действующих функций и последовательно связал запись, обработку, сценарии и инфраструктуру.

  • Единый тип задачи и общий пул ресурсов для разных AI-функций.
  • Дочерние задачи и агрегация результатов для длинного контекста.
  • Отдельные модели для промтов, сценариев, выполнения и отчётов.

Выводы

  • Универсализация оправдана после появления доказанного дублирования, а не заранее.
  • Структурированный ответ связывает результат модели с контрактами приложения.
  • Наблюдаемость и развёртывание являются частью продукта, а не вспомогательной работой.

Стек

  • Docker
  • Queues / workers
  • llama.cpp
  • Open-weight LLM
  • Nginx / load balancing
  • SSH orchestration
  • Vue dashboards
  • Structured output

Навыки

Продукты, системы и идеи, доведённые до работающего кода.