Вернуться к профилюAI / LLM
Локальные LLM
Локальный инференс моделей с открытыми весами через llama.cpp и единый шлюз и контейнеризированных агентов.
Применение
- Платформа речевых технологий и AI-сценариев
Создал шлюз к локальным моделям на llama.cpp с балансировкой запросов и телеметрией.
Открыть связанный проект
Связанные проекты
- Платформа речевых технологий и AI-сценариев
Запись встреч, транскрибация и AI-обработка в одной системе. От ботов для конференций до собственных LLM-сценариев и локального инференса.