Что такое AnythingLLM
AnythingLLM — программа с открытым кодом от американской Mintplex Labs, лицензия MIT. Её главная задача — чат с вашими документами: вы загружаете PDF, DOCX, таблицы или ссылки на сайты, а модель отвечает на вопросы по ним и показывает, из какого фрагмента взят ответ.
Сама программа не содержит «умной» модели — она соединяет документы с языковой моделью, которую вы выберете. Это может быть локальная модель на вашем компьютере через Ollama или LM Studio, встроенная модель AnythingLLM Default или облачная — OpenAI, Anthropic и другие через API-ключ.
Как установить
Скачайте установщик
С anythingllm.com/download — версии для Windows, macOS и Linux. Настольная версия бесплатна.
Выберите модель при первом запуске
Для начала подойдёт встроенная AnythingLLM Default. Если уже стоит Ollama или LM Studio, выберите их — программа подхватит локальные модели.
Создайте рабочее пространство
Workspace — отдельная папка со своими документами и историей чата. Под каждый проект заводите своё.
Загрузите документы
Перетащите файлы в окно загрузки и добавьте их в рабочее пространство, чтобы программа проиндексировала текст.
Задайте вопрос
Ответ приходит со ссылками на фрагменты источников — по ним удобно проверять, не выдумала ли модель.
Ollama и локальные модели
Связка с Ollama — самый частый сценарий: всё работает на вашем компьютере, документы никуда не уходят. Сначала ставится Ollama и скачивается модель, затем в настройках AnythingLLM в разделе провайдеров LLM выбирается Ollama и нужная модель из списка.
Цена приватности — железо. Небольшие модели работают и на обычном ноутбуке, но отвечают на русском заметно слабее. Для хорошего качества нужна видеокарта с большим объёмом памяти. Облачные модели умнее, но их API из России не оплатить российской картой.
Прикрепить или проиндексировать
В документации AnythingLLM разделены два режима: прикрепить файл к сообщению и добавить его в базу для поиска (RAG). Прикреплённый файл целиком уходит в контекст модели — это точнее для одного короткого документа. RAG ищет подходящие куски в большой базе — это нужно, когда документов десятки.
Если модель отвечает мимо, проверьте, что файл действительно добавлен в рабочее пространство, и попробуйте прикрепить его к сообщению напрямую.
Агент и создание файлов
Команда @agent в чате включает агента со встроенными навыками: поиск по документам, поиск в интернете, работа с файлами. Частая жалоба «AnythingLLM не создаёт файл» обычно связана с моделью: агенту нужна модель, которая умеет вызывать инструменты. Маленькие локальные модели с этим часто не справляются — попробуйте модель покрупнее или облачную.
Язык интерфейса переключается в настройках программы. Русский перевод есть, но неполный, часть пунктов остаётся на английском.
Частые проблемы после установки
Большинство вопросов из запросов «anythingllm инструкции» и «как пользоваться» сводится к этим четырём пунктам. Остальное подробно описано в официальной документации docs.anythingllm.com.
- модель отвечает на английском — попросите в настройках рабочего пространства отвечать по-русски;
- ответы медленные — выбрана слишком крупная для вашего железа локальная модель, возьмите поменьше;
- модель не видит документ — файл загружен, но не добавлен в рабочее пространство;
- Ollama не находится — проверьте, что она запущена, и выберите её заново в настройках провайдера.
Когда быстрее через ИИ-агента
Если нужен не свой сервер знаний, а разовый разбор документов, ИИ-агент LeanTech проще: загрузили файлы в браузере — получили выводы готовым DOCX, PDF или таблицей XLSX. Модели GPT, Claude, Gemini и DeepSeek доступны без API-ключей и видеокарты, оплата картой РФ.
Чего агент не делает: не ставит AnythingLLM и Ollama к вам на компьютер, не работает внутри программы и не хранит документы локально. Если данные нельзя выносить за пределы компьютера, оставайтесь на AnythingLLM с локальной моделью.