Как отличить ИИ-стартап от обертки для LLM

Три слоя ИИ-продукта, или почему базовой модели и промптов недостаточно для создания сильного продукта

При оценке ИИ-стартапа разговор часто начинается с модели.

Какую LLM использует продукт? Почему команда выбрала именно ее? Насколько хорошо она справляется с задачей по сравнению с альтернативами? Затем обсуждаются стоимость, скорость ответа и размер контекстного окна.

Вопросы вполне разумные. Проблема возникает, когда возможности базовой модели начинают считать конкурентным преимуществом самого стартапа.

Если продукт хорошо анализирует текст благодаря GPT, Claude или любой другой языковой модели, мы можем признать, что команда эффективно использует технологию. 

Отдавая при этом себе отчет, что эта технология доступна десяткам конкурентов. 

Это может быть полезный продукт, но одной такой способности недостаточно, чтобы говорить о том, что продукт хорошо защищен от конкурентов.

Поэтому при оценке ИИ-продуктов я смотрю на три слоя: модель, архитектуру и метод.

Модель: арендованная способность

Модель задает техническую основу продукта. От нее зависят исходное качество рассуждений, работа с контекстом, скорость, стоимость и круг задач, которые система в принципе способна решать.

Чем сильнее базовая модель, тем выше потенциальное качество продукта. Однако здесь надо понимать, что доступ к лучшим моделям редко бывает эксклюзивным.

Если два продукта становятся почти взаимозаменяемыми после подключения к одной и той же LLM, значительная часть их ценности принадлежит поставщику модели. Инвестору в таком случае важно понять, за что именно платит клиент: за собственную разработку стартапа или за возможность, которую тот арендует у OpenAI, Anthropic, Google или другого провайдера.

Улучшение базовой модели может заметно повысить качество продукта без дополнительных усилий со стороны команды. Но такое же улучшение одновременно получают конкуренты.

Поэтому преимущество, основанное главным образом на выборе модели, обычно сохраняется недолго.

Архитектура: превращение способности в продукт

Модель сама по себе мало пригодна для реальной работы. Вокруг нее необходимо построить систему, которая получает данные, управляет запросами, проверяет результаты, контролирует доступ, защищает информацию и удерживает стоимость обработки в разумных пределах.

Эту работу выполняет архитектура продукта.

Она делает ответы более стабильными, снижает вероятность ошибок и позволяет встроить ИИ в существующие процессы клиента. Без этого даже сильная модель часто генерирует результаты, которые могут выглядеть убедительно, но не выдерживают даже поверхностной экспертной проверки. 

Архитектура особенно важна в продуктах с большим количеством интеграций, сложными потоками данных или жесткими требованиями к безопасности. В таких случаях хорошая инженерная команда действительно может создать заметное техническое преимущество.

Однако техническая сложность еще не гарантирует долгосрочной защищенности. Конкурент может не видеть внутреннее устройство системы, но со временем воспроизвести ее основной принцип, наблюдая за поведением продукта. Вероятность этого особенно высока, если все используемые технологии доступны на рынке.

Инженерное преимущество может быть реальным и ценным. Просто его не следует автоматически считать устойчивым защитным барьером.

Метод: встроенная логика профессионального решения

Третий слой касается метода — предметных правил и логики принятия решений, встроенных в продукт. Его не следует путать с последовательностью обращений к модели и тем более — с каким-то специальным системным промптом.

Метод определяет, какие сигналы имеют значение, каким доказательствам можно доверять, когда следует снизить уверенность и как интерпретировать противоречивые данные. Он также задает исключения из общих правил и условия, при которых первоначальный вывод нужно пересмотреть.

На этом уровне продукт начинает автоматизировать часть профессионального суждения.

Возьмем инвестиционный скрининг стартапов. Извлечь из презентации размер рынка, состав команды, описание продукта и показатели выручки сегодня несложно. Современные модели делают это достаточно хорошо.

Гораздо труднее понять, что эти факты доказывают.

Рост выручки может указывать на появление product-market fit. Но тот же рост иногда объясняется скидками, одним крупным клиентом или ручными продажами основателя.

Большой рынок может создавать венчурную возможность. При этом его размер мало поможет стартапу, у которого нет реалистичного пути к дистрибуции.

Опытный основатель часто является сильным преимуществом. В некоторых случаях прошлый успех, напротив, делает его слишком уверенным в подходе, который плохо соответствует новому рынку.

Один и тот же факт может иметь разное значение в зависимости от контекста и связи с другими атрибутами стартапа. Поэтому ценность анализа возникает из правил интерпретации, а не из самого набора извлеченных данных.

Продукт выходит за пределы обычной LLM-обертки, когда команда способна встроить такую логику в систему и применять ее последовательно.

Почему хороший промпт еще не является методом

Разработчики нередко называют методом длинный промпт или библиотеку инструкций. Однако повторяемый промпт сам по себе редко создает устойчивое преимущество.

Он может заставить модель соблюдать определенный порядок действий и выдавать результат в нужном формате. Но этого недостаточно для полноценной предметной логики.

Метод должен объяснять, почему один сигнал важнее другого, при каких условиях правило перестает работать и как действовать при конфликте доказательств. В нем также должны быть предусмотрены ситуации, когда система обязана признать неопределенность или отказаться от первоначальной гипотезы.

Кроме того, многократное применение не делает метод сильнее автоматически.

Если система выдала тысячу ответов, но их качество никто не проверял и не сопоставлял с реальными результатами, она не накопила тысячу единиц опыта. Она тысячу раз применила одну и ту же логику — возможно, ошибочную.

Развитие начинается тогда, когда результаты проверяются, ошибки классифицируются, а фактические последствия решений возвращаются в систему. Это позволяет понять, какие сигналы переоценивались, какие риски оставались незамеченными и в каких ситуациях выводы оказывались неверными.

Так использование продукта постепенно улучшает сам метод.

Где возникает конкурентное преимущество

Модель, архитектуру и метод полезно разделять при анализе, хотя в хорошем продукте они работают совместно.

Модель предоставляет базовую способность. Архитектура делает ее стабильной, безопасной и экономически применимой. Метод направляет эту способность на решение конкретной профессиональной задачи.

Дальше начинается накопление опыта. Реальное использование дает данные о качестве решений. Проверка результатов помогает уточнять метод, а обновленная логика снова закрепляется в архитектуре продукта.

Получается рабочий цикл:

использование → проверка результата → изменение метода → улучшение продукта → новое использование.

Такой цикл скопировать сложнее, чем отдельный промпт, интеграцию или выбор модели.

Конкурент может получить доступ к той же LLM, воспроизвести интерфейс и основные функции продукта. Со временем он может понять даже общую логику работы системы.

Намного сложнее повторить накопленную историю решений, классификацию ошибок, предметные исключения и правила пересмотра выводов. Для этого недостаточно увидеть продукт снаружи. Требуется пройти сопоставимый путь использования и проверки результатов.

Поэтому метод становится защищаемым, когда он встроен в работающую систему, проверяется на практике и постепенно улучшается на основе накопленного опыта.

Какие вопросы стоит задавать при оценке ИИ-стартапа

Вопрос “Какую модель вы используете?” помогает понять техническую основу продукта, его стоимость и зависимость от поставщика. Но для оценки конкурентного преимущества этого мало.

Я бы начал со следующего вопроса:

Если завтра конкурент получит доступ к той же модели, что ваш продукт продолжит делать лучше?

Ответ может находиться в архитектуре, собственных данных, интеграции в рабочий процесс клиента или накопленном предметном методе. После этого нужно понять, почему конкуренту будет сложно воспроизвести это преимущество.

Затем стоит проверить его динамику:

Станет ли продукт заметно сильнее после следующих тысячи применений?

Если каждое новое использование приносит только выручку, преимущество стартапа может остаться прежним. Если же система получает проверяемые данные о качестве решений, уточняет метод и закрепляет изменения в продукте, ее позиция со временем усиливается.

Перед инвестором в первом случае может быть полезный ИИ-продукт, но его долгосрочная рыночная устойчивость остается под вопросом. Во втором — появляется основание предполагать, что стартап постепенно создает собственную систему профессионального суждения, повторить которую конкурентам будет очень непросто.