Эксперимент
Опубликовано
Список вопросов к звонку: может ли локальная модель сама ставить галочки?
Мы дали трём локальным моделям пять записей звонков и попросили по ходу разговора ставить галочки в заранее составленном списке вопросов. У двух младших моделей ложной оказалась примерно каждая вторая галочка. У старшей — 4 из 21, но когда владелец Mac попробовал работать во время её запуска, Mac замедлился настолько, что запуск остановили. Как считали, что получилось и насколько этим цифрам можно верить.
На собеседование или звонок с клиентом вы идёте со списком: что спросить, о чём договориться. К середине разговора уже не вспомнить, что из списка закрыто. Приложение, которое записывает встречу, могло бы держать этот список на экране и ставить галочки по ходу разговора. Daisy и так расшифровывает звонок на Mac в реальном времени, поэтому мы проверили единственное, что было неясно: может ли локальная модель — та, что работает на самом Mac, а не в облаке, — понять по расшифровке, что пункт закрыт. На этих записях ответ — нет. Модели, достаточно маленькие, чтобы работать во время звонка, ставили ложную галочку примерно в половине случаев, а та, что справилась лучше, так замедлила Mac при обычной работе, что её запуск пришлось остановить.
- Что проверяли
- Три локальные модели ставят галочки в списке из десяти пунктов, пока запись звонка проигрывается по минутам
- Модели
- Qwen 3.5 трёх размеров: 4B, 9B и 27B, запущенные на Mac через Ollama
- Записи
- Пять рабочих звонков один на один на русском, от 32 до 79 минут; в сравнении трёх моделей — четыре
- Эталон
- Составлен облачной моделью, человек его ещё не проверял
- Результат
- Ложных галочек: 15 из 29 у 4B, 8 из 17 у 9B, 4 из 21 у 27B
- В Daisy
- Daisy не ставит галочки автоматически, и эти результаты не дают оснований добавлять это на маленькой локальной модели
Три состояния пункта и как выглядит ложная галочка
К концу звонка у пункта списка одно из трёх состояний. Возьмём пункт «Кто подписывает договор с их стороны» (примеры здесь придуманы, а не взяты из записей).
- Закрыт: на вопрос ответили, тему обсудили по существу или о чём-то договорились. «Кто у вас подписывает?» — «Финансовый директор».
- Затронут, но не закрыт: тему подняли или вопрос задали, а ответа или решения не последовало. «Кто у вас подписывает?» — «Давайте я уточню и вернусь».
- Не обсуждался: об этом никто не заговорил.
Галочка означает, что модель сочла пункт закрытым. Хуже всего, когда галочку получает второй случай: вы спросили, ответа не было, а список показывает, что вопрос закрыт. Это хуже, чем никакой галочки.
Галочку мы считали верной, если пункт действительно закрыли и она появилась не раньше чем за минуту до момента, который указан в эталоне. Галочка на пункте, который только затронули, на пункте, который не обсуждался, или на закрытом пункте, но слишком рано — ложная. Опоздание верную галочку ложной не делает; галочки, опоздавшие больше чем на две минуты, посчитаны ниже отдельно.
У младших моделей ложная примерно каждая вторая галочка
Постановка в одной строке: для каждого звонка список из десяти пунктов, и раз в минуту модель читает новый отрезок расшифровки и говорит, какие пункты он закрыл. Полный метод — ниже. В сравнении четыре звонка: 24 закрытых пункта, 8 только затронутых, 8 не обсуждавшихся.
| Модель | Поставлено галочек | Ложных | Слишком рано | На пункте, который только затронули | На пункте, который не обсуждался |
|---|---|---|---|---|---|
| Qwen 3.5 4B | 29 | 15 | 8 | 4 | 3 |
| Qwen 3.5 9B | 17 | 8 | 4 | 2 | 2 |
| Qwen 3.5 27B | 21 | 4 | 1 | 2 | 1 |
4B ставила больше всех галочек и чаще всех ошибалась. Восемь её ранних галочек опередили эталон на 2–36 минут: три появились до того, как тема вообще возникла, пять — после того, как её затронули, но до того, как закрыли. Из 24 закрытых пунктов она верно отметила 14, причём три — с опозданием на 5–26 минут, а все восемь не обсуждавшихся пунктов пометила хотя бы как затронутые.
9B ставила галочки реже, а ошибалась примерно так же часто. Пять из восьми не обсуждавшихся пунктов она оставила без пометки, но из 24 закрытых верно отметила только 9, ни разу не опоздав: семь пометила как затронутые и дальше не пошла, на четырёх не поставила никакой пометки.
27B верно отметила 17 из 24 закрытых пунктов, ни разу не опоздав, одну галочку поставила слишком рано, а оставшиеся шесть пунктов пометила как затронутые. Ни на одном из четырёх звонков ложных галочек у неё не было больше, чем у любой из младших моделей.
Около половины ложных галочек у младших моделей — ранние (8 из 15 и 4 из 8), а время — та часть эталона, которой мы доверяем меньше всего. Поэтому вот тот же подсчёт по более мягким правилам.
| Модель | Не раньше чем за минуту до эталона (правило выше) | Не раньше чем за пять минут | Без учёта времени |
|---|---|---|---|
| Qwen 3.5 4B | 15 из 29 | 14 из 29 | 7 из 29 |
| Qwen 3.5 9B | 8 из 17 | 6 из 17 | 4 из 17 |
| Qwen 3.5 27B | 4 из 21 | 4 из 21 | 3 из 21 |
Пять минут запаса убирают одну ложную галочку у 4B и две у 9B. Если время не учитывать вовсе и считать только галочки на пунктах, которые так и не закрыли, у младших моделей ложной остаётся примерно каждая четвёртая, а отрыв 27B сокращается: 3 из 21 против 4 из 17 и 7 из 29. Единственная ранняя галочка 27B стоит на пункте, который все три модели отметили в одну и ту же минуту, примерно на пять минут раньше эталона; возможно, здесь запаздывает сам эталон.
Старшая модель точнее, но слишком тяжела для Mac, за которым работают
| Модель | Обычная проверка (медиана) | Девять проверок из десяти укладываются в | Доля времени звонка, когда модель занята |
|---|---|---|---|
| Qwen 3.5 4B | 7,7 с | 11,2 с | 12% |
| Qwen 3.5 9B | 7,3 с | 14,7 с | 14% |
| Qwen 3.5 27B | 18,5 с | 32,6 с | 34% |
Проверка раз в минуту, которая занимает восемь секунд, — это нормально, так что скорость младшим моделям не мешает. (Во время запусков 9B Mac не простаивал, поэтому её строка — оценка сверху.) Строка 27B верна только для Mac, который больше ничем не занят. Когда владелец сел за него работать, последние проверки заняли от 60 до 94 секунд — дольше минуты, отведённой на проверку, — а сам Mac замедлился настолько, что запуск остановили. Файл этой модели весит 19 ГБ; на Mac с 16 ГБ один только файл больше всей памяти. Ни звонка, ни расшифровки в реальном времени во время этих замеров не было.
Из-за этой остановки в сравнении четыре звонка, а не пять: на пятом 27B дошла до 21-й минуты. Пятый звонок к тому же один из самых трудных: в записи эхо, и одни и те же реплики приписаны обоим собеседникам. Вместе с ним у 4B ложных галочек 23 из 39, у 9B — 12 из 23.
Требование цитаты почти ничего не изменило
Мы пробовали два формата ответа. В первом модель возвращает только номера пунктов. Во втором она должна добавить короткую цитату из отрезка как доказательство, а наш код проверяет, что цитата там есть, сравнивая первые 40 символов и отбрасывая цитаты короче восьми; если её нет, галочка превращается в пометку «затронут». Все таблицы выше — по второму формату. У 4B на тех же четырёх звонках ложных галочек было 18 из 27 без цитаты и 15 из 29 с ней; на всех пяти — 24 из 37 и 23 из 39. Проверка подтверждает, что слова есть в отрезке, но не то, вопрос это или ответ. Сравнение есть только для 4B: у 9B запуски без цитаты на двух звонках не завершились.
Как мы проверяли
Записи — пять рабочих звонков основателя Daisy с августа по октябрь 2026 года, с готовыми расшифровками, которые Daisy сделала на устройстве. Письменного списка ни у одного звонка не было, поэтому список для каждого составили уже после: десять пунктов, сформулированных не так, как шёл разговор. Шесть пунктов на звонке действительно закрыли, два затронули и оставили открытыми, а ещё два — обманки: в разговоре их не было, но они близки к его теме.
Списки и эталон составила большая облачная модель, Claude: она прочитала пять расшифровок и для каждого пункта указала его состояние, момент, когда его затронули, и момент, когда закрыли. Три локальные модели работали только на Mac.
Затем каждую расшифровку проигрывали так, будто звонок идёт сейчас. Каждые 60 секунд модель получала пункты, на которых ещё нет галочки, и последние 90 секунд расшифровки с подписями говорящих и временем, узнавала, под какой подписью говорит владелец списка, и должна была вернуть в JSON по заданной схеме пункты, которые этот отрезок закрыл, и пункты, которые он только затронул. Пункт с галочкой уходит из списка насовсем. Между проверками модель ничего не помнит, и ей не сообщают, какие пункты уже затрагивали. Это важно: только у 9 из 24 закрытых пунктов момент, когда пункт затронули, и момент, когда его закрыли, попали в один отрезок; у остальных 15 вопрос и ответ пришли к модели в разных запросах.
Инструкция модели: «Ты следишь за живой встречей и за планом её владельца. Тебе дают пункты плана, которые ещё открыты, и новый отрывок разговора. Для каждого пункта реши по этому отрывку: covered — пункт закрыт (на вопрос ответили, тему обсудили по существу, о чём-то договорились); touched — тему подняли или вопрос задали, но ответа или решения в отрывке нет; иначе пункт не упоминай. Не отмечай пункт только потому, что встретились похожие слова: нужен смысл. Отрывок — автоматическая расшифровка с ошибками. Для каждого отмеченного пункта приведи дословную цитату из отрывка, не длиннее восьми слов. Если ничего не подходит, верни пустой список».
- Компьютер
- Mac с Apple M4 и 32 ГБ памяти, macOS 27
- Среда
- Ollama 0.40.15, температура 0, контекст 4096 токенов (ни один запрос не превысил примерно 1500), без режима размышления
- Модели
- qwen3.5:4b (4,5 млрд параметров, 4,0 ГБ), qwen3.5:9b (9,7 млрд, 7,6 ГБ), qwen3.5:27b (27,4 млрд, 19 ГБ), все в квантовании nvfp4
- Проверки
- На четырёх звонках: 173 у 4B, которую на одном звонке перестали спрашивать, когда она отметила все десять пунктов, и по 191 у 9B и 27B
Режим размышления был выключен, чтобы проверка занимала секунды; с включённым мы не пробовали. Ответ, который не удалось разобрать, считался пустым. Если запрос не возвращался пять минут, запуск прекращали — так на двух звонках закончились запуски 9B без цитаты.
Насколько этим цифрам можно верить
- Часть того, что мы считаем ложной галочкой, может быть ошибкой эталона: в состоянии пункта или во времени.
- Списки искусственные: составлены после звонка, нарочно перефразированы, а обманки подобраны близкими по теме. Списки, написанные до настоящих звонков, мы не проверяли.
- Числа маленькие и получены на четырёх-пяти звонках одного типа на одном языке. «4 из 21» — это четыре галочки, а не устойчивая оценка.
- Один промпт на формат, одно семейство моделей, без памяти между проверками, каждый запуск сделан один раз. В другой постановке результат может быть лучше; что мы попробовали бы, перечислено в следующем разделе.
- Расшифровки готовые. Расшифровка, которая делается во время звонка, грязнее.
- Замеры времени — не строгий тест скорости: один компьютер, фоновая нагрузка не контролировалась.
- Записи частные и такими останутся, а скрипты проигрывания и подсчёта не опубликованы, поэтому повторить итоговые цифры со стороны нельзя. Проверить можно метод: инструкция модели, правило ложной галочки и постановка описаны выше.
Что мы с этим делаем
Эксперимент подтверждает немногое: один запрос в минуту по одному отрезку на модели 4B или 9B не даёт галочек, которые можно кому-то показывать. Ложная галочка прячет вопрос, который ещё нужно было задать, поэтому список, который ошибается в каждом втором–четвёртом случае, хуже, чем никакого списка.
Список на экране, в котором вы ставите галочки сами, модели не требует. Это наше мнение, а не результат эксперимента, и начинать мы стали бы с него.
Что стоит проверить, прежде чем возвращаться к автоматическим галочкам: второй запрос, который должен подтвердить галочку до того, как её покажут; решение по нескольким отрезкам подряд, а не по одному; включённый режим размышления; и облачную модель на той же задаче — только для встреч, саммари которых и так уходит провайдеру, выбранному пользователем. Но сначала эталон должен проверить человек.