Daisy
← Все новости и статьи

Эксперимент

Список вопросов к звонку: может ли локальная модель сама ставить галочки?

Мы дали трём локальным моделям пять записей звонков и попросили по ходу разговора ставить галочки в заранее составленном списке вопросов. У двух младших моделей ложной оказалась примерно каждая вторая галочка. У старшей — 4 из 21, но когда владелец Mac попробовал работать во время её запуска, Mac замедлился настолько, что запуск остановили. Как считали, что получилось и насколько этим цифрам можно верить.

На собеседование или звонок с клиентом вы идёте со списком: что спросить, о чём договориться. К середине разговора уже не вспомнить, что из списка закрыто. Приложение, которое записывает встречу, могло бы держать этот список на экране и ставить галочки по ходу разговора. Daisy и так расшифровывает звонок на Mac в реальном времени, поэтому мы проверили единственное, что было неясно: может ли локальная модель — та, что работает на самом Mac, а не в облаке, — понять по расшифровке, что пункт закрыт. На этих записях ответ — нет. Модели, достаточно маленькие, чтобы работать во время звонка, ставили ложную галочку примерно в половине случаев, а та, что справилась лучше, так замедлила Mac при обычной работе, что её запуск пришлось остановить.

Что проверяли
Три локальные модели ставят галочки в списке из десяти пунктов, пока запись звонка проигрывается по минутам
Модели
Qwen 3.5 трёх размеров: 4B, 9B и 27B, запущенные на Mac через Ollama
Записи
Пять рабочих звонков один на один на русском, от 32 до 79 минут; в сравнении трёх моделей — четыре
Эталон
Составлен облачной моделью, человек его ещё не проверял
Результат
Ложных галочек: 15 из 29 у 4B, 8 из 17 у 9B, 4 из 21 у 27B
В Daisy
Daisy не ставит галочки автоматически, и эти результаты не дают оснований добавлять это на маленькой локальной модели

Три состояния пункта и как выглядит ложная галочка

К концу звонка у пункта списка одно из трёх состояний. Возьмём пункт «Кто подписывает договор с их стороны» (примеры здесь придуманы, а не взяты из записей).

  • Закрыт: на вопрос ответили, тему обсудили по существу или о чём-то договорились. «Кто у вас подписывает?» — «Финансовый директор».
  • Затронут, но не закрыт: тему подняли или вопрос задали, а ответа или решения не последовало. «Кто у вас подписывает?» — «Давайте я уточню и вернусь».
  • Не обсуждался: об этом никто не заговорил.

Галочка означает, что модель сочла пункт закрытым. Хуже всего, когда галочку получает второй случай: вы спросили, ответа не было, а список показывает, что вопрос закрыт. Это хуже, чем никакой галочки.

Галочку мы считали верной, если пункт действительно закрыли и она появилась не раньше чем за минуту до момента, который указан в эталоне. Галочка на пункте, который только затронули, на пункте, который не обсуждался, или на закрытом пункте, но слишком рано — ложная. Опоздание верную галочку ложной не делает; галочки, опоздавшие больше чем на две минуты, посчитаны ниже отдельно.

У младших моделей ложная примерно каждая вторая галочка

Постановка в одной строке: для каждого звонка список из десяти пунктов, и раз в минуту модель читает новый отрезок расшифровки и говорит, какие пункты он закрыл. Полный метод — ниже. В сравнении четыре звонка: 24 закрытых пункта, 8 только затронутых, 8 не обсуждавшихся.

Галочки на четырёх звонках
МодельПоставлено галочекЛожныхСлишком раноНа пункте, который только затронулиНа пункте, который не обсуждался
Qwen 3.5 4B2915843
Qwen 3.5 9B178422
Qwen 3.5 27B214121

4B ставила больше всех галочек и чаще всех ошибалась. Восемь её ранних галочек опередили эталон на 2–36 минут: три появились до того, как тема вообще возникла, пять — после того, как её затронули, но до того, как закрыли. Из 24 закрытых пунктов она верно отметила 14, причём три — с опозданием на 5–26 минут, а все восемь не обсуждавшихся пунктов пометила хотя бы как затронутые.

9B ставила галочки реже, а ошибалась примерно так же часто. Пять из восьми не обсуждавшихся пунктов она оставила без пометки, но из 24 закрытых верно отметила только 9, ни разу не опоздав: семь пометила как затронутые и дальше не пошла, на четырёх не поставила никакой пометки.

27B верно отметила 17 из 24 закрытых пунктов, ни разу не опоздав, одну галочку поставила слишком рано, а оставшиеся шесть пунктов пометила как затронутые. Ни на одном из четырёх звонков ложных галочек у неё не было больше, чем у любой из младших моделей.

Около половины ложных галочек у младших моделей — ранние (8 из 15 и 4 из 8), а время — та часть эталона, которой мы доверяем меньше всего. Поэтому вот тот же подсчёт по более мягким правилам.

Ложные галочки при трёх способах учитывать время
МодельНе раньше чем за минуту до эталона (правило выше)Не раньше чем за пять минутБез учёта времени
Qwen 3.5 4B15 из 2914 из 297 из 29
Qwen 3.5 9B8 из 176 из 174 из 17
Qwen 3.5 27B4 из 214 из 213 из 21

Пять минут запаса убирают одну ложную галочку у 4B и две у 9B. Если время не учитывать вовсе и считать только галочки на пунктах, которые так и не закрыли, у младших моделей ложной остаётся примерно каждая четвёртая, а отрыв 27B сокращается: 3 из 21 против 4 из 17 и 7 из 29. Единственная ранняя галочка 27B стоит на пункте, который все три модели отметили в одну и ту же минуту, примерно на пять минут раньше эталона; возможно, здесь запаздывает сам эталон.

Старшая модель точнее, но слишком тяжела для Mac, за которым работают

Время одной проверки на тех же четырёх звонках
МодельОбычная проверка (медиана)Девять проверок из десяти укладываются вДоля времени звонка, когда модель занята
Qwen 3.5 4B7,7 с11,2 с12%
Qwen 3.5 9B7,3 с14,7 с14%
Qwen 3.5 27B18,5 с32,6 с34%

Проверка раз в минуту, которая занимает восемь секунд, — это нормально, так что скорость младшим моделям не мешает. (Во время запусков 9B Mac не простаивал, поэтому её строка — оценка сверху.) Строка 27B верна только для Mac, который больше ничем не занят. Когда владелец сел за него работать, последние проверки заняли от 60 до 94 секунд — дольше минуты, отведённой на проверку, — а сам Mac замедлился настолько, что запуск остановили. Файл этой модели весит 19 ГБ; на Mac с 16 ГБ один только файл больше всей памяти. Ни звонка, ни расшифровки в реальном времени во время этих замеров не было.

Из-за этой остановки в сравнении четыре звонка, а не пять: на пятом 27B дошла до 21-й минуты. Пятый звонок к тому же один из самых трудных: в записи эхо, и одни и те же реплики приписаны обоим собеседникам. Вместе с ним у 4B ложных галочек 23 из 39, у 9B — 12 из 23.

Требование цитаты почти ничего не изменило

Мы пробовали два формата ответа. В первом модель возвращает только номера пунктов. Во втором она должна добавить короткую цитату из отрезка как доказательство, а наш код проверяет, что цитата там есть, сравнивая первые 40 символов и отбрасывая цитаты короче восьми; если её нет, галочка превращается в пометку «затронут». Все таблицы выше — по второму формату. У 4B на тех же четырёх звонках ложных галочек было 18 из 27 без цитаты и 15 из 29 с ней; на всех пяти — 24 из 37 и 23 из 39. Проверка подтверждает, что слова есть в отрезке, но не то, вопрос это или ответ. Сравнение есть только для 4B: у 9B запуски без цитаты на двух звонках не завершились.

Как мы проверяли

Записи — пять рабочих звонков основателя Daisy с августа по октябрь 2026 года, с готовыми расшифровками, которые Daisy сделала на устройстве. Письменного списка ни у одного звонка не было, поэтому список для каждого составили уже после: десять пунктов, сформулированных не так, как шёл разговор. Шесть пунктов на звонке действительно закрыли, два затронули и оставили открытыми, а ещё два — обманки: в разговоре их не было, но они близки к его теме.

Списки и эталон составила большая облачная модель, Claude: она прочитала пять расшифровок и для каждого пункта указала его состояние, момент, когда его затронули, и момент, когда закрыли. Три локальные модели работали только на Mac.

Затем каждую расшифровку проигрывали так, будто звонок идёт сейчас. Каждые 60 секунд модель получала пункты, на которых ещё нет галочки, и последние 90 секунд расшифровки с подписями говорящих и временем, узнавала, под какой подписью говорит владелец списка, и должна была вернуть в JSON по заданной схеме пункты, которые этот отрезок закрыл, и пункты, которые он только затронул. Пункт с галочкой уходит из списка насовсем. Между проверками модель ничего не помнит, и ей не сообщают, какие пункты уже затрагивали. Это важно: только у 9 из 24 закрытых пунктов момент, когда пункт затронули, и момент, когда его закрыли, попали в один отрезок; у остальных 15 вопрос и ответ пришли к модели в разных запросах.

Инструкция модели: «Ты следишь за живой встречей и за планом её владельца. Тебе дают пункты плана, которые ещё открыты, и новый отрывок разговора. Для каждого пункта реши по этому отрывку: covered — пункт закрыт (на вопрос ответили, тему обсудили по существу, о чём-то договорились); touched — тему подняли или вопрос задали, но ответа или решения в отрывке нет; иначе пункт не упоминай. Не отмечай пункт только потому, что встретились похожие слова: нужен смысл. Отрывок — автоматическая расшифровка с ошибками. Для каждого отмеченного пункта приведи дословную цитату из отрывка, не длиннее восьми слов. Если ничего не подходит, верни пустой список».

Компьютер
Mac с Apple M4 и 32 ГБ памяти, macOS 27
Среда
Ollama 0.40.15, температура 0, контекст 4096 токенов (ни один запрос не превысил примерно 1500), без режима размышления
Модели
qwen3.5:4b (4,5 млрд параметров, 4,0 ГБ), qwen3.5:9b (9,7 млрд, 7,6 ГБ), qwen3.5:27b (27,4 млрд, 19 ГБ), все в квантовании nvfp4
Проверки
На четырёх звонках: 173 у 4B, которую на одном звонке перестали спрашивать, когда она отметила все десять пунктов, и по 191 у 9B и 27B

Режим размышления был выключен, чтобы проверка занимала секунды; с включённым мы не пробовали. Ответ, который не удалось разобрать, считался пустым. Если запрос не возвращался пять минут, запуск прекращали — так на двух звонках закончились запуски 9B без цитаты.

Насколько этим цифрам можно верить

  • Часть того, что мы считаем ложной галочкой, может быть ошибкой эталона: в состоянии пункта или во времени.
  • Списки искусственные: составлены после звонка, нарочно перефразированы, а обманки подобраны близкими по теме. Списки, написанные до настоящих звонков, мы не проверяли.
  • Числа маленькие и получены на четырёх-пяти звонках одного типа на одном языке. «4 из 21» — это четыре галочки, а не устойчивая оценка.
  • Один промпт на формат, одно семейство моделей, без памяти между проверками, каждый запуск сделан один раз. В другой постановке результат может быть лучше; что мы попробовали бы, перечислено в следующем разделе.
  • Расшифровки готовые. Расшифровка, которая делается во время звонка, грязнее.
  • Замеры времени — не строгий тест скорости: один компьютер, фоновая нагрузка не контролировалась.
  • Записи частные и такими останутся, а скрипты проигрывания и подсчёта не опубликованы, поэтому повторить итоговые цифры со стороны нельзя. Проверить можно метод: инструкция модели, правило ложной галочки и постановка описаны выше.

Что мы с этим делаем

Эксперимент подтверждает немногое: один запрос в минуту по одному отрезку на модели 4B или 9B не даёт галочек, которые можно кому-то показывать. Ложная галочка прячет вопрос, который ещё нужно было задать, поэтому список, который ошибается в каждом втором–четвёртом случае, хуже, чем никакого списка.

Список на экране, в котором вы ставите галочки сами, модели не требует. Это наше мнение, а не результат эксперимента, и начинать мы стали бы с него.

Что стоит проверить, прежде чем возвращаться к автоматическим галочкам: второй запрос, который должен подтвердить галочку до того, как её покажут; решение по нескольким отрезкам подряд, а не по одному; включённый режим размышления; и облачную модель на той же задаче — только для встреч, саммари которых и так уходит провайдеру, выбранному пользователем. Но сначала эталон должен проверить человек.