Прогнали ChatGPT по направлению BTC 200 раз — какое распределение точности

1. Как поставлен эксперимент #

Цель дизайна — выбить из выборки «случайную удачу». На 10 прогонах можно вслепую угадать 5 раз. Нас интересовало, как ведёт себя ChatGPT на большой выборке в 200 ответов: остаётся ли его направление по сути подбрасыванием монеты.

Промпт зафиксирован, меняется только дата. Дословно:

Ты — опытный крипто-аналитик. На основе публичной структуры рынка BTC по состоянию на {DATE}
(паттерны свечей, ончейн-данные, макрофон) укажи наиболее вероятное направление BTC на ближайшие 48 часов
(«лонг» / «шорт» / «боковик») и приведи 3 ключевых аргумента.
Не уклоняйся — выбери ровно одно направление.

Режим прогонов: каждый день по восточному времени США в 09:00 / 12:00 / 15:00 / 18:00 / 21:00 — пять штатных запусков плюс ещё 2–3 случайных, итого 200. Каждый раз — новая сессия (контекст обнулён), веб-доступ отключён (чтобы свежие новости не размывали выборку). Ответы архивируются, а через 48 часов вручную сверяются с графиком Binance BTCUSDT.

Правила оценки:

• «Лонг» + закрытие BTC через 48 часов ≥ 99,5% от цены на момент запроса → засчитано (допуск 0,5% на шум).
• «Шорт» + закрытие BTC через 48 часов ≤ 100,5% от цены на момент запроса → засчитано.
• «Боковик» + закрытие BTC через 48 часов в коридоре ±2% → засчитано.
• Галлюцинация: ответ содержит явно ошибочные факты (выдуманные ончейн-данные, несуществующие данные по ETF, фантомные события бирж) → отмечается отдельно.

2. Цифры по итогам 200 прогонов #

Три момента заслуживают отдельного абзаца. Точность по «лонг» выше, чем по «шорт» — это не заслуга ChatGPT, а просто рост BTC за период. На рынке, где растущих дней больше, чем падающих, стратегия «всегда лонг» тоже даёт около 55–60% попаданий. Точность по «шорт» оказалась самой низкой (37,1%) — значит, в распознавании нисходящих движений ИИ системно слабее. Частота галлюцинаций 17% — каждый шестой ответ содержит ошибочный факт. Вот это и есть настоящий красный флаг.

3. Что значит точность 53% #

53% звучит как «чуть лучше монетки». Но тут несколько ловушек.

Во-первых, 53% — это не 60% и не 70%. Считать это доказательством, что «ИИ умеет читать BTC лучше меня», — ошибка. 50% — нулевой информационный бенчмарк, а доверительный интервал для 53% на 200 наблюдениях — примерно ±7 процентных пунктов (грубо). То есть утверждение «ИИ статистически значимо лучше монетки» здесь просто не доказано.

Во-вторых, разрыв «лонг 59,8% против шорт 37,1%» — это не преимущество ИИ, а артефакт растущей выборки. Если повторить тот же эксперимент в медвежьей фазе 2022 года, картина перевернётся (шорт будет «угадывать», лонг — «промахиваться»). «Точность» ИИ плавает вместе с рыночной фазой — и это ключевое наблюдение.

В-третьих, самосогласованность одного промпта — всего 72%. Тот же вопрос, заданный 5 раз, в 28% случаев даёт противоположное направление на пятом прогоне. Это случайность сэмплинга LLM, а не «динамическое мнение» ChatGPT. Очень полезно показывать эту цифру новичкам: когда кто-то в чате выкладывает скриншот «ChatGPT снова в лонг по BTC», на самом деле он показывает 1 ответ из 5.

4. 7 показательных случаев галлюцинаций #

Из 34 случаев галлюцинаций выбраны 7 показательных, отсортированы по «степени вреда»:

Случаи 1, 6 и 7 — самые опасные: ИИ подаёт выдумку с «точностью до миллиарда, до конкретной компании, до конкретной недели», и из-за этого ответ выглядит особенно правдоподобно. Читатель видит «BlackRock ETF — приток 1,24 млрд» и подсознательно верит — потому что в нашей картине мира конкретное число «значит, его кто-то проверил». А LLM умеет сочинять конкретные числа любой точности. Это самый коварный сценарий отказа ИИ именно в финансовом контексте.

5. Как мы проверяем #

Процедура несложная, но должна стать привычкой. Мы используем три шага.

Шаг 1. У каждой «конкретной цифры» должен быть источник. Притоки ETF — Farside Investors; ончейн-киты — Whale Alert + Glassnode; объёмы — CoinGecko или сам Binance; крипто-резервы публичных компаний — раздел IR или подачи в SEC. Любую цифру от ИИ, источник которой не находится за 3 минуты, считаем несуществующей.

Шаг 2. У каждого «события» должна быть метка времени. ИИ говорит: «На прошлой неделе ФРС высказался по-голубиному» — идём в календарь federalreserve.gov и проверяем, было ли выступление на той неделе. ИИ говорит: «Coinbase запустила такой-то контракт» — открываем страницу анонсов продуктов Coinbase. Галлюцинации на уровне событий ловятся легче всего: внешние источники жёстко привязаны.

Шаг 3. Один и тот же вопрос — минимум 3 прогона. Самое простое и самое полезное правило. Один ответ может быть пиком галлюцинаций, пересечение трёх ответов гораздо стабильнее. Если все три прогона совпали по направлению и по ключевым числам — доверие к ответу резко вырастает. Именно поэтому метрика самосогласованности 4–5 из 5 для нас особенно ценна.

6. Выводы и рабочий промпт #

Короткий вывод: ChatGPT непригоден для задачи «краткосрочный прогноз направления BTC». 53% точности не отличаются значимо от случайности, а 17% галлюцинаций отравят любую вашу аналитическую рамку.

Но у ChatGPT есть место в крипто-анализе — просто не это. Он хорошо подходит для:

• сведения нескольких новостных источников в одну сводку (при условии, что вы дали ему сам материал);
• объяснения технических концепций (Layer 2, рестейкинг, EigenLayer);
• структурирования вашей уже сформированной идеи и поиска в ней дыр («планирую X-позицию по Y монете — где главный риск?»);
• перевода фрагментов whitepaper и сборки промпт-библиотек.

Позже мы написали «анти-галлюцинационную» версию промпта и используем её как точку входа в нашу D-корзину отбора монет на ИИ. Полная библиотека — в разделе Библиотека промптов →. Вот стартовый фрагмент в качестве примера:

Правила:
1. Не приводи конкретных чисел, если пользователь сам их не дал во входных данных.
2. Не предсказывай «вырастет» или «упадёт», только описывай текущую структуру.
3. Любая ссылка должна начинаться со слов «по [мной не проверенным] данным ...».
4. Если не уверен — пиши «я не знаю».
5. Приведи 3 встречных гипотезы (если моё мнение противоположно — какие самые вероятные причины).

Задача: на основе приведённых K-линий и ончейн-данных [...пользователь вставляет реальные данные...]
дай нейтральное описание текущей рыночной структуры BTC.

Этот промпт переводит ChatGPT из роли «предсказателя» в роль «описателя + оппонента». Частота галлюцинаций падает с 17% примерно до 4%. Вот таким ИИ и должен быть в крипто-контексте.

Не спрашивайте у ChatGPT «вырастет ли BTC завтра». Спросите: «если BTC упадёт на 10%, что будет с моей позицией и что готовить заранее». Это уже конкретный вопрос, под который можно действовать, — и на таких задачах ответы ИИ полезнее прогнозов раз в десять.

Перейти на Binance → Полная библиотека промптов →

— AI Trade Lab, 2026-04-15