Точно ли ChatGPT анализирует BTC? Как проверить прогноз направления
Увидев скриншот «ChatGPT ждёт роста BTC», не начинайте со счёта удачных прогнозов. На какой момент были доступны данные? «Рост» — это про час или двое суток? Кто прав при неизменной цене? Пока эти условия не заданы, у точности нет стабильного знаменателя. Руководство начинается с правила оценки и показывает на небольшой таблице, как читать результат.
1. Как Спроектировать Тест #
Запишите название или версию модели, время запуска, полный промпт, входные файлы, наличие доступа к интернету и материалы, полученные при поиске. Если модель не видит текущую цену, фраза «на сегодня» не восполняет данные. Сохраните рыночные материалы со ссылками и временем отсечения, чтобы другой человек видел, на чём модель действительно основывалась.
Для проверки направления на следующие 48 часов сохраните ответ до наступления результата и оцените после закрытия окна. Вопрос о прошлой дате может содержать утечку последующих событий, уже известных модели; отключение интернета не гарантирует удаления этих знаний. Настройте промпт и пороги на более ранних данных, а в период оценки не меняйте их по ходу дела. Документация TimeSeriesSplit показывает сохранение временного порядка train/test; в реальном дизайне нужно также учесть перекрытие соседних 48-часовых окон меток.
Формат сохраняемой записи:
ID записи: {ID}
Время отсечения данных: {UTC}
Материалы: {рыночные данные, URL источников, время получения}
Задача: только по приложенным материалам классифицировать следующие 48 часов: рост / падение / боковик.
Правило: доходность > 2% = рост; < −2% = падение; остальное = боковик.
Ответ: один класс, обоснование и ID материалов; при нехватке данных сказать об этом.
Не добавлять отсутствующие в материалах текущие цены, новости и ончейн-цифры.
До оценки зафиксируйте источник, пару, тип котировки и моменты выборки для начальной цены P₀ и цены через 48 часов P₄₈. Рассчитайте r = (P₄₈ / P₀ − 1) × 100%. Порог 2% здесь выбран для обучения, а не оптимизирован как торговый параметр:
- r > 2%: рост.
- r < −2%: падение.
- −2% ≤ r ≤ 2%: боковик, включая обе границы.
- Отдельно учитывайте отказы, неверный формат и результат проверки фактов. Нельзя молча удалить отказы и показать точность только на оставшихся ответах; укажите общее число запросов, валидных классификаций и покрытие.
Если начальная и конечная цены равны 100, фактический класс может быть только боковиком. Правило, которое также засчитывает «рост» и «падение», признает три противоположных ответа верными на одной записи, поэтому такая точность непригодна для сравнения.
2. Подсчёт на 200 Синтетических Записях #
Предположим 200 валидных классификаций: прогнозы в строках, фактические классы в столбцах. Девять чисел ниже сконструированы вручную и не получены из вызовов модели. Для настоящего теста нужен также построчный журнал и число невалидных ответов.
| Прогноз | Фактический рост | Фактическое падение | Фактический боковик | Итого |
|---|---|---|---|---|
| Рост | 58 | 20 | 19 | 97 |
| Падение | 17 | 23 | 22 | 62 |
| Боковик | 10 | 6 | 25 | 41 |
| Итого | 85 | 49 | 66 | 200 |
Диагональ равна 58 + 23 + 25 = 106, значит общая точность — 106 / 200 = 53%. Из 97 прогнозов роста верны 58: 59,8%. Для падения получаем 23 / 62 = 37,1%, для боковика — 25 / 41 = 61,0%. Это precision для каждого прогнозируемого класса, а не recall. В знаменателе recall роста должны быть все 85 фактических случаев роста: 58 / 85 = 68,2%.
3. С Чем Сравнивать 53%? #
Классов три, поэтому baseline подбрасывания монеты 50% не подходит. До оценки можно задать простой ориентир: всегда прогнозировать рост. В синтетической таблице он угадывает 85 записей, то есть 42,5%. Если benchmark выбирает самый частый класс в обучающей выборке, выберите его на train и без изменений перенесите в окно оценки. Нельзя сначала увидеть тестовые ответы, а затем подобрать лучший постоянный прогноз. Документация DummyClassifier определяет такие простые стратегии.
Примерные 53% выше этого ориентира на 10,5 процентного пункта. Это лишь арифметическая связь внутри таблицы; без реальных наблюдений она ничего не говорит об эффективности модели. В настоящем отчёте нужны диапазон дат, распределение классов и ошибки. Повторные запросы в один день и соседние 48-часовые окна используют общую информацию, поэтому 200 записей не становятся автоматически 200 независимыми наблюдениями. Нельзя применять доверительный интервал для независимых испытаний без проверки этого допущения.
Повторные вопросы измеряют стабильность. Отдельный учебный пример: 25 групп одинакового входа, по пять запусков в каждой. Если в 18 группах не менее четырёх ответов указывают одно направление, consistency rate равен 18 / 25 = 72%. Остальные 28% — лишь доля групп ниже порога, а не вероятность разворота пятого ответа. «Рост, рост, рост, рост, падение» удовлетворяет правилу четырёх из пяти, хотя пятый ответ отличается. Пять одинаковых ошибочных ответов всё равно будут очень согласованными.
Классификация направления и торговая прибыль — разные вопросы. В таблице нет цены входа и выхода, размера позиции, комиссии, funding и проскальзывания, поэтому по ней нельзя рассчитать доходность.
4. Где Проверять Семь Типов Фактов #
Это список для проверки, а не ошибки, найденные в 200 экспериментах; он также не отсортирован по частоте. Разбить ответ на отдельные фактические утверждения проще, чем присвоить всему тексту один ярлык «достоверно».
| # | Тип факта | Что сохранить | Материал для проверки | Что путают |
|---|---|---|---|---|
| 1 | Потоки ETF | Фонд, торговый день, единицы, методика | Раскрытие эмитента и данные потока с описанной методикой | Чистый поток, изменение активов и объём торгов — разные показатели |
| 2 | Ончейн-перевод | Сеть, hash, адрес, время блока | Explorer соответствующей сети | Перевод на адрес биржи не доказывает продажу |
| 3 | Листинг биржи | Продукт, пара, время открытия, регион | Объявление биржи по этому продукту | Спотовый листинг не доказывает запуск фьючерса |
| 4 | Объём | Площадка, пара, валюта котировки, окно времени | Исходные данные биржи и определения полей | Одну пару нельзя приравнивать ко всему рынку |
| 5 | Пробой средней | Ценовой ряд, интервал, алгоритм, отсечение | Пересчёт по тем же данным | Касание внутри дня отличается от закрытия выше средней |
| 6 | Макрозаявление | Спикер, дата, точная фраза, контекст | Оригинальный текст или видео учреждения | Пересказ в СМИ не равен явному обещанию спикера |
| 7 | Активы компании | Компания, дата сообщения, период сделки, количество | Материалы для инвесторов или регуляторная отчётность | Дата сообщения может отличаться от даты покупки |
Если источник не найден, пометьте утверждение «не проверено». Не считайте его автоматически верным и не заявляйте, что событие не существовало, только потому что один поиск ничего не дал. Если источник противоречит ответу, сохраните исходную фразу, источник и конфликтующее поле, затем отметьте фактическую ошибку, чтобы решение можно было воспроизвести.
5. Как Проверять Ответ #
Сначала убедитесь, что источник поддерживает точную фразу. Открывающейся страницы недостаточно: должны совпасть даты, единицы и объекты. Если новость ссылается на другой материал, по возможности дойдите до объявления, таблицы данных или исходного выступления.
Затем отделите факт от вывода. «Адрес перевёл средства» — проверяемая запись. «Владелец готовится продавать» — интерпретация. Верность первого предложения не подтверждает второе.
Наконец, пересчитайте вычислимое. Для процентов, скользящих средних и изменений позиции сохраните входные данные и формулы. Повторные вопросы могут измерить стабильность, но совпадение ответов не является независимым доказательством.
6. Воспроизводимая Запись Анализа #
Этот методический пример не сообщает реальную точность ChatGPT в прогнозе BTC. Для ответа нужен заранее определённый и сохранённый эксперимент, после которого проверяют воспроизводимое отличие от выбранного до оценки benchmark. Один верный прогноз направления также не доказывает правильность всех фактов в ответе.
Для повседневной работы попросите модель использовать формат ниже, затем проверьте каждый пункт. Формат упрощает поиск доказательств; статья не измеряла, насколько он снижает число ошибок. Другие форматы задач есть в библиотеке торговых промптов.
Материалы: [приложите каждый источник, время отсечения и данные] Сделайте три колонки: факты из материалов / ваш вывод / недостающие доказательства. Для каждого факта укажите ID материала; не добавляйте текущие числа вне материалов. Для расчётов покажите входные данные и формулу. Для каждого вывода укажите доказательство, которое могло бы его опровергнуть. При нехватке данных напишите «нельзя подтвердить по приложенным материалам».
Храните вместе входные данные, исходный ответ и заметки проверки. После смены модели или промпта их можно будет сравнить одной методикой, а не выбирать по двум скриншотам с разным стилем.
Открыть Полную Библиотеку Промптов →
— PromptDeck, обновлено 2026-09-24