Czy ChatGPT trafnie analizuje BTC? Jak testować prognozy kierunku
Gdy widzisz zrzut ekranu z tezą „ChatGPT jest byczo nastawiony do BTC”, nie zaczynaj od liczenia trafień. Jaki był moment odcięcia danych? Czy „wzrost” oznacza godzinę czy dwa dni? Kto ma rację przy niezmienionej cenie? Bez takich ustaleń trafność nie ma stałego mianownika. Ten przewodnik zaczyna od reguły punktacji i pokazuje na małej tabeli, jak czytać wynik.
1. Jak Zaprojektować Test #
Zapisz nazwę lub wersję modelu, czas wykonania, pełny prompt, pliki wejściowe, stan dostępu do internetu i materiały zwrócone podczas przeglądania. Jeśli model nie zna bieżących cen, dopisek „na dziś” nie uzupełni danych. Zachowaj materiały rynkowe ze źródłami i czasem odcięcia, aby inna osoba widziała, na czym model rzeczywiście pracował.
Aby badać kierunek w kolejnych 48 godzinach, zapisz odpowiedź przed wystąpieniem wyniku i oceń ją po zamknięciu okna. Pytanie o dawną datę może przeciekać późniejszymi wydarzeniami znanymi modelowi; wyłączenie internetu nie gwarantuje usunięcia tej wiedzy. Prompt i progi ustal na wcześniejszych danych, a w okresie oceny już ich nie zmieniaj. Dokumentacja TimeSeriesSplit pokazuje zachowanie kolejności train/test; rzeczywisty projekt musi też obsłużyć nakładanie się sąsiednich 48-godzinnych okien etykiet.
Format rekordu do zachowania:
ID rekordu: {ID}
Odcięcie danych: {czas UTC}
Materiały: {dane rynkowe, URL źródeł, czas pobrania}
Zadanie: wyłącznie z załączonych materiałów sklasyfikuj kolejne 48 godzin jako wzrost / spadek / konsolidacja.
Reguła: stopa zwrotu > 2% = wzrost; < −2% = spadek; pozostałe = konsolidacja.
Wynik: jedna klasa, uzasadnienie i ID materiałów; zaznacz brak wystarczających danych.
Nie dodawaj cen, wiadomości ani danych on-chain, których nie ma w materiałach.
Przed punktacją ustal źródło, parę, typ kwotowania i moment próbkowania ceny początkowej P₀ oraz ceny po 48 godzinach P₄₈. Oblicz r = (P₄₈ / P₀ − 1) × 100%. Próg 2% jest tu wyłącznie dydaktyczny, a nie zoptymalizowany pod handel:
- r > 2%: wzrost.
- r < −2%: spadek.
- −2% ≤ r ≤ 2%: konsolidacja, łącznie z granicami.
- Osobno zapisuj odmowy, nieprawidłowy format i wynik kontroli faktów. Nie usuwaj odmów po cichu i nie podawaj trafności tylko dla reszty; raportuj liczbę wszystkich żądań, liczbę odpowiedzi o prawidłowym formacie, które można ocenić, oraz pokrycie.
Jeśli cena początkowa i końcowa wynoszą 100, rzeczywista klasa może być tylko konsolidacją. Reguła zaliczająca także „wzrost” i „spadek” uznałaby trzy sprzeczne prognozy za poprawne na tym samym rekordzie, więc wynik nie miałby wartości porównawczej.
2. Punktacja na 200 Syntetycznych Rekordach #
Załóżmy, że mamy 200 odpowiedzi o prawidłowym formacie, które można ocenić. W wierszach umieszczamy prognozy, a w kolumnach klasy rzeczywiste. Dziewięć liczb poniżej skonstruowano ręcznie; nie pochodzi z wywołań modelu. Prawdziwy test wymaga także audytowalnego dziennika każdego rekordu i liczby nieprawidłowych odpowiedzi.
| Prognoza | Rzeczywisty wzrost | Rzeczywisty spadek | Rzeczywista konsolidacja | Razem |
|---|---|---|---|---|
| Wzrost | 58 | 20 | 19 | 97 |
| Spadek | 17 | 23 | 22 | 62 |
| Konsolidacja | 10 | 6 | 25 | 41 |
| Razem | 85 | 49 | 66 | 200 |
Przekątna daje 58 + 23 + 25 = 106, więc trafność ogólna wynosi 106 / 200 = 53%. Z 97 prognoz wzrostu 58 jest poprawnych: 59,8%. Dla spadku to 23 / 62 = 37,1%, a dla konsolidacji 25 / 41 = 61,0%. Są to wartości precision dla klasy prognozowanej, nie recall. Recall wzrostu ma w mianowniku wszystkie 85 rzeczywistych wzrostów: 58 / 85 = 68,2%.
3. Z Czym Porównać 53%? #
Mamy trzy klasy, więc baseline rzutu monetą 50% nie pasuje. Przed oceną można ustalić prosty punkt odniesienia: zawsze prognozuj wzrost. W tej syntetycznej tabeli trafia 85 rekordów, czyli 42,5%. Jeśli benchmark wybiera najczęstszą klasę w danych treningowych, wybierz ją na zbiorze treningowym i przenieś bez zmian do okna oceny. Nie zaglądaj do odpowiedzi testowych, aby dopiero wtedy dobrać najlepszą stałą prognozę. Dokumentacja DummyClassifier definiuje takie proste strategie.
Wynik 53% z przykładu jest o 10,5 punktu procentowego wyższy od tego benchmarku. To jedynie relacja arytmetyczna w tabeli; bez prawdziwych obserwacji nic nie mówi o skuteczności modelu. Rzeczywisty raport musi podać zakres dat, rozkład klas i błędy. Powtórzenia tego samego dnia i sąsiednie okna 48-godzinne dzielą informacje, więc 200 rekordów nie staje się automatycznie 200 niezależnymi próbkami. Nie nakładaj przedziału ufności dla niezależnych prób bez sprawdzenia tego założenia.
Powtarzanie pytań mierzy stabilność. Osobny przykład dydaktyczny: 25 grup tego samego wejścia, po pięć uruchomień. Jeśli w 18 grupach co najmniej cztery odpowiedzi wskazują ten sam kierunek, consistency rate wynosi 18 / 25 = 72%. Pozostałe 28% to tylko udział grup poniżej progu, a nie prawdopodobieństwo zmiany piątej odpowiedzi. „Wzrost, wzrost, wzrost, wzrost, spadek” spełnia regułę czterech z pięciu, choć piąta odpowiedź jest inna. Pięć identycznych błędnych odpowiedzi nadal oznacza wysoką spójność.
Klasyfikacja kierunku i wynik transakcji to odrębne pytania. Tabela nie zawiera ceny wejścia i wyjścia, wielkości pozycji, prowizji, funding ani poślizgu, więc nie pozwala wyliczyć stopy zwrotu.
4. Gdzie Sprawdzać Siedem Typów Faktów #
To lista kontrolna, a nie błędy zaobserwowane w 200 eksperymentach; nie jest też uszeregowana według częstości. Rozbicie odpowiedzi na pojedyncze twierdzenia faktyczne jest łatwiejsze do kontroli niż nadanie całemu tekstowi jednej etykiety „wiarygodny”.
| # | Typ informacji | Pola do zachowania | Materiał weryfikacyjny | Częste pomyłki |
|---|---|---|---|---|
| 1 | Przepływy ETF | Fundusz, dzień handlowy, jednostka, metodologia | Ujawnienie emitenta i dane przepływów z opisaną metodą | Przepływ netto, zmiana aktywów i wolumen to różne wielkości |
| 2 | Transfer on-chain | Sieć, hash transakcji, adres, czas bloku | Explorer właściwy dla danej sieci | Transfer na adres giełdy nie dowodzi sprzedaży |
| 3 | Listing na giełdzie | Produkt, para, czas otwarcia, region | Ogłoszenie giełdy dotyczące danego produktu | Listing spot nie dowodzi uruchomienia futures |
| 4 | Wolumen | Rynek, para, waluta kwotowana, okno czasu | Dane źródłowe giełdy i definicje pól | Jednej pary nie można utożsamiać z całym rynkiem |
| 5 | Przebicie średniej | Seria cen, interwał, algorytm, odcięcie | Ponowne obliczenie z tych samych danych | Dotknięcie intraday różni się od zamknięcia ponad średnią |
| 6 | Wypowiedź makro | Mówca, data, cytat, kontekst | Oryginalny tekst lub wideo instytucji | Parafraza w newsie nie jest jawną deklaracją mówcy |
| 7 | Aktywa firmy | Firma, data ogłoszenia, okres transakcji, ilość | Relacje inwestorskie lub dokument regulatora | Data ogłoszenia może różnić się od daty zakupu |
Jeśli nie znajdujesz źródła, oznacz twierdzenie jako „niezweryfikowane”. Nie uznawaj go automatycznie za prawdziwe i nie twierdź, że zdarzenie nie istniało tylko dlatego, że jedno wyszukiwanie niczego nie znalazło. Gdy źródło przeczy odpowiedzi, zachowaj oryginalne zdanie, źródło i pole konfliktu, a następnie oznacz błąd faktyczny, aby inna osoba mogła odtworzyć decyzję.
5. Jak Weryfikować Odpowiedź #
Najpierw sprawdź, czy źródło wspiera dokładne zdanie. Sam fakt, że strona się otwiera, nie wystarcza; muszą zgadzać się daty, jednostki i podmioty. Jeśli news cytuje inny raport, w miarę możliwości dotrzyj do ogłoszenia, tabeli danych lub oryginalnej wypowiedzi.
Następnie oddziel fakt od wniosku. „Adres przesłał środki” jest sprawdzalnym zapisem. „Posiadacz przygotowuje się do sprzedaży” to interpretacja. Poprawne pierwsze zdanie nie weryfikuje drugiego.
Na końcu przelicz to, co policzalne. Procenty, średnie kroczące i zmiany pozycji powinny zachować dane wejściowe i wzory. Powtarzanie promptu może mierzyć stabilność, ale zgodność odpowiedzi nie jest niezależnym dowodem.
6. Zapis, Który Da Się Odtworzyć #
Ten przykład metody nie podaje rzeczywistej trafności ChatGPT w prognozowaniu BTC. Aby odpowiedzieć na to pytanie, trzeba przeprowadzić i zachować zdefiniowany eksperyment, a następnie sprawdzić powtarzalną różnicę wobec benchmarku wybranego z góry. Jedna trafna prognoza kierunku nie dowodzi też poprawności wszystkich faktów w odpowiedzi.
W codziennej analizie poproś model o format poniżej, a następnie sprawdź każdy punkt. Format ułatwia odnalezienie dowodów; artykuł nie mierzył, o ile zmniejsza liczbę błędów. Inne formaty zadań znajdziesz w bibliotece promptów tradingowych.
Materiały: [dołącz każde źródło, czas odcięcia i dane] Ułóż trzy kolumny: fakty z materiałów / twoje wnioski / brakujące dowody. Przy każdym fakcie podaj ID materiału; nie dodawaj bieżących liczb spoza materiałów. Dla obliczeń pokaż dane wejściowe i wzór. Przy każdym wniosku podaj dowód, który mógłby go obalić. Przy braku danych napisz „nie można potwierdzić z dostarczonych materiałów”.
Zachowaj razem wejście, surową odpowiedź i notatki z kontroli. Po zmianie modelu lub promptu porównasz je tą samą metodą punktacji, zamiast oceniać dwie różnie napisane grafiki.
Zobacz Pełną Bibliotekę Promptów →
— PromptDeck, aktualizacja 2026-09-24