Seberapa Akurat ChatGPT Menganalisis BTC? Cara Menguji Prediksi Arah
Saat melihat tangkapan layar yang menyebut “ChatGPT bullish pada BTC”, jangan langsung menghitung berapa kali tebakannya benar. Data sampai waktu mana yang dilihat? Apakah “bullish” berarti satu jam atau dua hari? Siapa yang dianggap benar jika harga datar? Tanpa keputusan itu, akurasi tidak memiliki penyebut yang konsisten. Panduan ini dimulai dari aturan skor dan memakai satu tabel kecil untuk membaca hasil.
1. Cara Merancang Pengujian #
Catat nama atau versi model, waktu eksekusi, prompt lengkap, file input, apakah browsing aktif, dan materi yang dikembalikan oleh browsing. Jika model tidak dapat mengakses harga terkini, menulis “per hari ini” tidak mengisi data yang hilang. Simpan materi pasar beserta sumber dan cutoff agar orang lain dapat melihat apa yang benar-benar tersedia bagi model.
Untuk menguji arah 48 jam ke depan, simpan output sebelum hasilnya terjadi lalu beri skor setelah jendela berakhir. Pertanyaan tentang tanggal lampau bisa tercampur dengan kejadian sesudahnya yang sudah diketahui model; mematikan browsing tidak menjamin kebocoran histori hilang. Tetapkan prompt dan threshold dengan data lebih awal, lalu jangan mengubahnya saat periode evaluasi. Dokumentasi TimeSeriesSplit menunjukkan urutan train/test untuk data waktu; desain nyata juga harus menangani tumpang tindih antarjendela label 48 jam.
Format input yang dapat disimpan:
ID catatan: {ID}
Cutoff data: {waktu UTC}
Materi: {data pasar, URL sumber, waktu pengambilan}
Tugas: hanya dari materi terlampir, klasifikasikan 48 jam ke depan sebagai naik / turun / sideways.
Aturan: return > 2% = naik; return < −2% = turun; sisanya = sideways.
Output: satu kelas, alasan, dan ID materi; nyatakan bila bukti tidak cukup.
Jangan menambahkan harga real-time, berita, atau angka on-chain yang tidak ada di materi.
Sebelum memberi skor, tetapkan sumber, pair, jenis harga, dan waktu pengambilan untuk harga awal P₀ serta harga 48 jam kemudian P₄₈. Hitung r = (P₄₈ / P₀ − 1) × 100%. Threshold 2% di sini hanya untuk mengajar, bukan parameter trading yang sudah dioptimalkan:
- r > 2%: naik.
- r < −2%: turun.
- −2% ≤ r ≤ 2%: sideways, termasuk kedua batas.
- Catat penolakan, format tidak valid, dan hasil pemeriksaan fakta secara terpisah. Jangan membuang penolakan lalu hanya melaporkan akurasi sisanya; laporkan total permintaan, klasifikasi valid, dan coverage.
Jika harga awal dan akhir sama-sama 100, kelas aktual hanya bisa sideways. Aturan yang juga memberi skor benar untuk “naik” dan “turun” akan membuat tiga prediksi yang saling bertentangan benar pada catatan yang sama, sehingga akurasi tidak berguna.
2. Latihan Skor dengan 200 Catatan Sintetis #
Anggap ada 200 klasifikasi valid, dengan kelas prediksi sebagai baris dan kelas aktual sebagai kolom. Sembilan angka di bawah dibuat untuk contoh; bukan hasil panggilan model. Pengujian nyata juga harus menyertakan log per catatan yang dapat diperiksa dan jumlah output tidak valid.
| Prediksi | Aktual naik | Aktual turun | Aktual sideways | Total |
|---|---|---|---|---|
| Naik | 58 | 20 | 19 | 97 |
| Turun | 17 | 23 | 22 | 62 |
| Sideways | 10 | 6 | 25 | 41 |
| Total | 85 | 49 | 66 | 200 |
Diagonalnya adalah 58 + 23 + 25 = 106, sehingga akurasi keseluruhan 106 / 200 = 53%. Dari 97 prediksi naik, 58 benar: 59,8%. Untuk turun hasilnya 23 / 62 = 37,1%, dan sideways 25 / 41 = 61,0%. Ini adalah precision per kelas prediksi, bukan recall. Recall naik memakai seluruh 85 kasus aktual naik sebagai penyebut: 58 / 85 = 68,2%.
3. Angka 53% Dibandingkan dengan Apa? #
Ada tiga kelas, jadi baseline lempar koin 50% tidak berlaku. Satu pembanding sederhana dapat ditetapkan sebelum evaluasi: selalu prediksi naik. Dalam tabel sintetis ini, pembanding tersebut benar pada 85 catatan, yaitu 42,5%. Jika benchmark memilih kelas terbanyak di data train, pilih di train lalu bawa tanpa perubahan ke jendela evaluasi. Jangan melihat jawaban test lalu memilih prediksi konstan terbaik. Dokumentasi DummyClassifier menjelaskan strategi sederhana semacam ini.
Angka 53% pada contoh lebih tinggi 10,5 poin persentase dari benchmark tersebut. Ini hanya hubungan aritmetika di dalam tabel; tanpa catatan nyata, hasil itu tidak membuktikan model efektif. Laporan nyata juga memerlukan rentang tanggal, distribusi kelas, dan kesalahan. Prompt berulang pada hari yang sama serta jendela 48 jam yang berdekatan berbagi informasi, sehingga 200 catatan tidak otomatis menjadi 200 sampel independen. Jangan memasang confidence interval untuk uji independen tanpa memeriksa asumsi itu.
Pengulangan prompt mengukur stabilitas. Contoh ajar terpisah: 25 kelompok input yang sama, lima run per kelompok. Jika 18 kelompok menghasilkan arah yang sama setidaknya empat kali, consistency rate-nya 18 / 25 = 72%. Sisa 28% hanya proporsi kelompok yang tidak mencapai threshold; bukan peluang jawaban kelima berbalik. “Naik, naik, naik, naik, turun” memenuhi aturan empat-dari-lima walaupun jawaban kelima berbeda. Lima jawaban salah yang identik tetap sangat konsisten.
Klasifikasi arah dan laba trading adalah dua pertanyaan berbeda. Tabel ini tidak memiliki harga entry/exit, ukuran posisi, biaya, funding, atau slippage, jadi tidak dapat menghasilkan estimasi return.
4. Tempat Memeriksa Tujuh Jenis Fakta #
Bagian ini adalah checklist verifikasi, bukan kumpulan kesalahan yang ditemukan dalam 200 eksperimen, dan tidak diurutkan berdasarkan frekuensi. Memecah output menjadi klaim faktual satu per satu lebih mudah diperiksa daripada memberi satu label “tepercaya” pada seluruh jawaban.
| # | Jenis fakta | Field yang disimpan | Materi verifikasi | Hal yang sering tertukar |
|---|---|---|---|---|
| 1 | Flow ETF | Nama fund, hari perdagangan, unit, metodologi | Disclosure issuer dan data flow dengan metode yang jelas | Net flow, perubahan holding, dan volume perdagangan berbeda |
| 2 | Transfer on-chain | Chain, hash transaksi, alamat, waktu blok | Block explorer untuk chain tersebut | Transfer ke alamat bursa tidak membuktikan penjualan |
| 3 | Listing bursa | Produk, pair, waktu buka, wilayah | Pengumuman bursa untuk produk terkait | Listing spot bukan bukti listing futures |
| 4 | Volume | Venue, pair, quote currency, jendela waktu | Data sumber bursa dan definisi field | Satu pair dan total pasar tidak bisa dipertukarkan |
| 5 | Break moving average | Seri harga, interval, algoritma, cutoff | Hitung ulang dengan data yang sama | Sentuhan intraday berbeda dari penutupan di atas MA |
| 6 | Pernyataan makro | Pembicara, tanggal, kutipan, konteks | Teks atau video asli dari institusi penerbit | Parafrasa media bukan komitmen eksplisit pembicara |
| 7 | Holding perusahaan | Perusahaan, tanggal pengumuman, periode transaksi, jumlah | Rilis investor relations atau dokumen regulator | Tanggal pengumuman bisa berbeda dari tanggal pembelian |
Jika sumber tidak ditemukan, tandai klaim sebagai “belum terverifikasi”. Jangan langsung menganggapnya benar, dan jangan menyatakan peristiwa tidak pernah terjadi hanya karena satu pencarian tidak menemukannya. Jika sumber bertentangan dengan output, simpan kalimat asli, sumber, dan field yang konflik, lalu tandai sebagai kesalahan faktual agar keputusan dapat diperiksa ulang.
5. Cara Memverifikasi Output #
Pertama, periksa apakah sumber mendukung kalimat persisnya. Halaman yang dapat dibuka belum cukup; tanggal, unit, dan objek harus cocok. Jika berita mengutip laporan lain, ikuti sampai ke pengumuman, tabel data, atau ucapan asli bila memungkinkan.
Kedua, pisahkan fakta dari inferensi. “Alamat ini mentransfer dana” adalah catatan yang dapat diperiksa. “Pemilik bersiap menjual” adalah interpretasi. Kalimat pertama yang benar tidak otomatis memverifikasi kalimat kedua.
Terakhir, hitung ulang bagian yang dapat dihitung. Persentase, moving average, dan perubahan posisi harus menyimpan input serta rumus. Prompt berulang dapat menguji stabilitas output, tetapi jawaban yang sama bukan bukti independen.
6. Simpan Catatan Analisis yang Bisa Diulang #
Contoh metode ini tidak memberikan akurasi nyata ChatGPT dalam memprediksi BTC. Untuk menjawab pertanyaan itu, jalankan dan simpan eksperimen yang terdefinisi, lalu cari perbedaan yang dapat diulang terhadap benchmark yang ditetapkan sebelumnya. Satu prediksi arah yang benar juga tidak membuktikan semua fakta dalam jawaban benar.
Untuk riset sehari-hari, minta model memakai format di bawah lalu periksa setiap butir. Format ini membuat bukti lebih mudah ditemukan; artikel ini tidak mengukur seberapa besar format tersebut mengurangi kesalahan. Untuk format tugas lain, lihat Koleksi Prompt Trading.
Materi: [lampirkan setiap sumber, cutoff, dan data] Susun tiga kolom: fakta dalam materi / inferensi Anda / bukti yang masih kurang. Cantumkan ID materi untuk setiap fakta; jangan menambah angka terkini yang tidak ada di materi. Tampilkan input dan rumus untuk perhitungan. Untuk setiap inferensi, sebutkan bukti yang dapat membantahnya. Tulis “tidak dapat dikonfirmasi dari materi yang diberikan” bila bukti tidak cukup.
Simpan input, jawaban mentah, dan catatan review bersama-sama. Saat mengganti model atau prompt, Anda dapat membandingkannya dengan metode skor yang sama, bukan menilai dari dua tangkapan layar dengan gaya tulisan berbeda.
Lihat Koleksi Prompt Lengkap →
— PromptDeck, direvisi 2026-09-24