Apa itu token dan context window dalam AI?

Seperti apa wujud token

Model bahasa tidak membaca huruf atau kata utuh. Tokenizer lebih dulu memotong teks menjadi potongan dari kosakata tetap, dan tiap potongan menjadi sebuah angka. Model hanya melihat angka-angka ini.

Contoh di bawah dihitung dengan pustaka tokenizer sumber terbuka milik OpenAI, tiktoken, memakai encoding o200k_base. Model lain memakai tokenizer lain sehingga hitungannya berbeda, tetapi polanya mirip.

Kata yang umum biasanya satu token, biasanya termasuk spasi di depannya. Kata yang jarang atau panjang dipecah menjadi potongan. Angka dan tanggal dipecah dengan cara yang tidak sesuai maknanya, dan ini salah satu alasan model keliru berhitung. Karena strawberry datang sebagai tiga potong, model tidak pernah melihat langsung berapa huruf r di dalamnya.

Mengapa model memakai token subkata

Kosakata berisi kata utuh akan sangat besar dan tetap melewatkan kata baru, nama, dan salah ketik. Kosakata berisi huruf tunggal akan membuat setiap teks sangat panjang. Token subkata adalah jalan tengahnya.

Sebagian besar tokenizer saat ini memakai byte pair encoding (BPE) atau turunannya. Metodenya dimulai dari byte atau karakter tunggal, lalu berulang kali menggabungkan pasangan yang paling sering muncul di teks pelatihan menjadi token baru. Setelah banyak penggabungan, kata yang sering muncul menjadi satu token, sementara kata yang jarang tetap bisa disusun dari potongan lebih kecil. Tidak ada yang benar-benar di luar kosakata.

Setiap keluarga model melatih tokenizer-nya sendiri, sehingga kalimat yang sama menghasilkan hitungan berbeda di model berbeda. Jumlah token berguna untuk perkiraan dan anggaran, bukan sebagai satuan universal.

Kalimat yang sama dalam bahasa berbeda

Tokenizer dilatih terutama pada bahasa yang paling banyak ada di data pelatihannya. Bahasa dengan data lebih sedikit, atau aksara yang berbeda, sering memerlukan lebih banyak token untuk makna yang sama. Berikut satu instruksi, Please summarize this article in three bullet points, yang diterjemahkan lalu dihitung dengan tokenizer lama, cl100k_base, dan yang lebih baru, o200k_base:

Ada dua hal yang menonjol. Tokenizer yang lebih baru dengan kosakata lebih besar jauh lebih efisien untuk bahasa Mandarin, Jepang, Korea, dan Vietnam. Dan meski begitu, bahasa-bahasa ini masih memakai lebih banyak token per gagasan daripada bahasa Inggris dalam contoh ini. Karena harga API dan batas konteks dihitung dalam token, tugas yang sama bisa lebih mahal dan lebih cepat memenuhi window di sebagian bahasa.

Apa itu context window

Context window adalah memori kerja model untuk satu permintaan. Ia terpisah dari apa yang dipelajari model saat pelatihan. Semua yang bisa dipakai model untuk menulis jawabannya harus muat di dalamnya, dan jawabannya sendiri juga dihitung.

Di aplikasi chat, setiap pesan baru dikirim bersama percakapan sebelumnya. Jadi window terisi seiring chat bertambah panjang. Dalam permintaan umum, bagian-bagian ini semuanya dihitung:

• System prompt, yaitu instruksi tersembunyi dari aplikasi atau pengembang.
• Setiap pesan pengguna dan balasan asisten sebelumnya dalam percakapan.
• Dokumen terlampir, teks yang ditempel, gambar, dan teks hasil ekstraksinya.
• Definisi alat dan hasil alat, seperti hasil pencarian web.
• Jawaban baru, termasuk token penalaran atau berpikir tersembunyi yang ditulis model sebelum menjawab.

Ukuran window sangat bervariasi antar model dan sering berubah, dari beberapa ribu token pada model lokal kecil hingga sejuta token atau lebih pada beberapa model besar yang di-host saat tulisan ini dibuat. Periksa dokumentasi model yang Anda pakai.

Apa yang terjadi saat window penuh

Produk yang berbeda menangani batas ini dengan cara berbeda:

Baris terakhir paling penting dalam pemakaian sehari-hari. Riset menunjukkan model sering memakai informasi di awal dan akhir masukan panjang lebih baik daripada informasi di tengah. Penyedia model juga mencatat bahwa akurasi dan recall bisa turun seiring jumlah token bertambah. Window yang lebih besar memungkinkan Anda memasukkan lebih banyak, tetapi tidak menjamin model akan memakai semuanya dengan baik.

Cara memperkirakan dan menghemat token

1. Perkirakan dulu. Untuk bahasa Inggris, kalikan jumlah kata dengan sekitar 1,3. Untuk bahasa Mandarin atau Jepang, hitung karakternya, dan perkirakan kira-kira satu token atau sedikit kurang per karakter dengan tokenizer yang lebih baru. Penghitung kata, misalnya alat hitung kata di cv.cm, memberi Anda jumlah kata dan karakter dengan cepat.
2. Hitung secara tepat saat itu penting. Pakai tokenizer atau endpoint penghitung token milik model yang Anda panggil, karena hitungan berbeda antar model.
3. Kirim hanya yang diperlukan. Tempel bagian dokumen yang relevan, bukan seluruh file. Hapus header, footer, dan teks boilerplate yang berulang.
4. Taruh instruksi kunci di awal atau akhir prompt panjang, jangan terkubur di tengah.
5. Mulai chat baru untuk topik baru. Pesan lama terus memakai ruang dan bisa mengalihkan perhatian model.
6. Sisakan ruang untuk jawaban. Jika masukan hampir memenuhi window, balasannya akan pendek atau terpotong.
7. Untuk tugas panjang, minta ringkasan keputusan sejauh ini, lalu lanjutkan di chat baru dengan ringkasan itu.

Kesalahan umum

• Menganggap token sama dengan kata. Dokumen 1.000 kata bukan 1.000 token, dan di banyak bahasa jumlahnya jauh lebih banyak.
• Mengira model membaca semuanya. Bahkan di dalam window, detail di tengah masukan panjang bisa diabaikan. Minta model mengutip bagian yang menjadi dasar jawabannya.
• Mengharapkan memori antar chat. Percakapan baru dimulai dengan window kosong kecuali aplikasi menyisipkan catatan tersimpan.
• Melupakan konten tersembunyi. System prompt, definisi alat, dan token penalaran memakai window meski tidak terlihat oleh Anda.
• Membandingkan batas antar model secara langsung. Batas 100.000 token di satu model dan di model lain bisa memuat jumlah teks yang berbeda karena tokenizer-nya berbeda.