Dalam konteks AI, khususnya pada Model Bahasa Besar (LLM), token adalah bagian dari sebuah kata yang menjadi unit dasar pemrosesan informasi. Berikut adalah beberapa poin penting mengenai cara kerja token:
- Unit Pembangun Respon: Alat AI generatif berbasis teks membangun jawaban mereka satu token demi satu token. AI tidak memproses kata secara utuh, melainkan memecahnya menjadi bagian-bagian kecil ini.
- Prediksi Probabilitas: LLM bekerja dengan cara menghitung probabilitas statistik untuk menentukan token mana yang paling mungkin muncul berikutnya dalam suatu urutan.
- Sistem Matematika: Proses prediksi ini dilakukan oleh sistem matematika yang mengandung miliaran parameter untuk memilih opsi token terbaik berdasarkan pola yang telah dipelajari selama pelatihan.
- Keacakan Terkendali: Pemilihan token juga melibatkan elemen yang disebut "temperature" atau keacakan terkendali, yang memungkinkan AI memberikan respon yang bervariasi meskipun diberikan perintah (prompt) yang sama.
