Token คืออะไร — หน่วยนับที่กำหนดค่าใช้จ่ายและความเร็วของ AI

เวลาอ่านราคาค่าบริการ AI หรือได้ยินคนพูดว่า "โมเดลนี้รับได้แสน token" หลายคนงงว่า token คืออะไรกันแน่ ทำไมถึงสำคัญขนาดต้องเอามาคิดเงิน บทความนี้จะอธิบาย token แบบเห็นภาพ ให้มือใหม่เข้าใจว่ามันคือหน่วยนับที่อยู่เบื้องหลังทั้งค่าใช้จ่ายและความเร็วของ AI

Token คืออะไร

Token คือชิ้นส่วนย่อยของข้อความ ที่ AI ใช้ในการอ่านและประมวลผล

AI ไม่ได้มองข้อความเป็น "คำ" แบบที่คนเราอ่าน แต่มันหั่นข้อความออกเป็นชิ้นเล็ก ๆ ก่อน แล้วค่อยเอาชิ้นพวกนั้นไปคิด

ลองนึกถึง การต่อเลโก้ เวลาเราเห็นบ้านเลโก้หนึ่งหลัง เราเห็นเป็น "บ้าน" แต่จริง ๆ มันประกอบจากตัวต่อเล็ก ๆ หลายชิ้น token ก็คือตัวต่อเล็ก ๆ พวกนั้น ที่เมื่อเอามาเรียงกันก็กลายเป็นข้อความที่เราอ่านรู้เรื่อง

นับ token ยังไง

หนึ่ง token ไม่จำเป็นต้องเท่ากับหนึ่งคำเสมอไป บางทีเป็นคำเต็ม บางทีเป็นแค่เศษคำ

ยกตัวอย่างภาษาอังกฤษ

• คำสั้น ๆ อย่าง cat มักเป็น 1 token
• คำยาวอย่าง unbelievable อาจถูกหั่นเป็นหลายชิ้น เช่น un + believ + able กลายเป็น 3 token

พอเทียบคร่าว ๆ ภาษาอังกฤษราว 1 คำมักใกล้เคียง 1 token แต่ ภาษาไทยมักกิน token มากกว่า เพราะโครงสร้างตัวอักษรและการที่ AI หั่นคำไทยได้ละเอียดกว่า ประโยคไทยความยาวเท่ากับอังกฤษจึงมักใช้ token เยอะกว่า จุดนี้คนไทยควรรู้ไว้ เพราะมันกระทบทั้งค่าใช้จ่ายและพื้นที่ความจำ

ทำไมค่าใช้จ่ายกับความเร็วผูกกับ token

เหตุผลคือ AI ทำงานหนักตามจำนวน token ที่ต้องจัดการ ยิ่ง token เยอะ มันยิ่งต้องคิดมาก ผลจึงตามมาสองอย่าง

• ค่าใช้จ่าย ผู้ให้บริการ AI ส่วนใหญ่คิดเงินเป็น token ไม่ใช่เป็นครั้ง ยิ่งส่งข้อความยาวและให้ตอบยาว ก็ยิ่งจ่ายมาก เหมือน แท็กซี่ที่คิดตามระยะทาง ไม่ใช่เหมาจ่าย
• ความเร็ว ยิ่ง token เยอะ AI ยิ่งใช้เวลาอ่านและเขียนนานขึ้น คำตอบยาว ๆ จึงทยอยออกมาช้ากว่าคำตอบสั้น ๆ

เข้าใจจุดนี้แล้วจะเห็นว่า การเขียนให้กระชับไม่ใช่แค่เรื่องมารยาท แต่ช่วยประหยัดเงินและเวลาจริง ๆ

Input token กับ Output token

token แบ่งเป็นสองฝั่ง และมักคิดราคาไม่เท่ากัน

• Input token คือทุกอย่างที่ เราส่งเข้าไป ทั้งคำถาม ไฟล์ที่แปะ และประวัติบทสนทนาก่อนหน้า
• Output token คือทุกอย่างที่ AI ตอบกลับ ออกมา

โดยทั่วไป output token มักแพงกว่า input token เพราะการสร้างข้อความใหม่ใช้พลังมากกว่าการอ่าน ดังนั้นถ้าขอให้ AI เขียนตอบยาว ๆ เกินจำเป็น ค่าใช้จ่ายฝั่ง output จะพุ่งเร็ว การสั่งให้ตอบสั้นและตรงประเด็นจึงช่วยประหยัดได้เยอะ

ประมาณการคร่าว ๆ ให้เห็นภาพ

เพื่อให้จับต้องได้ ลองดูตัวเลขกลม ๆ พอเป็นไอเดีย

• ข้อความภาษาอังกฤษ 1 หน้ากระดาษ ราว ๆ 500 คำ ตกประมาณ 600-700 token
• ข้อความภาษาไทยความยาวเท่ากัน มักกิน token มากกว่านั้นพอสมควร
• คำถามสั้น ๆ หนึ่งบรรทัด อาจแค่ 10-20 token

ตัวเลขพวกนี้ไม่ต้องจำเป๊ะ แค่ให้รู้ว่ายิ่งข้อความยาว token ยิ่งพุ่ง และถ้าเป็นภาษาไทยให้เผื่อไว้มากกว่าปกติ

เกี่ยวกับ context และการประหยัด

token ยังผูกกับความจำของ AI ในแต่ละบทสนทนา ที่เรียกว่า Context Window ซึ่งมีขนาดจำกัดและวัดเป็น token เช่นกัน พอ token สะสมจนเต็ม AI จะเริ่มลืมต้นเรื่อง อ่านเพิ่มได้ที่ Context Window คืออะไร

และถ้าอยากใช้ token ให้คุ้มค่าที่สุด ทั้งประหยัดเงินและได้คำตอบดี ลองอ่าน เทคนิคประหยัด token ส่วนใครยังไม่แน่ใจว่า AI เบื้องหลังทำงานยังไง แนะนำ LLM คืออะไร เป็นพื้นฐานก่อน

สรุป

Token คือชิ้นส่วนย่อยของข้อความที่ AI ใช้ประมวลผล ไม่ใช่คำแบบที่เราอ่าน หนึ่งคำอาจเป็นหนึ่งหรือหลาย token และ ภาษาไทยมักกิน token มากกว่าอังกฤษ เรื่องนี้สำคัญเพราะทั้ง ค่าใช้จ่ายและความเร็วผูกกับจำนวน token โดยแบ่งเป็น input ที่เราส่งเข้าไปและ output ที่ AI ตอบกลับ ซึ่งฝั่ง output มักแพงกว่า รู้จัก token แล้ว เราก็จะเขียนให้กระชับ ประหยัดทั้งเงินและเวลา และใช้ AI ได้คุ้มค่ายิ่งขึ้น