Prompt Caching: ไม่ควรใช้งอกกลิ่นที่ AI ต้องอ่านซ้ำ

ปัญหา: AI ต้องอ่านของเดิมซ้ำ ๆ

ถ้าระบบ AI ของธุรกิจต้องอ่านคู่มือหรือข้อมูลชุดเดิมทุกครั้ง คำถามคือ เรากำลังจ่ายให้มันอ่านของเดิมซ้ำ ๆ อยู่หรือเปล่าครับ

Prompt Caching คืออะไร

AWS อธิบายเมื่อ 15 กันยายน 2026 ว่า Amazon Bedrock มี prompt caching สำหรับเก็บ prefix ที่ตรงกันไว้ก่อน cache point เช่น:

• System prompt
• เอกสารเดิม
• รายการเครื่องมือที่ต้องส่งเข้าโมเดลซ้ำ

ประหยัดจริง เมื่อไร

AWS ระบุว่า input token ที่อ่านจาก cache อาจมีราคา ต่ำกว่าปกติได้สูงสุด 90% เมื่อ cache hit

ในตัวอย่างเอกสาร 10,000 token ที่ถามต่อ 10 คำถาม ประหยัด input token ได้ประมาณ 75% ภายใต้เงื่อนไขว่าคำถามต่อเนื่องเกิดภายใน TTL

ตรงนี้ต้องอ่านคำว่า "เมื่อ cache hit" ตัวใหญ่ ๆ เลยนะครับ เพราะไม่ใช่ส่วนลดรวมที่การันตีทุกระบบ

ตัวแปรที่ซ่อนอยู่

การประหยัดขึ้นกับ:

• รุ่นโมเดล
• จำนวน token
• TTL
• ราคาของ Bedrock

ค่าเริ่มต้น cache มีอายุ 5 นาที และบางโมเดลรองรับได้นานถึง 1 ชั่วโมง

ตัวอย่างจริง

ถ้าเป็น SME ที่มีทีมพัฒนา ลองนึกถึงผู้ช่วยทำใบเสนอราคา ที่ต้องอ่าน catalogue และนโยบายเดิมทุกครั้ง

ถ้าใช้ prompt caching ถูก รอบแรกประหยัดไม่ได้ แต่รอบสอง สาม สี่ อันไหน cache hit ก็ประหยัด 🎯

วิธีเริ่มที่ปลอดภัย

1. แยกส่วนข้อมูลคงที่ ที่ผ่านการอนุมัติแล้ว
2. วาง cache point หลังบริบทส่วนนั้น
3. ส่งเฉพาะคำถาม หรืองานที่เปลี่ยนในแต่ละรอบ
4. ดู cache-hit, latency และ cost log จากงานจริง
5. ให้คนตรวจราคา เงื่อนไข และการส่งออก ทุกครั้ง

ระวัง: ข้อมูลรั่วไหล

อย่าใช้ cache ร่วมกันข้ามลูกค้าหรือข้าม tenant แบบไม่คุมขอบเขตข้อมูลนะครับ

TL;DR

Prompt caching ช่วยลดการส่งบริบทเดิมซ้ำได้ แต่ความคุ้มเกิดเมื่อ cache hit และ ระบบแยกข้อมูลถูกต้อง

เริ่มจากงานทดลองเล็ก ๆ วัดต้นทุนจริง และ เก็บคนไว้ที่จุดอนุมัติ ครับ 💪

---

Source: AWS Machine Learning Blog, "Optimizing cost and latency with Amazon Bedrock prompt caching," 15 Sep 2026. https://aws.amazon.com/blogs/machine-learning/optimizing-cost-and-latency-with-amazon-bedrock-prompt-caching/