หากใช้พรอมต์เดิมแต่คำตอบสั้นและตื้นขึ้นอย่างชัดเจน ไม่ได้หมายความว่าโมเดลอ่อนลงเสมอไป บทความนี้แยกสาเหตุเป็นด้านทางออกเครือข่าย สถานะบัญชี และสภาพแวดล้อมเบราว์เซอร์ พร้อมลำดับการตรวจสอบ
เมื่อใช้พรอมต์ชุดเดิม ช่วงก่อนคำตอบอาจยังละเอียดอยู่ แต่ช่วงหลังกลับสั้นและตื้นขึ้นอย่างเห็นได้ชัด และอาจใช้การสร้างโค้ดหรือการวิเคราะห์ภาพไม่ได้ด้วย สถานการณ์แบบนี้มักถูกเรียกว่า “degradation” โดยส่วนใหญ่ไม่ใช่ว่าตัวโมเดลอ่อนลง แต่บัญชีอาจถูกจำกัดสิทธิ์ในสภาพแวดล้อมเครือข่ายและเบราว์เซอร์ปัจจุบัน
ปัจจัยด้านเครือข่ายและทางออก
สิ่งแรกที่ควรสงสัยคือทางออกเครือข่าย โหนดมักถูกใช้ร่วมกันโดยหลายคน จึงทำให้ IP เดียวสะสมสัญญาณพฤติกรรมจากหลายบัญชีและมีโอกาสถูกมองว่าเป็นทราฟฟิกผิดปกติได้ง่ายขึ้น อีกกรณีคือ IP นั้นมีประวัติไม่ดีหรือเคยติด blacklist มาก่อน ผู้ใช้ในภายหลังจึงอาจถูกจำกัดแม้ใช้งานตามปกติ อีกจุดที่มักถูกมองข้ามคือ region mismatch เช่น บัญชีมักใช้ในประเทศหนึ่งแต่ทางออกอยู่ในอีกประเทศ หรือทางออกสลับไปมาหลายประเทศในช่วงเวลาสั้น ๆ ทั้งสองรูปแบบอาจกระตุ้นการตรวจสอบด้านความปลอดภัย
ปัญหาแบบนี้ค่อนข้างสังเกตได้ง่าย หากเปลี่ยนไปใช้ทางออกที่ถือว่าสะอาดแล้วคุณภาพคำตอบของบัญชีเดิมกลับมาเป็นปกติ หรือไม่เปลี่ยนบัญชีแต่เปลี่ยนเฉพาะโหนดแล้วผลลัพธ์ต่างกันชัดเจน ก็มีแนวโน้มว่าเครือข่ายเป็นหนึ่งในปัจจัย
ปัจจัยด้านบัญชี
อีกด้านคือข้อจำกัดของบัญชีเอง โควตาอย่างจำนวนคำขอต่อวันและจำนวนคำขอพร้อมกันมีเพดาน หากถามถี่มากในช่วงเวลาสั้น ๆ อาจชน rate limit ทำให้คำตอบสั้นลงหรือจบอย่างรวดเร็ว นอกจากนี้ยังมี model routing ซึ่งแพลตฟอร์มอาจส่งคำขอไปยัง model tier ที่ต่างกันตามสถานะบัญชี โหลดปัจจุบัน หรือภูมิภาค และแต่ละ tier อาจให้รายละเอียดต่างกันโดยธรรมชาติ หากบัญชีเคยมีการล็อกอินผิดปกติ การยืนยันตัวตน หรือข้อจำกัดมาก่อน ก็อาจยังอยู่ในสถานะจำกัด
วิธีตรวจสอบคือ ลดความถี่ในการถามแล้วรอสักระยะก่อนถามคำถามเดิมอีกครั้ง จากนั้นนำพรอมต์เดียวกันไปใช้กับอีกบัญชีเพื่อเปรียบเทียบ หากบัญชีเปรียบเทียบทำงานปกติตลอด ปัญหาก็มีแนวโน้มอยู่ที่บัญชีมากกว่าพรอมต์
ปัจจัยด้านสภาพแวดล้อม
ปัญหาในระดับบทสนทนาก็พบได้บ่อย แชตยาว ๆ ใช้ context มาก และเมื่อมีหลายรอบ เนื้อหาช่วงต้นอาจถูกตัดออก โมเดลจึงไม่เห็นข้อมูลครบและอาจเริ่มตอบออกนอกเรื่อง ซ้ำไปมา หรือให้เพียงข้อสรุป ส่วนฝั่งเบราว์เซอร์ แคชและคุกกี้ที่ไม่ได้ล้างนาน ส่วนขยายที่รบกวน และการสลับบัญชีเดียวกันระหว่างหลายอุปกรณ์บ่อย ๆ อาจทำให้สภาพแวดล้อมดูไม่เหมือนผู้ใช้ที่มีความเสถียร
อาการช่วยแยกสาเหตุได้ หากเปิดบทสนทนาใหม่และตัดประวัติยาว ๆ ออกแล้วคุณภาพดีขึ้น แสดงว่าปัญหาน่าจะอยู่ที่ระดับเซสชัน หากใช้อุปกรณ์เดิมแต่เปลี่ยนเบราว์เซอร์แล้วกลับมาปกติ ก็มีแนวโน้มว่าเป็นปัญหาจากสภาพแวดล้อมในเครื่อง
ควรเริ่มตรวจสอบจากจุดไหน
อย่าเปลี่ยนหลายตัวแปรพร้อมกัน เพราะหลังจากนั้นจะไม่รู้ว่าขั้นตอนไหนมีผล ให้ทำตามลำดับนี้: ก่อนอื่นตรวจสอบ egress IP และยืนยันว่าที่อยู่กับตำแหน่งตรงกับที่คาดไว้ จากนั้นตรวจสอบชื่อเสียงของ IP ว่าถูกจัดเป็น IP ของ data center หรือประเภทความเสี่ยงสูงหรือไม่ ต่อมาดูความสอดคล้องของสภาพแวดล้อมการล็อกอินว่า time zone, language และ UA เปลี่ยนทุกครั้งหรือไม่ แล้วจึงค่อยพิจารณาเปลี่ยนสภาพแวดล้อมและล็อกอินใหม่เป็นขั้นตอนสุดท้าย
ความสม่ำเสมอสำคัญกว่าการเปลี่ยนบ่อย
มีจุดหนึ่งที่อาจขัดกับสัญชาตญาณ คือการเปลี่ยน fingerprint ทุกครั้งที่ล็อกอินอาจดูผิดปกติมากกว่าการใช้ค่าชุดเดิม ผู้ใช้จริงไม่ได้เปลี่ยนอุปกรณ์ทุกวัน ระบบควบคุมความเสี่ยงจะดูว่าบัญชีเข้ามาจากสภาพแวดล้อมเดิมอย่างต่อเนื่องหรือไม่ หากต้องใช้บริการ AI อย่างเสถียรในระยะยาว การตรึงค่าต่าง ๆ เช่น time zone, language และ WebRTC ไว้ อาจเสถียรกว่าการเปลี่ยนสภาพแวดล้อมซ้ำ ๆ เครื่องมืออย่าง PurpleMark มีความสามารถในการกำหนดสภาพแวดล้อมอิสระแบบคงที่ให้กับบัญชี
ต้นเหตุของข้อจำกัดมักอยู่ที่ว่าสภาพแวดล้อมดูน่าเชื่อถือหรือไม่ ลำดับการตรวจสอบคือ egress IP, ชื่อเสียงของ IP, ความสอดคล้องของสภาพแวดล้อม และสุดท้ายจึงสร้างสภาพแวดล้อมใหม่ การเปลี่ยนจาก “ทุกครั้งไม่เหมือนกัน” เป็น “ทุกครั้งเหมือนกัน” มักช่วยได้มากกว่าการเปลี่ยนเครื่องมือ
