ការធ្វើតេស្តប្រតិបត្តិការ Web របស់ AI Agent៖ ការផ្ទៀងផ្ទាត់ 4 ស្រទាប់ និងសូចនាករ

ការដំណើរការបានជោគជ័យម្តងក្នុង demo environment មិនមានន័យថាខ្សែប្រតិបត្តិការនោះអាចប្រើបានយ៉ាងទុកចិត្តរាល់ថ្ងៃទេ។

ដើម្បីវាយតម្លៃឲ្យបានច្បាស់ ត្រូវបំបែកការធ្វើតេស្ត៖ ផ្ទៀងផ្ទាត់ environment នៅស្រទាប់របស់វា ផ្ទៀងផ្ទាត់ Agent នៅស្រទាប់របស់វា ហើយចុងក្រោយពិនិត្យថាទាំងពីរមានស្ថិរភាពនៅពេលភ្ជាប់គ្នាឬអត់។

Single-step smoke test៖ ធ្វើសកម្មភាព 4 ដាច់ដោយឡែក

Smoke test ធ្វើតែ 4 យ៉ាង ហើយធ្វើម្តងមួយៗ មិនត្រូវភ្ជាប់ជាខ្សែទេ៖ បើក page ដែលបានកំណត់; ស្វែងរក element មួយលើ page; click វា; ទាញយក text របស់ element នោះ។ ប្រសិនបើទាំង 4 ជោគជ័យ នោះមូលដ្ឋាន connection, session និង element access កំពុងដំណើរការ។

ការធ្វើតែ 4 សកម្មភាពជួយបង្រួមផ្ទៃបញ្ហា។ បើ page មិនបើក ជាទូទៅបញ្ហានៅ network egress ឬ access permission។ បើ page បើកបានតែរក element មិនឃើញ អាចជាករណី page មិនទាន់ load ចប់ ឬ locator ពឹងខ្លាំងពេកលើ layout បច្ចុប្បន្ន។ បើរកបានតែ click មិនបាន សូមពិនិត្យថា element ត្រូវបានគ្រប ឬស្ថិតនៅក្នុង iframe ឬអត់។ បើ text ដែលបានត្រឡប់ទទេ សូមបញ្ជាក់ជាមុនថាកំពុងអាន rendered content មិនមែន HTML ដំបូង។

សូមតាមដាន 3 លេខ៖ single-step success rate, ពេលវេលារបស់ step នីមួយៗ និងការចែកចាយប្រភេទ error។ វាគួរតែមានស្ថិរភាពតាំងពី smoke stage។ បើ single-step success rate ឡើងចុះត្រឹមប្រហែល 80–90% នោះការធ្វើតេស្តបន្ទាប់មិនសូវមានន័យទេ។

Multi-step task៖ branch សំខាន់ជាងចំនួន step

ភ្ជាប់សកម្មភាព 4 ខាងលើទៅជាកិច្ចការពិត ដូចជា បំពេញ form, បើកច្រើន pages, filter តាមលក្ខខណ្ឌ និងសរសេរលទ្ធផលត្រឡប់ទៅ local។ Step កាន់តែច្រើនគ្រាន់តែជាការកើនបរិមាណ; ការលំបាកពិតគឺ branch៖ មាន prompt លេចឡើង, target element បាត់, page redirect ដោយខ្លួនឯង ឬជួប verification ដែលត្រូវការការបញ្ជាក់ពីមនុស្ស។

នៅទីនេះត្រូវមើល task completion rate មិនមែន step success rate។ បន្ទាប់ពី failure សមត្ថភាពរបស់ Agent ក្នុងការកែផ្លូវ និងស្គាល់ពេលត្រូវឈប់ហើយ report បញ្ហាឲ្យច្បាស់ សំខាន់ជាងការបង្ខំឲ្យរត់ដល់ចប់។

សូចនាករមួយទៀតដែលងាយមើលរំលងគឺចំនួន human intervention។ បើរត់ task ដូចគ្នា 20 ដង ចំនួនដងដែលត្រូវអន្តរាគមន៍ និង step ដែលជាប់រាល់លើក អាចបង្ហាញភាពចាស់ទុំនៃខ្សែប្រតិបត្តិការបានល្អជាង overall completion rate។

Concurrency និង fault injection

ពេលខ្សែតែមួយមានស្ថិរភាព សូមបន្ថែម concurrency។ ចាប់ផ្តើម environments ច្រើនក្នុងពេលតែមួយ ដើម្បីរត់ task ប្រភេទដូចគ្នា ហើយមើលថា environments រំខានគ្នាឬអត់ និង failure rate អាក្រក់ឡើងនៅពេល concurrency កើនឬអត់។ Failure នៅស្រទាប់នេះជាញឹកញាប់មកពីសម្ពាធលើ resource ឬ session មិនមែនពី Agent logic ខុសទេ។

Fault injection ជាការធ្វើតេស្តដែលងាយត្រូវរំលង ប៉ុន្តែចាំបាច់ខ្លាំង។ សូមបង្កើត timeout, element បាត់កណ្តាលផ្លូវ, session ផុតកំណត់ និង CAPTCHA ដោយចេតនា រួចមើលប្រតិកម្ម៖ បន្ទាប់ពី timeout retry ជោគជ័យឬ process ជាប់; បន្ទាប់ពី session ផុតកំណត់ មាន error ច្បាស់ឬនៅតែបន្តជាមួយ credential ដែលអស់សុពលភាព។

កត់ត្រា 3 metrics៖ failure-rate curve ក្រោម concurrency, recovery success rate បន្ទាប់ពី fault និងពេលវេលាបន្ថែមពី fault មួយ។ បើ recovery success rate ទាប ខ្សែនេះអាចដំណើរការបានតែក្នុងលក្ខខណ្ឌល្អ។

ផ្ទៀងផ្ទាត់ environment layer ដាច់ដោយឡែក

ការធ្វើតេស្តខាងលើធ្វើក្នុង environment មួយ ប៉ុន្តែពេលប្រើ environments ច្រើនជាមួយគ្នា ត្រូវផ្ទៀងផ្ទាត់ស្រទាប់នេះបន្ថែម៖ environment នីមួយៗត្រូវ start ដោយឯករាជ្យ រក្សា session និង cache របស់ខ្លួន និងភ្ជាប់ទៅ egress IP ផ្ទាល់ខ្លួន។

ក្រុមដែលដំណើរការ accounts ច្រើន ជាទូទៅបែងចែក environment តាម account។ Tool ដូចជា PurpleMark ផ្តល់ environment isolation ដើម្បីឲ្យ account នីមួយៗមាន runtime space ឯករាជ្យ។ ពេល test សូម start environments ច្រើនជាមួយគ្នា ហើយបញ្ជាក់ថា Cookies, cache និង egress មិនលាយគ្នា។

សម្រាប់ស្រទាប់នេះ មើល 3 លេខ៖ environment startup success rate, data cross-talk រវាង environments (ធម្មតាគួរតែសូន្យ) និង session អាចបន្តបានឬអត់បន្ទាប់ពី rebuild environment។

របៀបកំណត់មូលហេតុបន្ទាប់ពី failure

ពេលខ្សែមានបញ្ហា កំហុសធម្មតាគឺទៅកែ Agent script ភ្លាមៗ។ លំដាប់ល្អជាងគឺ ពិនិត្យមុនថា environment start បានឬអត់ និង session ផុតកំណត់ឬអត់ បន្ទាប់មកពិនិត្យ network egress និង nodes ហើយចុងក្រោយទើបសង្ស័យ element location និង task planning របស់ Agent។ បើធ្វើផ្ទុយលំដាប់ នឹងកែផ្នែកខុសម្តងហើយម្តងទៀត។

សកម្មភាព 4 ក្នុង single-step smoke test ក៏ជាឧបករណ៍សម្រាប់កំណត់មូលហេតុដែរ។ រាល់ failure សូមត្រឡប់ទៅរត់សកម្មភាពទាំង 4 ដាច់ដោយឡែក ហើយមើលថាតំណណាដាច់មុន។ ភាគច្រើនចម្លើយនឹងឃើញនៅជំហាននេះ។