हर AI strategy पर 8 robustness tests

एक student के बारे में सोचिए. Practice के सवाल in-sample data हैं: search इन्हें पढ़ता है और जो rules यहाँ सबसे अच्छे चले उन्हें रख लेता है. Practice के सवालों में अच्छा करना ज़्यादा कुछ साबित नहीं करता — हो सकता है जवाब बस रट लिए हों.

असली exam है out-of-sample data: आपकी dates का सबसे नया हिस्सा, जो search के दौरान छुपा कर रखा गया. जो strategy वहाँ भी पैसा बनाती है, उसने शायद कुछ असली पकड़ा है.

हर strategy इन 8 tests पर जाँची जाती है.

• Out-of-sample holds up — unseen data पर भी काफ़ी trades के साथ पैसा बनाया, और आपकी पूरी dates पर taxes और slippage के बाद अपनी starting capital पर return की शर्त पूरी करती है.
• Monte Carlo Trade Resampling — इसके trades का क्रम कई बार उलट-पलट किया जाता है; लगभग हर क्रम में profit बना रहना चाहिए.
• Profitable in most periods — history के ज़्यादातर हिस्सों में profit होना चाहिए, सिर्फ़ किसी एक किस्मत वाले दौर में नहीं.
• Survives delayed entry/exit — देर से execution पर भी चलना चाहिए.
• Beats random strategies — उन्हीं exits वाली, random rules से बनी strategies से साफ़ तौर पर बेहतर होना चाहिए.
• Neighbouring settings also work — थोड़े अलग numbers पर भी चलना चाहिए. जो strategy सिर्फ़ एक ही number पर चले, वो शायद किस्मत है.
• Survives noisy prices — prices में छोटे random बदलाव से ये टूटनी नहीं चाहिए. जब यह test नहीं चला, तो उसके column में dash दिखता है.
• Walk-forward — data के एक हिस्से पर tune करने के बाद, अगले हिस्से पर भी चलती रहनी चाहिए.

Top strategy ने सारे 8 tests पास किए हैं. जब हमने product को पिछले सालों पर दोबारा चलाकर देखा, तो लगभग 10 में से 6 top strategies अगले महीनों में profit में रहीं, जबकि random strategies में 10 में से लगभग 4.

यानी tests पलड़ा आपकी तरफ़ झुकाते हैं. Profit की गारंटी नहीं देते. Strategy को समझिए, उसके rules पढ़िए और भरोसा करने से पहले छोटे size में trade कीजिए.

Strategy के page पर Run robustness tests उस पर सारे 8 tests दोबारा चलाता है, उन्हीं dates पर जिन पर search ने उसे ढूँढा था. बिना बदली strategy को बिल्कुल वही नतीजा मिलता है. अगर आपने पहले strategy edit की, तो वो नई strategy है और नतीजा अलग आ सकता है. हर re-test में 1 credit लगता है.