Оценка эффективности торговой системы

Оценка эффективности торговой системы

К оценке эффективности системы следует подходить очень серьезно,
поскольку это является одним из ключевых аспектов автоматизированной
торговли. В данной статье мы рассмотрим недостатки "традиционной"
оценки параметров доходности и риска, и преимущества использования
дополнительных показателей, особенно Коэффициента K.

Недостатки классических параметров
Чистая прибыль (NP) = общая прибыль - общие потери
Использование только лишь параметра NP, без соответствующих
показателей риска и стабильности доходности, походит на покупку
спортивного автомобиля без предварительного тест-драйва! Две торговые
системы с одним и тем же параметром NP, но различными стандартными
отклонениями (SD) быстро начнут показывать расхождения, когда
используются кредитные рычаги (Lev):
1). NP = +1000, SD = 500, Lev = 1 95%, интервал = [0, +2000]
2). NP = +1000, SD = 2000, Lev = 1 95%, интервал = [3000,
+5000]
Кроме того, в факторе прибыли не отражается "время в рынке", которое
эквивалентно подверганию риску:
Фактор прибыли (PF) = общая прибыль (ОР)/общие потери (GL),
т.е. общая прибыль в долларах, полученная в выигрышных сделках,
делится на общие потери в долларах, понесенных в проигрышных сделках.
Одна из проблем с Фактором прибыли связана с тем, что он не учитывает
зависимость сделки. Например, две торговые системы со следующими
значениями прибыли и потерь дают тот же самый Фактор прибыли:
1). Результаты сделок: +100, -100, +100, -100, +100, -100, +100,
-100, +100, -100, +100, +50, +100; PF = GP (750)/GL(500) = 1.50.
2). Результаты сделок: -500, +100, +100, +100, +100, +100, +100,
+50, +100; PF = GP (750)/GL (500) = 1.50.
Отношение прибыли к спаду (P/DD) = чистая прибыль (NPJ/максимальный
спад (DD),
где максимальный спад = локальный максимум - локальный минимум.
Проблема с соотношением P/DD заключается в том, что оно создает
показатель прибыли к риску в то время, как доходность (т.е. прибыль)
увеличивается линейным образом, в то время как риск (т.е. спад)
увеличивается нелинейным образом.
Моделирование Монте-Карло показывает, что соотношение P/DD зависит
от времени, и поэтому через какое-то время его значение будет
возрастать даже при допущении статической вероятности.
Процент прибыльности (%Pr) = число выигрышных сделок/общее
количество сделок
Максимизация Процента прибыльности может заставить вас чувствовать
себя увереннее, но это не улучшит общие результаты вашей торговли. Этот
показатель получил широкое распространение благодаря поведенческому
уклону, который заставляет людей бояться понести потери (т.е.
отвращение к потерям).
Новые параметры
Коэффициент Шарпа (SR) = средняя прибыль/стандартное отклонение
прибыли с учетом фактора времени
Учет фактора времени необходим, потому что прибыль и разброс
результатов являются линейными по отношению к времени, следовательно,
стандартное отклонение линейно с квадратным корнем от времени:
Фактор времени для дневного тестирования = 252^0.5 = 16
Фактор времени для месячного тестирования = 12^0.5 = 3.46
В действительности Коэффициент Шарпа также имеет недостаток. Если в
прибыли существует автокорреляция, то Коэффициент Шарпа будет не
надежен в качестве критерия работы системы.


Таблица 1. Результаты сделок разных систем.
Это можно увидеть в таблице 1. Первая система сначала
демонстрировала устойчивый рост активов, а затем их резкое снижение, в
то время как вторая система показала более плавное изменение активов
(см. диаграмму 1). Тем не менее, обе системы имеют одинаковый
Коэффициент Шарпа.


Диаграмма 1. Изменение активов по двум системам.
Коэффициент K был разработан автором "Количественных стратегий
торговли" Ларсом Кестнером, и является
практически идеальным критерием оценка качества работы системы. Этот
показатель работы может сравниваться для разных рынков и периодов
времени, и указывает на ошибкоустойчивость (или ее отсутствие) торговых
система. Этот показатель нацелен на дополнение и обнаружение
недостатков в Коэффициенте Шарпа. Оценка основывается на стабильности
кривой активов.


Диаграмма 2. Кривая активов и ошибкоустойчивость первой
системы.
На диаграмме 2 представлена торговая система с коэффициентом K
равным 1.32. Зеленая линия регрессии отражает доходность системы.
Расстояние (стандартная ошибка) наблюдений (синие точки) от линии
активов представляют ошибкоустойчивость системы.


Диаграмма 3. Кривая активов и ошибкоустойчивостьвторой системы.
На диаграмме 3 представлена торговая система с коэффициентом K
равным 0.40. Оранжевая линия представляет доходность системы.
Расстояние (стандартная ошибка) наблюдений (розовые точки) от линии
активов представляет ошибкоустойчивость системы.


Таблица 2. Показатели двух торговых систем.

Поскольку кривая активов представляет собой графическое отражение
совокупной прибыли через какое-то время, то она должна увеличиваться
линейно со временем. Если прибыль реинвестируется, то кривая активов
должна увеличиваться по экспоненте.
Процедура вычисления коэффициента K следующая:
1. Вычислить линейную регрессию Кривой активов к переменной тренда;
2. Переменная тренда = частота наблюдения (ежедневно, еженедельно и
т.д.);
3. Коэффициент регрессии (bl) = наклон регрессии (это сопоставимо с
прибылью - чем выше наклон, тем больше доходность);
4. Риск в коэффициенте K измеряется стандартной ошибкой b1:

• стандартная ошибка является статистической, что измеряет
  надежность оценки b1, рассчитанной от регрессии;
  
• большие стандартные ошибки указывают на нестабильность наклона
  Кривой активов, маленькие стандартные ошибки указывают на более
  последовательную Кривую активов.
  

Таблица 2 и диаграммы 2 и 3 показывают две торговые системы с
подобной доходностью (коэффициенты регрессии), но с различной
последовательностью результатов работы (стандартные ошибки). Именно это
отражает коэффициент K, который для первой системы равен 1.32, а для
второй системы равен 0.40.

Люк Ван Хоф