Можно также рассмотреть ICE в разрезе какого-нибудь фактора, например, одной из качественных бинарных характеристик Q3 (График 14). Из графика можно увидеть, что для компаний имеющих Q3 = A эффект переменных Debt_service_8 и Profitability_8 является более выраженным, а именно с их ростом балл увеличивается сильнее для таких компаний, нежели для заемщиков, у которых Q3=B.
График 14. Centered ICE в разрезе фактора Q3
На графике 15 представлено разбиение по числовой переменной. Из него можно заметить, что переменная Profitability_8 имеет более резкий эффект для компаний с приблизительно серединным значением показателя Other_4, тогда как для компаний с высоким значение Other_4, эффект от исследуемого фактора выражен слабее.
График 15. Centered ICE в разрезе фактора Other_4
LIME
Возвращаясь к задаче интерпретации отдельных прогнозных значений модели, а не ее общей структуры, следует рассмотреть метод LIME local interpretable model-agnostic explanations.
Рассмотрим трех разных заемщиков, чьи результаты отображены на рисунке 16 с буквами A, B и C.
В первом случае (A) заемщик имеет высокую вероятность дефолта, что интерпретатор LIME объясняет следующим образом:
· Наличие стоп-сигнала (W2_B=1);
· Высокие значения балансовых показателей, отвечающих за долговые обязательства (Other_1 и Other_4);
· Низкая ликвидность;
· Принадлежность к группе с высоким дефолт-рейтом (Q2_score)
График 16. Пример использования LIME для объяснения нескольких прогнозов модели.
Во втором случае (B) модель не уверена относительно своего предсказания, возвращая примерно одинаковые значения вероятностей для обоих целевых классов. Разбивая данное предсказание на составляющие, мы видим, что в положительный эффект на оцениваемую кредитоспособность заемщика оказывает относительно низкий один из показатель, связанных с долгом (Other_4), принадлежность к группе компаний по качественному фактору Q2, где дефолты происходят сравнительно реже, а также отсутствие стоп-сигнала (Q2_B=1).
И наконец в последнем случае (C) модель предсказывает высокую вероятность того, что заемщик «здоровый» и сможет вернуть кредит в случае его одобрения. В качестве объясняющих факторов LIME определил следующее:
· Отсутствие стоп-сигнала (W2_B=1);
· Сравнительно невысокие абсолютные балансовые показатели, связанные с долгом;
· Высокие показатели рентабельности и обслуживания долга
· Принадлежность к категории (по качественному фактору Q2), в которой компании редко становятся дефолтными.
SHAP
С помощью подхода SHAP, мы также можем получить ответ на вопрос «почему» был сделан именно такой прогноз для отдельного наблюдения .
Рассмотрим в качестве примера одного из заемщиков (График 17). Из графика видно, что существенный положительный вклад в предсказание был внесен факторами Other_4, Other5 и Debt_service_8 (суммарно 11.5), тогда как по показатель ликвидности Liquidity_1 снижает балл сразу на 7.6. Итоговый балл для данного заемщика составил 61, что говорит о невысокой «уверенности» модели относительно качества данного заемщика.
График 17. Пример декомпозиции прогноза с помощью SHAP.
Таким образом, мы показали, что для данной модели можно наглядно демонстрировать структуру полученного прогноза подобно тому, как это делалось для классической модели в разделе 3.1.
4. Результаты
В данном блоке мы сравним результаты прогнозирования по двум моделям: logit (классическая модель) и random forest. Как мы видим из таблицы 7, метод случайного леса показывает более высокий коэффициент Gini на 7.6 п.п., что говорит о несомненном превосходстве данной модели по критерию качества прогноза.
Таблица 7. Сравнение качества моделей на тестовой выборке
|
|
Классическая модель |
Random Forest |
|
|
Gini |
0.420 |
0.496 |
|
|
std |
0.007 |
0.006 |
Из графика 18 можно увидеть, что модель Random Forest показывает более высокий результат по определению плохих и хороших заемщиков для всех пороговых значений.
График 18. ROC-кривая для моделей
Рассмотрим теперь качество моделей в разрезе качественных характеристик на графиках 19-22.
График 19. Сравнение качества моделей в разрезе округов
График 20. Сравнение качества моделей в разрезе отраслей
График 21. Сравнение качества моделей в разрезе численности штата
График 22. Сравнение качества в разрезе годов
Для всех разрезов справедливо утверждение, что Random Forest дает более качественные предсказания по критерию Gini. Таким образом, мы увидели что метод случайного леса значительно превосходит по предсказательной способности классическую логистическую регрессию, традиционно используемую в данной задаче. Однако вряд ли такие результаты можно назвать неожиданными - ансамблевый метод должен был сработать лучше простого линейного (для данной задачи). Ключевым конечно же является то, что несмотря на сложность более эффективного с точки зрения предсказательной способности алгоритма, мы продемонстрировали возможности для его интерпретации, тем самым затмив основной плюс альтернативной модели (логистической регрессии), а именно ее интерпретируемость. Другими словами, для решения поставленной задачи мы использовали более сложный алгоритм, с более высокой предсказательной силой, при этом с не очень большими жертвами для интерпретации.
Заключение
В рамках данной работы мы увидели, что, как и отмечалось в разделе с обзором литературы, алгоритм прогнозирования вероятности дефолта, основанный на ансамбле деревьев имеет более высокую предсказательную силу, чем классическая логистическая регрессия. При этом важно отметить, что прирост в предсказательной способности за счет построения более сложной модели не повлек за собой существенных проблем с интерпретацией. Более того, мы успешно рассмотрели различные варианты объяснений как модели в целом, так и отдельно взятых предсказаний с помощью популярных на текущий момент методик.
Конечно, выводы и результаты полученные по результатам нашего анализа не претендуют на наличие прорывных научных идей, однако они имеют прямое практическое применение в реальном бизнесе, и именно в этом заключается главная ценность данной работы - повышение предсказательной способности модели, конвертируемое в рост ожидаемых прибылей для банков, которые станут ее использовать, а также демонстрация ее интерпретируемости, что обеспечит доверие к ней.
В части следующий шагов, можно выделить два основных направления.
Во-первых, расширение списка анализируемых факторов. Например, в данной работе игнорировались исполнительные производства, в частности участие заемщика в судебном процессе в качестве ответчика, или государственные тендеры, способные учитывать зависимость заемщиков от одного или нескольких заказчиков. Ожидается, что эти факторы способны сами по себе увеличить предсказательную силу модели, однако в рамках данной работы эту информацию собрать не удалось.
Во-вторых, в работе не было предложено последовательного подхода к интерпретации сложной модели. Поэтому в будущем было бы полезно иметь конкретный бизнес-процесс, связанный с объяснением предсказанных моделью значений. Данная идея не входила в цели работы, однако служит одной из отправных точек для дальнейшего анализа по заданной теме. При этом заявленные в работе цели были достигнуты в процессе ее написания.
Мы понимаем, что появление инструментов объяснения предсказаний сложных моделей вряд ли вытеснит в краткосрочной перспективе классические методы, однако данная работа позволяет сделать шаг в сторону автоматизированного подхода, основанного на современных и более эффективных прогнозных моделях, что в конечном итоге должно положительно отразиться на экономике.
Список литературы
1. Altman, Edward I. 1968. “Financial Ratios, Discriminant Analysis and the Prediction of Corporate Bankruptcy.” The journal of finance 23(4): 589-609.
2. Baesens, Bart et al. 2003. “Benchmarking State-of-the-Art Classification Algorithms for Credit Scoring.” Journal of the operational research society 54(6): 627-35.
3. Fernandes, Guilherme Barreto, and Rinaldo Artes. 2016. “Spatial Dependence in Credit Risk and Its Improvement in Credit Scoring.” European Journal of Operational Research 249(2): 517-24.
4. Friedman, Jerome H. 2001. “Greedy Function Approximation: A Gradient Boosting Machine.” Annals of statistics: 1189-1232.
5. Psillaki, Maria, Ioannis E Tsolas, and Dimitris Margaritis. 2010. “Evaluation of Credit Risk Based on Firm Performance.” European Journal of Operational Research 201(3): 873-81.
6. Shapley, Lloyd S. 1953. “A Value for N-Person Games.” Contributions to the Theory of Games 2(28): 307-17.
7. Tasche, Dirk. 2013. “The Art of Probability-of-Default Curve Calibration.” Journal of Credit Risk 9(4): 63-103.
8. Vasicek, Oldrich. 1977. “An Equilibrium Characterization of the Term Structure.” Journal of financial economics 5(2): 177-88.
9. Федеральный Закон “О Банках и Банковской Деятельности” От 02.12.1990 N 395-1 (Последняя Редакция).