Сурогатна модель
Сурогатна модель — це інженерний метод, який використовується, коли результат, що цікавить, неможливо легко виміряти або обчислити, тому замість цього використовується приблизна математична модель результату. Більшість задач інженерного проєктування вимагають експериментів та/або моделювання для оцінки функцій цілей проєктування та обмежень як функції конструктивних змінних. Наприклад, щоб знайти оптимальну форму аеродинамічного профілю для крила літака, інженер моделює повітряний потік навколо крила для різних змінних форми (наприклад, довжини, кривизни, матеріалу тощо). Однак для багатьох реальних задач одне моделювання може зайняти багато хвилин, годин або навіть днів. В результаті, такі рутинні завдання, як оптимізація проєкту, дослідження простору проєкту, аналіз чутливості та аналіз «що, якщо», стають неможливими, оскільки вони вимагають тисяч або навіть мільйонів оцінок моделювання.
Один із способів полегшити це навантаження — це побудова апроксимаційних моделей, відомих як сурогатні моделі, метамоделі або емулятори, які максимально точно імітують поведінку симуляційної моделі, водночас обчислювально дешевші для оцінки. Сурогатні моделі будуються з використанням підходу «знизу вгору», керованого даними. Точна внутрішня робота коду симуляції не вважається відомою (або навіть зрозумілою), спираючись виключно на поведінку вхідних і вихідних даних. Модель будується на основі моделювання реакції симулятора на обмежену кількість інтелектуально вибраних точок даних. Цей підхід також відомий як поведінкове моделювання або моделювання чорної скриньки, хоча термінологія не завжди є послідовною. Коли залучена лише одна проєктна змінна, процес відомий як апроксимація кривої.
Хоча використання сурогатних моделей замість експериментів та симуляцій в інженерному проєктуванні є більш поширеним, сурогатне моделювання може використовуватися в багатьох інших галузях науки, де є дорогі експерименти та/або оцінки функцій.
Наукова проблема сурогатного моделювання полягає в створенні сурогату, який є максимально точним, використовуючи якомога менше оцінок симуляції. Процес складається з трьох основних кроків, які можуть чергуватися ітеративно:
- Вибір вибірки (також відомий як послідовне проєктування, оптимальне планування експерименту (ОЕД) або активне навчання)
- Побудова сурогатної моделі та оптимізація параметрів моделі (тобто компроміс між зміщенням та дисперсією)
- Оцінка точності сурогату.
Точність сурогату залежить від кількості та розташування вибірок (дорогих експериментів або симуляцій) у просторі проєктування. Різні методи проєктування експериментів (DOE) враховують різні джерела помилок, зокрема помилки, спричинені шумом у даних або помилками, спричиненими неправильною сурогатною моделлю.
Популярні підходи до моделювання сурогатів: поліноміальні поверхні відгуку; кригінг; більш узагальнені баєсівські підходи;[1] градієнтно-покращений кригінг (GEK); радіальна базисна функція; метод опорних векторів; просторове відображення;[2] штучні нейронні мережі та баєсівські мережі.[3] Інші методи, нещодавно досліджені, включають моделювання сурогатів Фур'є[4][5] та Random forest.[6]
Для деяких задач природа істинної функції апріорі не відома, і тому незрозуміло, яка сурогатна модель буде найточнішою. Крім того, немає єдиної думки щодо того, як отримати найнадійніші оцінки точності заданого сурогату. Багато інших задач мають відомі фізичні властивості. У цих випадках зазвичай використовуються фізичні сурогати, такі як моделі на основі просторового відображення.[2][7]
Нещодавно запропоновані сурогатні моделі на основі порівняння (наприклад, методи опорних векторів) для еволюційних алгоритмів, таких як CMA-ES, дозволяють зберегти деякі властивості інваріантності оптимізаторів, що допомагають сурогати:[8]
Інваріантність відносно монотонних перетворень функції (масштабування) Інваріантність відносно ортогональних перетворень простору пошуку (обертання)
Можна провести важливу різницю між двома різними застосуваннями сурогатних моделей: оптимізація проєктування та апроксимація простору проєктування (також відома як емуляція).
В оптимізації на основі сурогатної моделі початковий сурогат будується з використанням деяких доступних бюджетів дорогих експериментів та/або симуляцій. Решта експериментів/симуляцій проводяться для проєктів, які, за прогнозами сурогатної моделі, можуть мати багатообіцяльні результати. Процес зазвичай має форму наступної процедури пошуку/оновлення.
- Початковий вибір вибірки (експерименти та/або симуляції, які будуть проведені)
- Побудова сурогатної моделі
- Пошук сурогатної моделі (модель можна шукати ретельно, наприклад, за допомогою генетичного алгоритму, оскільки її оцінка дешева)
- Запуск та оновлення експерименту/моделювання в новому місці (місцях), знайденому за допомогою пошуку, та додавання до вибірки
- Повторення кроків з 2 по 4 до закінчення часу або доки дизайн не стане «достатньо хорошим».
Залежно від типу використаного сурогату та складності проблеми, процес може сходитися до локального або глобального оптимуму, або, можливо, взагалі не сходитися до жодного.[9]
У наближенні простору проєктування зацікавлений не в пошуку оптимального вектора параметрів, а радше в глобальній поведінці системи. Тут сурогат налаштовується так, щоб максимально точно імітувати базову модель у всьому просторі проєктування. Такі сурогати є корисним і дешевим способом отримати уявлення про глобальну поведінку системи. Оптимізація все ще може відбуватися як крок постобробки, хоча без процедури оновлення (див. вище) знайдений оптимум не може бути перевірений.
Інструментарій сурогатного моделювання (SMT: https://github.com/SMTorg/smt) – це пакет Python, який містить колекцію методів сурогатного моделювання, методів вибірки та функцій бенчмаркінгу. Цей пакет надає бібліотеку сурогатних моделей, яка проста у використанні та полегшує реалізацію додаткових методів. SMT відрізняється від існуючих бібліотек сурогатного моделювання своїм акцентом на похідних, включаючи навчальні похідні, що використовуються для градієнтно-покращеного моделювання, прогнозні похідні та похідні відносно навчальних даних. Він також включає нові сурогатні моделі, які недоступні в інших місцях: кригінг за допомогою методу часткових найменших квадратів та мінімізуючу енергію сплайн-інтерполяцію.[10]
Бібліотека Python SAMBO Optimization підтримує послідовну оптимізацію з довільними моделями, з вбудованими моделями на основі дерев та моделями Гауссових процесів.[11]
Surrogates.jl — це пакет Julia, який пропонує такі інструменти, як випадкові ліси, радіально-базисні методи та кригінг.
- ↑ Ranftl, Sascha; von der Linden, Wolfgang (13 листопада 2021). Bayesian Surrogate Analysis and Uncertainty Propagation. Physical Sciences Forum. 3 (1): 6. arXiv:2101.04038. doi:10.3390/psf2021003006. ISSN 2673-9984.
- ↑ а б Bandler, J.W.; Cheng, Q.S.; Dakroury, S.A.; Mohamed, A.S.; Bakr, M.H.; Madsen, K.; Sondergaard, J. (2004). Space Mapping: The State of the Art. IEEE Transactions on Microwave Theory and Techniques. 52 (1): 337—361. Bibcode:2004ITMTT..52..337B. doi:10.1109/TMTT.2003.820904.
- ↑ Cardenas, IC (2019). On the use of Bayesian networks as a meta-modeling approach to analyse uncertainties in slope stability analysis. Georisk: Assessment and Management of Risk for Engineered Systems and Geohazards. 13 (1): 53—65. Bibcode:2019GAMRE..13...53C. doi:10.1080/17499518.2018.1498524. S2CID 216590427.
- ↑ Manzoni, Luca; Papetti, Daniele M.; Cazzaniga, Paolo; Spolaor, Simone; Mauri, Giancarlo; Besozzi, Daniela; Nobile, Marco S. (2020). Surfing on Fitness Landscapes: A Boost on Optimization by Fourier Surrogate Modeling. Entropy. 22 (3): 285. Bibcode:2020Entrp..22..285M. doi:10.3390/e22030285. PMC 7516743. PMID 33286059.
- ↑ Bliek, Laurens; Verstraete, Hans R. G. W.; Verhaegen, Michel; Wahls, Sander (2018). Online Optimization with Costly and Noisy Measurements Using Random Fourier Expansions. IEEE Transactions on Neural Networks and Learning Systems. 29 (1): 167—182. arXiv:1603.09620. Bibcode:2018ITNNL..29..167B. doi:10.1109/TNNLS.2016.2615134. PMID 27831891.
- ↑ Dasari, S.K.; P. Andersson; A. Cheddad (2019). Random Forest Surrogate Models to Support Design Space Exploration in Aerospace Use-Case. Artificial Intelligence Applications and Innovations (AIAI 2019). Springer. с. 532—544. Процитовано 2 червня 2019.
- ↑ Rayas-Sanchez, Jose E. (2016). Power in Simplicity with ASM: Tracing the Aggressive Space Mapping Algorithm over Two Decades of Development and Engineering Applications. IEEE Microwave Magazine. 17 (4): 64—76. doi:10.1109/MMM.2015.2514188. hdl:11117/5948.
- ↑ Loshchilov, I.; M. Schoenauer; M. Sebag (2010). Comparison-Based Optimizers Need Comparison-Based Surrogates (PDF). Parallel Problem Solving from Nature (PPSN XI). Springer. с. 364—1373.
- ↑ Jones, D. R. (2001). A taxonomy of global optimization methods based on response surfaces (PDF). Journal of Global Optimization. 21 (4): 345—383. doi:10.1023/A:1012771025575.
- ↑ Bouhlel, M.A.; Hwang, J.H.; Bartoli, Nathalie; Lafage, R.; Morlier, J.; Martins, J.R.R.A. (2019). A Python surrogate modeling framework with derivatives. Advances in Engineering Software. 135 102662. doi:10.1016/j.advengsoft.2019.03.005. S2CID 128324330.
- ↑ Kernc (2024), SAMBO: Sequential And Model-Based Optimization: Efficient global optimization in Python, doi:10.5281/zenodo.14461363
