Unexpected Improvements to Expected Improvement for Bayesian Optimization

Sebastian Ament; Samuel Daulton; David Eriksson; Maximilian Balandat; Eytan Bakshy

Source-linked AI summary

Unexpected Improvements to Expected Improvement for Bayesian Optimization

Sebastian Ament, Samuel Daulton, David Eriksson, Maximilian Balandat, Eytan Bakshy

arXiv:2310.20708v32023년 10월 31일cs.LGmath.NAstat.ML

TL;DR

이 논문은 EI 값과 gradient가 수치적으로 소실되어 improvement 기반 acquisition function을 최적화하기 어려워지는 문제를 다룬다. canonical optimum을 보존하거나 근사하면서 수치적 거동을 개선하는 LogEI reformulation을 제안하고, 다양한 acquisition variant와 benchmark에서 최적화 성능이 크게 향상됨을 보고한다. acquisition function을 신중하게 reformulation하면 Bayesian optimization 결과에 실질적인 영향을 줄 수 있지만, 성능 향상은 objective 구조와 surrogate 품질에 좌우된다고 결론짓는다.

문제
EI와 그 variant는 acquisition value와 gradient가 수치적으로 소실되는 경우가 많아, 일관되게 최적화하기 어렵다.
방법
LogEI는 analytic, constrained, hypervolume, noisy, parallel EI variant를 reformulation하여 각 canonical optimum을 보존하거나 근사적으로 보존하면서 수치적으로 더 안정적인 최적화 목적함수를 생성한다.
결과
LogEI variant는 추가적인 유의미한 계산 비용 없이 광범위한 benchmark에서 canonical analogue보다 성능이 크게 뛰어나며, 최근 방법과 대등하거나 이를 능가하는 경우가 많다.
시사점 및 한계
acquisition function의 수치적 최적화는 joint batch optimization을 포함한 Bayesian optimization 성능에 중요한 기여 요인이다.
시사점 및 한계
LogEI의 성능 향상은 높은 objective value의 집중도와 surrogate의 품질에 좌우되므로, 높은 차원성만으로 EI보다 개선된다고 보장할 수 없다.

Abstract

from arXiv · show

Expected Improvement (EI) is arguably the most popular acquisition function in Bayesian optimization and has found countless successful applications, but its performance is often exceeded by that of more recent methods. Notably, EI and its variants, including for the parallel and multi-objective settings, are challenging to optimize because their acquisition values vanish numerically in many regions. This difficulty generally increases as the number of observations, dimensionality of the search space, or the number of constraints grow, resulting in performance that is inconsistent across the literature and most often sub-optimal. Herein, we propose LogEI, a new family of acquisition functions whose members either have identical or approximately equal optima as their canonical counterparts, but are substantially easier to optimize numerically. We demonstrate that numerical pathologies manifest themselves in "classic" analytic EI, Expected Hypervolume Improvement (EHVI), as well as their constrained, noisy, and parallel variants, and propose corresponding reformulations that remedy these pathologies. Our empirical results show that members of the LogEI family of acquisition functions substantially improve on the optimization performance of their canonical counterparts and surprisingly, are on par with or exceed the performance of recent state-of-the-art acquisition functions, highlighting the understated role of numerical optimization in the literature.

1 서론

이 논문은 EI 값과 gradient가 수치적으로 소실되는 현상을 간과된 구현 문제로 규정하며, 이것이 gradient 기반 acquisition 최적화를 저해한다고 지적한다. 또한 canonical optimum을 유지하면서 EI 변형 전반의 수치적 최적화 용이성을 높이도록 설계된 LogEI reformulation을 제안한다.

동기: Bayesian optimization은 surrogate model과 acquisition function을 사용해 비용이 큰 black-box objective의 평가 지점을 선택한다.EI는 확립된 improvement 기반 acquisition function이며, constrained, noisy, multi-objective, batch setting 전반에서 표준 baseline으로 사용된다.
문제: 기존 연구는 EI 자체의 수치 계산보다 최적화 algorithm과 initialization strategy를 강조했다.
기여: LogEI는 canonical counterpart와 optimum이 동일하거나 거의 동일하면서도 수치적 최적화가 훨씬 쉬운 acquisition function들로 구성된다.analytic LogEI 변형은 수학적으로 EI와 동일한 Bayesian optimization policy를 산출한다.
기여: 이 reformulation은 analytic EI를 넘어, 소실되지 않는 gradient를 생성하는 smooth approximation을 사용해 constrained, hypervolume, parallel acquisition function으로 확장된다.제안된 family에는 CEI, EHVI, qEI, qEHVI 변형이 포함된다.
기여: LogEI 변형은 유의미한 추가 computational cost 없이 canonical analogue를 크게 능가하며, 최근 method와 대등하거나 이를 넘어서는 경우가 많다.
문제: EI 값과 gradient는 domain의 상당 부분에서 수치적으로 0이 될 수 있어 gradient 기반 최적화를 무력화한다.관측 수와 dimensionality가 증가할수록 문제가 악화되며, improvement likelihood가 incumbent에 비해 작아지기 때문에 발생한다.

2 배경

이 논문은 Bayesian optimization의 surrogate, improvement 기반 acquisition function, 그리고 이를 최대화하는 데 사용되는 비볼록 최적화 절차를 검토한다. 병렬 acquisition 최적화는 탐색 차원을 확장하고 최적화 지형을 복잡하게 만들기 때문에 더 어렵다는 점을 강조한다.

Bayesian optimization: Bayesian optimization은 후보 평가의 가치를 정하는 probabilistic surrogate와 acquisition function을 결합한다.목적 함수는 multi-objective optimization을 위해 여러 출력을 가질 수 있으며, black-box constraint를 포함할 수도 있다.
Surrogate models: Gaussian processes는 data efficiency와 uncertainty quantification을 제공하기 때문에 Bayesian optimization surrogate로 널리 사용된다.설정에 따라 예측 출력은 multivariate 또는 univariate Normal distribution으로 모델링된다.
Improvement 기반 acquisition function: Classic EI는 지금까지 관측된 최상의 함수값인 incumbent를 넘어서는 expected positive improvement를 측정한다.폐형식 표현은 standard Normal density와 distribution function을 사용한다.
Acquisition 변형: Constrained EI는 improvement에 constraint feasibility를 가중하고, EHVI는 reference point에 상대적인 Pareto-front hypervolume의 expected improvement를 측정한다.Conditional independence를 가정하면 constrained EI는 EI와 probability of feasibility의 곱으로 단순화된다.
Parallel acquisition function: Parallel EI는 후보를 batch로 평가하며 일반적으로 폐형식 표현 대신 Monte Carlo 계산을 필요로 한다.Monte Carlo sample은 joint posterior에서 추출되며, batch optimization은 d가 아니라 qd 차원에서 수행된다.
Acquisition function 최적화: Acquisition optimization은 non-convex이므로 실제로는 gradient-free, evolutionary, first-order, second-order, multi-start 방법을 사용한다.이 논문은 연속 domain에서 gradient-based optimization이 더 빠르고 성능도 높은 경우가 많기 때문에 이를 중점적으로 다룬다.
관련 연구: 기존 연구는 acquisition function 자체의 numerical degeneracies를 다루지 않은 채 acquisition-function 변형이나 초기화 및 최적화 방법을 주로 제안했다.이 논문은 이러한 pathology를 ill-conditioned covariance-matrix 문제와 구별한다.

3 Expected Improvement의 소실 그래디언트에 대한 이론적 분석

이론적 분석은 EI에서 수치적으로 소실되는 그래디언트가 언제 발생하는지 규명한다. 이러한 현상을 최적성 격차의 축소 및 최적화 진행에 따른 surrogate 불확실성의 감소와 연결한다.

그래디언트 소실 조건: 최적성 격차가 줄어들고 posterior 불확실성이 감소할수록 EI에서 수치적으로 소실되는 그래디언트가 나타날 가능성이 커진다.
이론적 결과: Theorem 1은 sampled objective가 f∗−ϵ_n보다 작은 영역을 사용해 standardized improvement argument가 임계값 아래로 떨어질 확률을 bound한다.
이론적 결과: 임계값 항 ϵ_n은 최적성 격차와 최대 사후 불확실성에 의존한다.이 정리는 Gaussian process prior에서 추출된 objective functions에 대해 높은 확률로 성립하는 명제도 제공한다.
해석: 초기에는 최적성 격차와 최대 posterior standard deviation이 모두 클 수 있으므로 ϵ_n이 작을 필요는 없다.기술적 kernel 및 training-data 조건하에서는 관측 수가 증가함에 따라 최대 사후 분산이 결국 소실된다.

4 예상 밖의 개선

이 논문은 수치적으로 소실되는 값과 gradient를 방지하기 위해 안정적인 평가와 smooth approximation을 사용하여 analytic 및 Monte Carlo improvement 기반 acquisition function을 log-space에서 재정식화한다. 이러한 재정식화는 동일하거나 거의 동일한 최적점을 유지하면서 constrained 및 hypervolume 기반 변형으로 확장된다.

Analytic LogEI: Analytic LogEI는 순진한 구현에서 수치적으로 0이 되는 입력 전반에서 expected improvement의 logarithm을 안정적으로 계산한다.이 재정식화는 log_h((µ(x) − y*)/σ(x)) + log(σ(x))를 사용하며, log_h는 수학적으로 log ◦h와 동치다.
Analytic LogEI: 매우 음수인 standardized improvement를 점근적으로 처리하면 수치 안정성이 보장되고, gradient-based optimization에 적합한 점근적 quadratic behavior가 생성된다.이 구현은 이전의 log-transformed EI 구현보다 하나 많은 세 번째 점근적 경우를 추가하여 z가 음수가 될 때의 불안정성을 다룬다.
Monte Carlo Parallel LogEI: qLogEI는 positive-part improvement와 batch maximum을 smooth하게 만든 뒤, 그 결과로 얻은 strictly positive quantities를 log-space로 변환하여 효과적으로 최적화한다.두 단계에서 각각 [ξi(xj) − y*]+를 softplus로 근사하고, batch candidate 간 maximum을 p-norm으로 근사한다.
Monte Carlo Parallel LogEI: qEI에 대한 qLogEI의 approximation error는 smoothing temperature와 batch size의 함수로 bound할 수 있다.논문은 τ0, τmax > 0에 대한 relative approximation guarantee를 제시한다.
Monte Carlo Parallel LogEI: 우수한 qLogEI optimization을 위해서는 낮은 smoothing temperature가 필요하며, log-space computation을 사용하면 gradient가 수치적으로 소실되지 않으면서 이러한 temperature를 적용할 수 있다.log transformation이 없으면 smooth approximation은 discrete maximum에서 발생하는 수치적 gradient 소실을 그대로 물려받는다.
확장: LogEI의 아이디어는 안정적인 log evaluation과 constraint indicator 및 hypervolume 연산의 smooth approximation을 결합하여 constrained EI와 EHVI 변형으로 확장된다.Analytic constrained EI는 안정적인 log constraint probability를 추가하고, qEHVI는 미분 가능한 inclusion-exclusion formulation 내부에서 smoothing과 log transformation을 사용한다.

5 실증 결과

순차적, 제약, 병렬 및 고차원 Bayesian optimization 벤치마크 전반에서 LogEI 변형은 일반적으로 기존 EI 기반 방법보다 더 효과적으로 최적화되며, 더 어렵거나 고차원인 설정에서 이러한 향상이 커지는 경우가 많다. 또한 joint batch optimization과 qLogEHVI는 문제에 따라 성능 향상 정도가 다르지만, 기존 대안들과 경쟁력 있는 성능을 보이거나 이를 능가할 수 있다.

단일 목적 순차 BO: LogEI는 Ackley와 Michalewicz에서 EI와 GIBBON을 크게 능가하며, 차원이 증가할수록 성능 격차가 커진다.Ackley에서는 JES가 LogEI보다 약간 더 우수하지만, Michalewicz에서는 실패하며 다른 acquisition function보다 거의 두 자릿수 배 느리다.
Black Box Constraints를 포함한 BO: LogCEI는 네 가지 제약 공학 설계 문제에서 naive CEI보다 우수하고 SCBO보다 더 빠르게 수렴한다.CEI 대비 향상은 문제의 차원과 제약 조건 수가 증가할수록 커지며, 일부 결과는 세 자릿수만큼 적은 function evaluation으로 인용된 문헌 결과를 개선한다.
qLogEI를 이용한 병렬 Expected Improvement: qLogEI는 qEI보다 병렬 최적화를 개선하며, batch candidate를 joint optimization하면 순차적 greedy optimization을 능가할 수 있다.비교에는 batch size를 달리한 16차원 Ackley function이 사용된다.
qLogEI를 이용한 고차원 BO: qLogEI는 세 가지 고차원 문제에서 서로 다른 수준의 향상을 보이며, embedded Hartmann에서는 유의미한 향상이 나타나지만 SVM이나 Rover에서는 나타나지 않는다.embedded Hartmann에서 qLogEI는 canonical-GP BO model이 결국 SAAS-prior-equipped model을 따라잡도록 한다.
qLogEHVI를 이용한 Multi-Objective optimization: qLogEHVI는 두 가지 multi-objective 문제에서 batch size 전반에 걸쳐 qEHVI와 JES를 일관되게 능가한다.DTLZ2의 가장 큰 batch size에서는 qLogNEHVI가 다른 방법보다 늦게 향상되지만, 이후 batch에서 이들의 성능을 압도한다.

6 논의

LogEI의 이점은 문제와 surrogate에 따라 달라진다. 개선 효과는 높은 objective 값의 집중도와 연관되며, 늦게 나타나거나 작게 나타날 수 있고, 예측이 부정확하면 사라질 수 있다.

문제 차원성에 관하여: LogEI의 장점은 차원성 자체가 아니라 높은 objective 값의 집중도에 따라 커진다. ambient dimensionality는 높지만 intrinsic dimensionality가 낮은 경우 EI 대비 개선 효과가 거의 없을 수 있다.Figure 6의 SVM 문제를 그 예로 제시한다.
qLogEHVI를 사용한 Multi-Objective optimization: 두 multi-objective 문제에서 qLogEHVI는 batch size 전반에 걸쳐 qEHVI와 JES를 일관되게 능가한다. 다만 DTLZ2의 가장 큰 batch에서는 qLogNEHVI의 개선 효과가 더 늦게 나타난다.비교에는 관측된 Pareto frontier의 hypervolume을 사용한다.
점근적 개선에 관하여: LogEI는 최적화 성능을 조금만 향상시키거나, 개선 효과가 더 늦은 iteration에서 나타날 수 있다.예로 convex 10D sum of squares에서의 log-objective 결과와 DTLZ2에서의 q = 16을 들 수 있다.
모델 품질에 관하여: surrogate의 예측이 부정확하거나 uncertainty가 유익한 정보를 제공하지 못하면, 더 나은 acquisition value가 Bayesian optimization 성능을 향상시키지 못할 수 있다.논문은 Figure 6의 Rover를 그 예로 든다.
EI 교체: 저자들은 EI 변형을 LogEI 대응물로 교체할 것을 강하게 제안하면서, EI의 우세가 EI family 전반의 더 광범위한 sub-optimality를 시사할 수 있다고 지적한다.저자들은 해당 사례의 이러한 이득을 무작위로 분포한 candidate가 지닌 탐색적 품질에 기인한다고 설명한다.

7 결론

이 논문은 improvement 기반 acquisition function을 위한 수치적으로 안정적인 LogEI reformulation을 개발하고, 이를 통해 canonical optimum을 보존하거나 근사하면서 optimization을 개선한다는 점을 보인다. 분석은 점근적 regime와 batch variant를 포함한 analytic 및 Monte Carlo 설정을 다룬다.

결론: 수정된 EI variant 전반에서 신중한 reformulation은 optimization을 크게 개선하고 취약한 초기화에 대한 의존성을 줄이며 계산 복잡성을 유의미하게 증가시키지 않는다.결과는 joint batch optimization이 sequential greedy selection과 경쟁할 수 있고, 때로는 이를 능가하기도 함을 보인다.
안정적인 analytic LogEI: analytic 구현은 logarithm을 인수분해하고 erfcx, log1mexp, expm1, log1p를 수치적으로 안정적인 계산에 사용함으로써 안정화된다.이 구현은 negative-z regime에서의 cancellation과 underflow를 해결한다.
Acquisition Value의 수치적 연구: Naïve analytic EI는 moderately negative z에서 정확히 0이 되는 반면, log_h 구현은 numerical optimization에 적합한 quadratic asymptotic behavior를 유지한다.여기서 z = (µ(x) − f*)/σ(x)이다.
Optimizer의 동치성: LogEI는 maximum EI가 positive일 때 EI의 maximizer를 보존하면서 acquisition optimization을 방해하는 수치적 소실을 피한다.EI가 모든 지점에서 0이면 두 policy 모두 모든 지점을 maximizer로 취급하지만, LogEI는 정의되지 않는다.
점근적 계산: 더 큰 negative z에서는 제안 방법이 Laurent expansion을 사용해 analytic LogEI 계산에서 문제가 되는 마지막 항을 안정화한다.이 expansion은 기존의 robust branch와 구현에서 발생한 실패에 동기를 얻은 asymptotic computation에 사용된다.
관련 구현: 기존 대안은 stability를 개선하지만 한계를 유지한다. RoBO는 large negative z에서 여전히 불안정할 수 있고, HEBO의 approximation은 Gaussian normalization constant를 생략하며 z = −6에서 discontinuity를 갖는다.제안 구현은 non-asymptotic regime에서 exact하고, 점근적으로는 numerical precision까지 정확하다.
Monte Carlo LogEI: Monte Carlo variant에서는 계산을 log space로 변환하기 전에 0값 utility와 candidate maximum을 smooth한다.Softplus와 norm approximation은 temperature로 제어되는 approximation error를 도입하는 반면, stable log-softplus는 넓은 input range를 처리한다.

A.4 더 큰 배치를 위한 fat tail을 갖는 smooth approximation 계열

이 절에서는 exponential decay를 polynomial decay로 대체하는 fat-tailed smooth approximation을 소개한다. 이를 통해 유용한 approximation 특성을 유지하면서 더 큰 배치에서 수치적 거동을 개선한다.

동기: ReLU, maximum, indicator function에 대한 polynomially decaying approximation은 batch acquisition function에서 수치적 문제를 일으키는 dynamic range를 줄인다.제안된 tail은 x → −∞에서 exponential decay 대신 O(1/x^2)로 감소한다.
Fat Softplus: fat softplus는 positivity, monotonicity, convexity와 max(x, 0)에 대한 tight approximation을 보존한다.Figure 11은 temperature τ0 = 0.01을 사용한다.
Fat Maximum: fat maximum은 double precision에서 batch range가 대략 760을 초과할 때 vanishing gradient 문제를 해결한다.logsumexp에서는 maximum보다 훨씬 작은 원소일수록 수치적으로 0인 gradient를 받을 가능성이 커진다.
Fat Sigmoid: fat sigmoid는 constraint indicator에 대한 positive하고 monotonic한 approximation을 제공하며, negative input에 대해 O(1/x^2)로 감소한다.temperature parameter τ는 원점에서 떨어진 영역에서 Heaviside step function에 대한 pointwise tightness를 조절한다.
Acquisition Extension: 동일한 수치적 reformulation은 logarithm을 취하기 전에 improvement, batch maximum, constraint indicator를 smooth함으로써 noisy EI와 parallel EHVI로 확장된다.qLogNEI에서는 qLogEI와 달리 scalar incumbent를 sample-specific incumbent vector로 대체한다.

C 증명

이 절에서는 smooth 및 fat-tailed 구성에 대한 근사 보장을 확립하며, LogEI 변형과 canonical acquisition function을 연결하는 bound를 포함한다.

정리 1: 정리 1은 특정 지점의 posterior 통계량이 아니라 optimality gap과 maximal posterior standard deviation를 사용해 관련 acquisition-function quantity를 bound한다.이 bound는 probability 1 − δ에서 성립한다.
qLogEI 보장: qEI에 대한 qLogEI의 approximation error는 positive smoothing temperature τ0 및 τmax에 대해 bound된다.이 결과는 relative approximation guarantee로 제시된다.
Softplus 근사: Softplusτ는 infinity-norm error log(2)τ로 ReLU를 근사한다.이 근사는 모든 곳에서 ReLU보다 크며, 점근적으로 ReLU에 수렴한다.
Fat-Tailed 보장: Fat-tailed nonlinearity에 대한 approximation guarantee는 유사한 논증으로 도출할 수 있다.

D.1 실험 세부사항

실험은 BoTorch 구현을 사용하며, 표준화된 모델링 설정하에서 반복 시뮬레이션을 수행해 canonical, proposed, recent acquisition function을 비교한다.

실험 설정: 모든 시뮬레이션은 32회 replicate를 사용하며, 오차 막대는 평균의 ±2 standard error를 나타낸다.실험에는 automatic relevance determination이 적용된 Matérn-5/2 kernel을 사용한다.

D.2 소실되는 값과 gradient에 관한 추가 실증 결과

추가 실험은 현실적인 BO 설정에서 acquisition value와 gradient가 소실됨을 보여주며, LogEI 변형들은 parallel, noisy, multi-objective, high-dimensional 문제 전반에서 최적화를 개선한다.

소실되는 값과 gradient: 대부분의 test point에서 잘 calibration된 model의 mean prediction은 incumbent로부터 many standard deviations만큼 떨어져 있어 EI value와 gradient가 수치적으로 소실된다.이 replicate는 60개의 training point와 무작위로 선택한 50개의 test point를 사용한다.
Parallel optimization: qLogEI는 16-dimensional Ackley에서 qEI보다 우수하며, batch size가 증가할수록 joint batch optimization은 Levy에서 점점 더 경쟁력 있는 성능을 보인다.
Noisy optimization: 차원 수와 noise가 증가할수록 qLogNEI는 canonical noisy-EI counterpart보다 향상된 성능을 보인다.benchmark는 Hartmann 6d, Ackley 8d, Ackley 16d를 포함한다.
Multi-objective optimization: qLogEHVI는 6개의 multi-objective test problem 전반에서 일관되게 qEHVI보다 우수하며, 더 높은 차원에서는 격차가 커진다.문제들은 2–3개의 objective와 2–30개의 dimension을 포괄하며, real-world-inspired task 3개를 포함한다.
High-dimensional optimization: TuRBO-1을 LogEI와 결합하면 evaluation이 적은 50-dimensional Ackley에서 performance가 substantially improves되지만, Thompson sampling은 결국 더 나은 성능을 보인다.qLogEI를 사용한 joint q = 50 optimization은 좋은 performance를 위해 random restart가 필요하지 않다.

D.7 제약 문제

LogEI는 제약이 있는 설계 문제에서 강한 sample-efficient 성능을 보였으며, 훨씬 적은 평가만으로 pressure vessel design의 문헌 결과를 능가했다. 나머지 문제에서도 성능은 경쟁력 있었지만 일관되게 더 우수하지는 않았다.

압력 용기 설계: 110회 평가 후 LogEI가 찾은 pressure-vessel 목적함수의 최적 feasible 값은 5651.8862로, 문헌에 인용된 최선의 경우인 6059.946341보다 우수했다.16회 실행에서 최악의 feasible 목적함수 값은 5659.1108이었으며, 비교 연구보다 평가 횟수는 거의 세 자릿수 배 적었다.
용접 빔: 110회 평가 후 LogEI의 최적 welded-beam 목적함수 값은 1.7496으로, Coello and Montes의 1.728226과 비교된다.평가 횟수는 세 자릿수 배 적었음에도 결과는 소폭 더 나빴다.
인장-압축: 110회 평가 후 LogEI가 찾은 feasible tension-compression 값은 0.0129로, 문헌에 보고된 0.012681과 비교된다.보고된 LogEI 값은 비교 값보다 소폭 높았다.
평가 예산: 이 결과는 Bayesian optimization이 sample budget의 tiny fraction만 사용하면서 genetic algorithm과 경쟁하거나 이를 능가할 수 있음을 보여준다.이 논문은 물리 시스템에서 sample efficiency가 특히 중요하다고 강조한다.

D.8 배치 간 제약이 있는 병렬 Bayesian Optimization

이 절에서는 배치 원소들이 총 자원 제약을 공유하는 병렬 Bayesian optimization을 은 나노입자 합성 문제의 constrained surrogate를 사용해 연구한다. 명시적 제약을 포함해 공동 최적화한 qLogEI가 추가적인 성능 향상을 제공했으며, 초기화와 수치 안정성 설정도 최적화 거동에 영향을 미쳤다.

문제 설정: 은 나노입자 합성 과제에서는 네 가지 성분 유량비와 총 유량 Qtot를 포함한 다섯 개 파라미터에 대해 흡광 스펙트럼 점수를 최적화한다.연속 surrogate는 음의 loss에 RBF interpolator를 적용해 실험 데이터셋으로부터 적합했다.
문제 설정: 각 syringe가 최대 1000µL/min만 공급할 수 있으므로, 배치 간 제약은 총 유량 Qmax_tot를 제한한다.이 제약은 모든 배치 원소가 동시에 고유량 영역에서 작동하는 것을 방지한다.
결과: 적절한 batch-constrained optimization을 적용한 qLogEI는 동일한 제약 처리에서 qEI보다 우수했지만, random-Qtot heuristic을 사용한 경우에는 qLogEI가 qEI보다 우수하지 않았다.이 비교는 LogEI와 공동 제약 인식 batch optimization이 모두 추가 성능 향상에 기여했음을 보여준다.
실험 설계: 실험에서는 batch size q = 3, 다섯 개의 무작위 시작점, 75회 반복, 그리고 baseline으로서 uniform random sampling을 사용했다.오차 막대는 평균의 ± 두 표준오차를 나타내며, 방법 간에 동일한 무작위 초기 조건을 공유했다.
실험 설계: qEI와 qLogEI는 각각 명시적 batch constraints를 적용한 경우와, 총 유량을 먼저 샘플링한 뒤 이를 고정하고 최적화하는 heuristic을 적용한 경우에 대해 평가했다.명시적 optimizer에는 scipy의 SLSQP solver를 사용했으며, heuristic은 constraint set에서 유량을 균일하게 샘플링했다.
결과: 이 연구는 heuristic과 적절한 제약 최적화가 모두 순수 무작위 baseline보다 크게 우수했다고 보고한다.다른 조합보다 추가적인 향상을 얻으려면 LogEI를 적절한 제약 및 공동 batch optimization과 함께 사용해야 했다.
수치 및 초기화 민감도: softplus operator의 더 작은 고정 τ 값은 Ackley 및 sum-of-squares ablation 문제에서 대체로 최적화 성능을 향상시켰다.모든 계산을 log-space로 변환했기 때문에 τ0를 10^-6까지 낮게 선택할 수 있었다.
수치 및 초기화 민감도: BoTorch의 Boltzmann initialization은 1024개의 초기 후보를 사용했으며, uniformly random restart points와 비교해 모든 경우의 regret를 향상시켰다.이 figure는 16차원 Ackley 및 Levy 문제에서 초기화 전략과 multi-start points 수에 대한 민감도도 검토한다. 더 높은 음의 regret가 더 좋다.