Unexpected Improvements to Expected Improvement for Bayesian Optimization

동기

• Bayesian optimization은 확률적 surrogate와 acquisition function을 결합해 비용이 큰 black-box objective에 대한 query를 선택하며, aerospace, biology, materials science, civil engineering, machine learning을 비롯한 분야에서 사용된다 [26].응용 분야로는 aerospace engineering, biology and medicine, materials science, civil engineering [4], machine-learning hyperparameter optimization [68]이 있다.출처: §1 · p. 1

기여

• LogEI는 expected improvement를 reformulate해 그 optimum이 canonical EI optimum과 동일하거나 근사적으로 같도록 하면서도 수치적으로 훨씬 쉽게 최적화할 수 있게 한다.analytic LogEI variant는 EI와 동일한 Bayesian-optimization policy를 산출하면서도 경험적으로 optimization performance를 개선한다.출처: Contributions · p. 2

확장

• LogEI 접근법은 non-vanishing gradients를 제공하는 smooth utility approximation을 사용해 CEI, EHVI, qEI, qEHVI로 확장된다.이렇게 얻은 방법들은 BoTorch [6]에서 사용할 수 있다.출처: Contributions · p. 2

결과

• 제안된 acquisition function은 광범위한 benchmark에서 canonical analogue를 substantially outperform하며, 의미 있는 추가 computational cost 없이 최근 방법과 대등하거나 이를 능가하는 경우가 많다.이 reformulation은 EI computation 자체보다는 optimization algorithm과 initialization strategy를 통해 주로 다루어졌던 numerical pathology를 해결하는 것을 목표로 한다.출처: Contributions · p. 2, §1 · p. 2

동기

• Acquisition optimization은 일반적으로 많은 local maximum을 갖는 non-convex 문제이므로, 특히 고차원에서는 continuous domain에서 gradient-based method가 대체로 선호된다.여러 starting point를 사용하면 local-optimum trap의 위험을 줄일 수 있지만, 더 많은 data가 incumbent를 개선할 가능성을 낮추면서 improvement 기반 acquisition optimization은 더 어려워진다.출처: Motivation · pp. 2–3
• EI value와 gradient는 domain의 넓은 영역에서 수치적으로 0이 되는 경우가 많아, observation이 누적될수록 gradient-based acquisition optimization이 극도로 어려워진다.Gaussian posterior에서 EI는 이전의 noiseless observation과 완벽하게 상관된 지점을 제외하면 수학적으로 영이 아니지만, floating-point 계산에서는 정확히 영이 될 수 있다.출처: Motivation · pp. 2–3

Bayesian Optimization

• Bayesian optimization은 비용이 크고 잡음이 있는 black-box function을 대상으로 하며, 후보 batch의 출력 분포를 예측하는 surrogate와 선택을 유도하는 acquisition function을 사용한다.목적 함수는 multiple objective를 위한 multiple output이나 black-box constraint를 가질 수 있다.출처: §2 · p. 3

Surrogate Models

• Gaussian Processes 는 불확실성 정량화와 multivariate Normal 출력 분포를 갖춘 data-efficient prediction을 제공하므로 Bayesian optimization에서 널리 사용되는 surrogate다.순차적 single-outcome 경우 posterior는 평균 µ(x)와 분산 σ^2(x)를 갖는 univariate Normal이다.출처: §2.1 · p. 3

Acquisition Optimization

• Acquisition function 최적화는 non-convex이며, batch optimization이 차원을 d에서 qd로 늘리고 optimization surface를 복잡하게 만들기 때문에 parallel acquisition function은 더욱 어렵다.일반적인 접근법으로는 gradient-free, evolutionary, first-order, quasi-second-order, multi-start method가 있으며, greedy sequential selection은 parallel optimization을 단순화할 수 있다.출처: §2.3 · p. 4

Related Work

• 기존 연구는 많은 acquisition function과 initialization strategy를 도입했지만, 이를 효과적으로 구현하고 최적화하는 문제나 improvement-based acquisition에 특유한 수치적 난점에는 상대적으로 적은 관심을 기울였다.McLeod et al. [59]가 논의한 covariance-matrix 문제는 improvement-based numerical pathology와는 별개의 문제로 설명된다.출처: §2.4 · p. 5

소실하는 gradient의 조건

• 최적성 격차 f*−y*와 posterior uncertainty가 감소하면 EI는 수치적으로 소실하는 gradient를 보일 가능성이 매우 높다.이는 Figure 1에 나타난 병리를 야기하는 objective와 surrogate의 조건을 규명한다.출처: §3 · p. 5

Theorem 1

• Theorem 1은 높은 확률로, 충분히 작은 EI argument를 생성하는 input의 확률이 objective가 f*−ϵ_n 아래로 떨어질 확률에 의해 bound됨을 보인다.여기서 ϵ_n은 최적성 격차 f*−y*와 maximum posterior uncertainty max_x σ_n(x)에 의존한다.출처: §3 · p. 5

Non-asymptotic Behavior

• 최적성 격차와 maximum posterior standard deviation가 모두 클 수 있는 early iterations에서는 bound가 tight할 필요가 없다.따라서 이 theorem은 non-asymptotic insight를 제공하며, 소실하는 gradient가 optimization 후기에만 발생함을 의미하지 않는다.출처: §3 · p. 5

Asymptotic Behavior

• 기술적인 kernel 및 training-data 조건에서 observations의 수가 증가하면 maximum posterior variance는 소실함이 보장된다 [52].이 asymptotic result는 감소하는 surrogate uncertainty가 EI의 수치적 병리와 관련되는 이유를 설명하는 데 도움이 된다.출처: §3 · p. 5

해석적 EI

• LogEI는 naïve implementation이 수치적으로 0이 되는 입력에서도, 매우 음의 standardized improvement value를 포함해 해석적으로 동등한 log-transformed EI를 안정적으로 계산한다.이 재정식화는 안정적인 log_h 구현을 사용하고 log(σ(x))를 더한다. 또한 z가 음의 방향으로 커질 때 발생하는 불안정성을 점근적 경우로 보정한다.출처: §4.1 · p. 6

Monte Carlo parallel EI

• qLogEI는 qEI의 sample별 discrete maximum을 smooth하게 만들고 안정적인 log-space computation을 적용해, Monte Carlo sample을 미분할 때 발생하는 수학적으로 0인 gradient를 피한다.좋은 optimization 특성을 얻으려면 smoothing temperature가 충분히 낮아야 하며, log-space computation을 통해 이를 실현할 수 있다.출처: §4.2 · p. 6
• qLogEI와 qEI 사이의 relative approximation error는 temperature parameter τ0, τmax 및 batch size q의 함수로서 엄밀하게 bounded된다.이 보장은 smoothed acquisition이 canonical qEI를 얼마나 가깝게 따르는지 정량화한다.출처: §4.2 · p. 6

Constraints

• LogEI는 안정적인 log-probability term을 통해 constrained optimization으로 확장되며, Monte Carlo constraint에는 smooth indicator approximation과 정확한 log implementation을 사용한다.독립적인 constraint fi(x) ≤0에 대해 해석적 LogCEI는 LogEI와 log(P(fi(x) ≤0))를 결합한다.출처: §4.3 · p. 7

Multi-objective optimization

• 동일한 smoothing 및 log-transformation 원리는 qEHVI의 수치적 어려움에도 적용되며, hypervolume improvement의 미분 가능한 inclusion-exclusion formulation을 사용한다.qEHVI는 여러 연산이 일부 입력에 대해 수학적으로 0인 gradient를 갖기 때문에 더 복잡하다.출처: §4.4 · p. 7

단일 목적 순차 BO

• EI가 약 75개 관측에서 정체된 뒤에도 LogEI는 Sum-of-Squares에서 계속 진전한다. 이는 EI에서 gradient 소실이 발생하기 때문이다.최적화가 정체되면서 EI의 acquisition value는 들쭉날쭉해지는 반면, LogEI는 꾸준한 진전을 유지한다.출처: §5 · p. 7, Figure 2 · p. 7
• LogEI는 Ackley에서 EI를 크게 능가하며, 차원이 증가할수록 성능 격차가 커진다. Michalewicz 에서는 더 작은 이점을 보인다.gradient 소실로 인해 multimodal Ackley에서 exploration–exploitation 절충이 특히 어려워진다.출처: §5 · p. 7, Figure 3 · p. 8

Black Box Constraints를 사용한 BO

• LogCEI는 네 가지 제약 엔지니어링 설계 문제에서 naive CEI를 능가하고 SCBO보다 빠르게 수렴하며, 차원이 증가할수록 CEI 대비 향상이 커진다 [22].Gaussian-process modeling을 용이하게 하기 위해 모든 제약에 SCBO와 동일한 bilog transform을 사용한다.출처: Figure 4 · p. 8, §5 · p. 8

qLogEI를 사용한 병렬 Expected Improvement

• qLogEI는 16차원 Ackley에서 qEI보다 병렬 최적화를 개선하며, batch를 공동 최적화하는 방식이 순차적 greedy 최적화보다 우수하다.이 결과는 평가한 batch size 전반에서 성립하며 Appendix A.4의 fat-tailed nonlinearity를 사용한다.출처: §5 · p. 8, Figure 5 · p. 9

qLogEI를 사용한 고차원 BO

• qLogEI는 embedded Hartmann 문제를 유의하게 개선하지만, SVM 및 Rover 문제에서의 차이는 유의하지 않으며 결과는 GP 또는 SAASBO에 따라 달라진다 [21].Hartmann에서는 qLogEI를 포함할 경우 canonical-GP BO가 결국 SAAS prior를 장착한 모델을 따라잡는다.출처: Figure 6 · p. 9, §5 · p. 9

qLogEHVI를 사용한 다목적 최적화

• qLogEHVI는 cell network design 을 포함한 두 다목적 문제에서, 테스트한 모든 batch size에 걸쳐 qEHVI와 JES 를 일관되게 능가한다.비교 대상은 DTLZ2와 실제 세계에서 영감을 얻은 cell network design 문제다.출처: §5 · p. 9

• 높은 목적함수 값이 매우 집중되어 있거나 최적화가 진행됨에 따라 EI의 gradient가 소실되지만, 이러한 조건이 모든 Bayesian optimization 응용에서 성립하는 것은 아니다.따라서 LogEI의 성능은 해당 문제가 이러한 수치적 병리 현상을 보이는지와 surrogate의 품질에 좌우된다.출처: §6 · p. 9

문제 차원성에 관하여

• LogEI의 장점은 차원성 자체 때문이 아니라, 높은 목적함수 값이 탐색 공간에 집중되기 때문에 일반적으로 차원성이 증가할수록 커진다.Figure 6의 SVM 문제처럼 ambient dimensionality는 높지만 intrinsic dimensionality가 낮은 경우에는 LogEI가 EI보다 크게 개선되지 않을 수 있다.출처: §6 · p. 9

점근적 개선에 관하여

• LogEI는 일반적으로 더 나은 최적화와 더 높은 acquisition value를 가능하게 하지만, 성능 개선이 작거나 이후 iteration에서야 나타날 수 있다.Figure 7의 convex 10D sum of squares와 DTLZ2에서의 q = 16이 그 예다.출처: §6 · p. 10

모델 품질에 관하여

• 좋은 값이 집중되어 있고 많은 iteration을 수행하더라도, 부정확한 surrogate 예측이나 정보량이 부족한 uncertainty 때문에 LogEI가 EI보다 우수해지지 못할 수 있다.이러한 경우에는 더 나은 acquisition value가 반드시 더 나은 Bayesian optimization 성능으로 이어지지는 않으며, Figure 6의 Rover가 이를 보여준다.출처: §6 · p. 10

• 저자들은 EI 변형을 LogEI 대응 방법으로 대체할 것을 강하게 권고한다. EI가 우세하다는 것은 EI family 자체가 sub-optimal하다는 의미일 수 있기 때문이다.그렇지 않으면 개선 효과를 무작위로 분포한 candidate의 탐색 품질로 설명할 수 있으며, 이는 명시적으로 반영할 수 있다.출처: §6 · p. 10

7 결론

• 신중한 reformulation과 구현은 소실되는 gradient 문제를 완화해 변형된 EI variant 전반의 최적화를 크게 개선하며, joint batch optimization을 대안 기법과 경쟁력 있게 만들고 때로는 더 나은 성능을 내게 한다.결론에서는 폭넓은 문제군에서 이러한 개선을 보고하는 한편, 이 방법들이 수치적으로 까다로운 다른 acquisition function에도 시사점을 줄 수 있다고 지적한다 [78], [53] [68].출처: §7 · p. 10

A Acquisition Function 세부 사항

• z가 점점 더 음수가 될 때, 안정적인 analytic LogEI는 erfcx를 사용해 Φ(z)/ϕ(z)를 계산하고 최종 logarithm에는 log1mexp를 사용하며, expm1과 log1p는 표준적인 안정적 primitive를 제공한다.이러한 reformulation은 quadratic factor를 드러내고 직접적인 불안정 계산을 피한다.출처: §A.1 · p. 17

A.1 Analytic Expected Improvement

• Naïve analytic EI는 z가 적당히 음수일 때 수치적으로 0이 되는 반면, 제안된 log_h 평가는 수치 최적화에 적합한 quadratic 점근 거동을 보인다.이러한 실패 양상과 개선된 거동은 Figure 8에 제시된다.출처: §A.1 · p. 17, Figure 8 · p. 17
• max_x EI(x) > 0이면 LogEI와 EI는 동일한 maximizer를 가지며, max_x EI(x) = 0이면 EI는 모든 점을 maximizer로 취급하는 반면 LogEI는 모든 곳에서 정의되지 않는다.따라서 zero-maximum 경우 두 acquisition function은 동일한 Bayesian-optimization policy를 유도한다.출처: §A.1 · p. 17

A.2 Analytical LogEI의 점근 거동

• Laurent expansion은 큰 음의 z에 대한 근사적 점근 계산을 제공해 기존 analytic LogEI 구현에 남아 있을 수 있는 불안정성을 다룬다.부록에서는 logarithmic transformation 이후의 점근 오차 bound를 유도한다.출처: §A.2 · p. 18

A.3 Monte-Carlo Expected Improvement

• Monte-Carlo LogEI는 먼저 softplus로 max(0, x)를 smoothing하고 ℓ_(1/τmax) norm으로 q개 후보에 대한 maximum을 smoothing한 다음, 계산을 log space로 변환한다.두 smoothing에서 발생하는 근사 오차는 temperature parameter τ0 및 τmax로 엄밀하게 bound된다.출처: §A.3 · p. 20
• logsoftplus의 lower branch는 O(z^2) 근사 오차를 가지며 x → −∞일 때 지수적으로 빠르게 수렴하고, 유효 숫자의 손실을 피하도록 threshold를 선택한다.그러나 large batch에서는 logsoftplus 출력이 여전히 큰 dynamic range를 가질 수 있고 vanishing gradient를 유발할 수 있으므로, O(1/x^2)-decaying nonlinearity가 더 매끄러운 대안으로 동기 부여된다.출처: §A.3 · p. 20

A.4 더 큰 배치를 위한 fat tail을 갖는 smooth approximation 부류

• Fat-tailed approximation은 smoothness, positivity, monotonicity, convexity를 유지하면서 exponential decay를 polynomial decay로 대체해 더 큰 배치에서 dynamic range를 완화한다.제안 함수는 Lorentzian/Cauchy에서 영감을 받은 항을 사용하며, x → −∞에서 O(1/x^2)로 감쇠한다. 이는 canonical softplus의 O(exp(x)) 감쇠와 다르다.출처: §A.4 · pp. 21–22, Figure 12 · p. 21
• Fat softplus는 monotonic, convex, and positive한 성질을 유지하면서 max(x, 0)을 정밀하게 근사하며, 그 convexity 조건은 monotonicity도 보장한다.제안된 φ+에서는 0 ≤ α < 1/2가 monotonicity에 충분하고, 더 강한 convexity 조건은 이를 포함한다.출처: Figure 11 · p. 21, §A.4 · p. 22

A.5 Constrained Expected Improvement

• Constrained EI에서 fat sigmoid는 positive하고 monotone한 constraint-indicator approximation을 제공하며, positive infinity에서 1에 가까워지고 negative infinity에서 O(1/x^2)로 감쇠한다.Temperature parameter는 원점에서 멀어질수록 Heaviside step function에 더 가깝게 근사하도록 한다. Analytical benchmark에서는 stable log Gaussian-CDF implementation을 사용하고, Monte Carlo parallel EI에서는 fat-tailed indicator를 사용한다.출처: §A.4 · p. 23, §A.5 · p. 23

A.6 Parallel Expected Hypervolume Improvement

• qEHVI에서는 stable Log formulation이 fat-tailed minimum 및 positive-part approximation을 사용하고, positive와 negative inclusion-exclusion term을 분리한 뒤 logsumexp reduction을 적용한다.이 구성은 hyperrectangle과 Monte Carlo sample에 대해 reduction하기 전에 지수화된 positive component와 negative component의 차이에 대한 안정적인 logarithm을 계산해 signed sum을 처리한다.출처: §A.6 · p. 24

A.7 Probability of Improvement

• Probability of improvement는 Gaussian-CDF expression에 logarithm을 취하고 positive-tail case를 erfcx로 계산해 수치적 안정성을 높인다.제공된 formulation은 x > 0에서 log(erfcx(x)) − x^2를 사용하도록 logarithm을 구체적으로 다시 쓴다.출처: §A.7 · p. 24

A.8 q-Noisy Expected Improvement

• qLogNEI는 sample-level improvement를 smoothing하고 batch maximum을 근사하며 logarithmic space에서 연산함으로써 qLogEI의 수치적 개선을 noisy EI로 확장한다.이전 평가 design에 대한 gradient는 필요하지 않으므로 incumbent는 hard maximum으로 계산한다. Pruning과 cached Cholesky update는 속도 향상을 제공한다.출처: §A.8 · pp. 24–25

B Acquisition Function 최적화 전략

• 연속적인 acquisition optimization에서는 gradient-based methods가 표준인 반면, grid 또는 random search는 고차원 domain으로 확장되지 않으며 zeroth-order methods는 일반적으로 gradient-based 대안보다 성능이 낮다.Analytic acquisition은 흔히 L-BFGS-B를 사용하고, constrained 또는 Monte Carlo setting에서는 일반적인 nonlinear optimizer나 stochastic gradient ascent를 사용한다.출처: B Strategies for Optimizing… · p. 25

B.1 multi-start gradient-descent를 위한 일반적인 초기화 heuristic

• Multi-start gradient descent는 다양한 초기화를 통해 local optimum을 완화하지만, 특히 차원이 높고 데이터가 많을 때 acquisition value가 넓은 영역에서 수치적으로 0이 되면 random restart는 효과를 잃는다.Initialization heuristic이 도움이 될 수 있지만, 근본적인 해결책은 acquisition function이 수치적으로 의미 있는 gradient를 제공하도록 보장하는 것이다.출처: §B.1 · pp. 25–26

C 증명

• Theorem 1은 improvement 논리를 posterior mean 오차와 true objective 및 best observed value 간의 gap으로 분해하여 probability-1−δ bound를 도출한다.posterior standardized error는 Gaussian이므로 standard Gaussian-tail bound를 적용할 수 있으며, 이는 posterior mean에서 incumbent를 뺀 값을 제어하기 위한 충분조건을 제공한다.출처: C Proofs · p. 26
• 도출된 bound는 optimality gap f*−y*와 maximal posterior standard deviation에 의존하며, 특정 x에서 평가한 posterior 통계량에는 의존하지 않는다.증명은 bound를 재정리한 뒤 optimality gap과 maximal posterior uncertainty로부터 ϵ_n을 도입한다.출처: C Proofs · p. 27
• Lemma 2는 τ_0, τ_max > 0에 대해 qLogEI의 qEI 대비 approximation error를 bound한다.증명은 먼저 Monte Carlo approximation을 다룬 다음, sample size가 무한대로 갈 때 mathematical acquisition-value 결과를 얻는다.출처: C Proofs · p. 27
• qLogEI-to-qEI 증명은 logsumexp, logsoftplus, ReLU, 그리고 triangle inequality를 사용해 sample-wise difference를 bound한다.논리는 관련 nonlinear term들을 비교한 뒤 sample 수로 나누어 Monte Carlo acquisition-value bound를 얻는다.출처: C Proofs · p. 27
• softplus 근사는 ||softplus_τ−ReLU||_∞ = log(2)τ를 만족하며, 최대 discrepancy는 x=0에서 발생하고 모든 x에 대해 softplus_τ(x)가 ReLU(x)보다 크다.그 차이는 x가 어느 한쪽 infinity로 갈수록 0에 가까워지며, extremum은 origin에서 발생한다.출처: C Proofs · pp. 27–28
• Appendix A.4에서 도입한 fat-tailed nonlinearities에도 동일한 유형의 approximation guarantee를 도출할 수 있다.이러한 guarantee는 유사한 논리를 통해 얻어진다고 설명한다.출처: C Proofs · p. 28

• 모든 알고리즘은 standard BoTorch implementations를 통해 analytic EI, qEI, cEI를 포함하여 BoTorch에서 구현된다.출처: §D.1 · p. 28
• Single-objective JES [38], GIBBON [63], multi-objective JES 에는 BoTorch의 main repository에서 제공되는 original authors’ implementations가 사용된다.출처: §D.1 · p. 28
• 각 simulation에는 32 replicates가 사용되며, 오차 막대는 평균의 ±2 standard error를 나타낸다.출처: §D.1 · p. 28
• 실험에는 automatic relevance determination (ARD)이 적용된 Matérn-5/2 kernel을 사용한다.출처: §D.1 · p. 28

D.2 소실 값과 gradient에 대한 추가 실증 결과

• gradient 소실 시뮬레이션은 80%의 균일 표본점과 함수 최댓값을 중심으로 한 20%의 Gaussian 점으로 구성된 training data를 사용해 Bayesian optimization loop를 모사한다.대표적인 60-point fit은 이러한 수치적 병리에도 불구하고 준수한 out-of-sample 평균 예측과 합리적으로 calibration된 불확실성을 보인다.출처: §D.2 · p. 28, Figure 15 · p. 29
• Figure 16은 대부분의 test point가 h(z)가 작은 threshold 아래에 있음을 보여주며, 이것이 domain의 상당 부분에서 EI 값과 gradient가 수치적으로 소실되는 이유를 설명한다.대부분의 test point에서 σ(x)가 1에 가깝기 때문에 h(z)의 threshold 거동은 대략 EI threshold 거동에 대응한다.출처: §D.2 · p. 28, Figure 16 · p. 29

D.3 Parallel Expected Improvement

• 16-dimensional Ackley에서 qLogEI는 모든 baseline보다 우수하고, joint batch optimization은 sequential greedy보다 향상된 성능을 보인다. Levy에서는 batch size가 증가함에 따라 joint qLogEI가 결국 우세해진다.Levy에서 joint qLogEI는 처음에는 sequential optimization보다 성능이 낮지만, parallel batch size가 커지면 우수해진다.출처: Figure 17 · p. 29, §D.3 · p. 29

D.4 Noisy Expected Improvement

• qLogNEI의 canonical noisy EI 대비 이점은 dimensionality와 noise level이 증가할수록 커지며, 대부분의 경우 canonical counterpart와 Gibbon을 모두 크게 능가한다.benchmark에는 다양한 noise level에서 noisy Hartmann 6d, Ackley 8d, Ackley 16d 문제가 포함된다.출처: §D.4 · p. 29, Figure 19 · p. 30

D.5 qLogEHVI를 이용한 Multi-Objective optimization

• qLogEHVI는 6개의 multi-objective 문제 전반에서 qEHVI와 모든 baseline을 크게 능가하며, dimensionality가 높을수록 향상 폭이 커진다.문제는 2–3개의 objective와 2–30 dimensions를 포괄하며, cell network, laser plasma, vehicle design에 관한 real-world-inspired application [40] [70]도 포함한다.출처: §D.5 · p. 30, Figure 20 · p. 31

D.6 고차원 Bayesian optimization을 위한 LogEI와 TuRBO 결합

• LogEI를 결합한 TuRBO-1은 50d Ackley에서 작은 evaluation budget일 때 TuRBO-1 + EI, LogEI, Thompson sampling을 크게 능가한다.10,000 evaluations 이후에는 Thompson sampling이 더 우수하지만, qLogEI를 사용한 joint q = 50 optimization은 좋은 성능을 위해 random restart가 필요하지 않다.출처: §D.6 · p. 31, Figure 21 · p. 31

제약 문제

• pressure-vessel 설계에서 LogEI는 110회 평가 후 worst-case 5659.1108, best-case 5651.8862의 feasible objective를 달성했으며, Coello and Montes 의 6059.946341과 비교된다.LogEI 결과는 16회 실행에서 얻었으며, 평가 횟수는 거의 세 자릿수 규모만큼 더 적었다.출처: §D.7 · p. 32
• welded-beam 설계에서 LogEI는 110회 평가 후 1.7496을 찾았으며, Coello and Montes 의 1.728226과 비교하면 약간 나쁘지만 평가 횟수는 세 자릿수 규모만큼 더 적었다.출처: §D.7 · p. 32
• tension-compression 설계에서 LogEI는 110회 평가 후 feasible value 0.0129를 찾았으며, 에 보고된 0.012681과 비교된다.출처: §D.7 · p. 32
• 이러한 제약 문제 전반에서 Bayesian optimization은 genetic algorithm과 경쟁력 있는 성능을 보였고, sample budget의 극히 일부만 사용하면서 더 나은 성능을 낼 수도 있었다.Bayesian optimization은 sample efficiency와 small-data regime을 중시하는 반면, genetic algorithm은 일반적으로 훨씬 더 많은 function evaluation을 사용한다.출처: §D.7 · p. 32

D.8 배치 간 제약이 있는 병렬 Bayesian Optimization

• 제약 실험에서는 batch element를 결합하는 total-flow throughput limit가 있는 5차원 은 나노입자 합성 문제를 모델링한다.연속 RBF surrogate, batch size q = 3, 무작위 초기점 5개, 75회 replicated run을 사용한다.출처: §D.8 · pp. 32–33
• 적절한 joint batch constraints를 적용한 qLogEI는 qEI보다 우수하지만, random-flow heuristic에서는 이러한 이점이 사라진다.두 제약 접근법 모두 순수한 random sampling보다 우수하지만, 추가적인 향상에는 LogEI와 명시적 제약을 결합하고 batch를 joint optimization하는 것이 필요하다.출처: Figure 22 · p. 33, §D.8 · p. 33

D.9 다목적 문제의 세부 사항

• 실제 세계에서 영감을 얻은 문제와 함께 synthetic biobjective Branin-Currin, ZDT1, DTLZ2 benchmark에서 성능을 평가한다.laser plasma acceleration 문제에서는 가장 높은 queried fidelity의 public data에 적합한 independent GP surrogate를 사용한다.출처: §D.9 · p. 33

D.10 Temperature Parameter의 효과

• 더 작은 고정 softplus temperature는 대체로 더 나은 optimization performance를 낸다.temperature 연구에서는 고정된 τ 값이 optimization performance에 미치는 영향을 조사한다.출처: §D.10 · p. 33

D.11 초기화 전략의 효과

• 초기화 연구에서는 uniformly random restart point와 BoTorch의 acquisition-weighted Boltzmann strategy를 비교한다.이 비교는 acquisition function optimization에 흔히 사용되는 smart-initialization heuristic에 의해 동기 부여된다.출처: §D.11 · p. 33, Figure 24 · p. 35
• BoTorch의 default Boltzmann initialization은 평가한 모든 경우에서 uniformly random initialization보다 regret를 개선한다.default는 1024개의 scrambled-Sobol candidate를 평가하고 acquisition value에서 도출한 probability를 사용해 restart point를 sampling한다.출처: §D.11 · p. 34