10/24にメールが届いたまま放置というか様子見にしていたXSERVERのPHPバージョンを7.2から7.3へと変更しました。操作画面を見る限り現行の7.2.17が推奨のままみたいですがWPもテーマのLuxeritusも7.3に対応しているようなので切り替えました。
XSERVERのPHPバージョン切替画面(11/2時点)
元々XSERVERもLuxeritasも十分に高速だと思いますのでこの変更でさらに速くなっても細かく計測しないとわからない可能性が高いです。特にこのサイトは高解像度画像も多く載せているため処理時間より転送時間のほうが支配的ではないかと思います。