Nakonec jsem zjistil, že musím použít export pro nastavení proměnných prostředí. Takže v mém .zshrc Přidal jsem:
PKG_CONFIG_PATH=/usr/local/lib64/pkgconfig:/usr/lib64/pkgconfig:/usr/local/lib/pkgconfig; export PKG_CONFIG_PATH
Nyní ./configure najde správnou knihovnu.