Zkuste převést hex na base64. Tato odpověď je jednou z možností. Existuje řada dalších implementací.
Jak mohu převést z hex na base64?
Možná něco jako:
echo mydata | sha1sum | xxd -r -p | base64
... by váš problém vyřešil.
Podobnou otázku najdete na https://unix.stackexchange.com/questions/82561/convert-a-hex-string-to-binary-and-send-with-netcat.