現状のRaspberry Pi 4ではSSDをUSB接続してOSを直接起動することができないため、SDカード上のブートパーティションから起動し、SSD上のルートパーティションを使用する方法が https://jamesachambers.com/ の一連のブログの中で紹介されていて、こちらを参考に手順をまとめておきます。
先のブログの中で作者が、Raspberry Piで起動可能なイメージを用意してくれているのでそちらを利用させていただきます。
https://github.com/TheRemote/Ubuntu-Server-raspi4-unofficial/releases