Setelah turun ke dunia ini, para dewa telah menciptakan serikat tempat para petualang dapat menguji keberanian mereka. Serikat ini, yang dikenal sebagai "familia," memberi para petualang kesempatan untuk menjelajah, mengumpulkan, berburu, atau sekadar bersenang-senang. Dungeon ni Deai wo Motomeru no wa Machigatteiru Darou ka Gaiden: Sword Oratoria dimulai di Orario, kota petualang yang ramai. Putri Pedang, Ais Wallenstein, dan penyihir pemula, Lefiya Viridis, adalah anggota Loki Familia, yang ahli dalam berburu monster. Bersama anggota kelompok lainnya, mereka melakukan perjalanan ke menara Babel dengan harapan dapat menjelajahi ruang bawah tanah di bawahnya. Rumah bagi monster-monster yang kuat, ruang bawah tanah tersebut akan memenuhi keinginan Ais untuk menguasai keterampilan pedangnya, sekaligus membawa Lefiya lebih dekat ke mimpinya untuk menggantikan Riveria Ljos Alf, wakil kapten Loki Familia, sebagai penyihir terkuat di negeri itu.
