Za svoju zabavu i svecanosti herceg Stjepan je držao na dvoru grupe muzicara raznih specijalnosti, koje je gotovo redovno slao u Dubrovnik na proslavu sv. Vlaha. Na svom dvoru držao je jednu vrstu glumaca,” bufone”, a kao dvorsku ludu imao je cak i jednu “bufonezu” Maru, koja je gostovala i u Dubrovniku. Izrazita slabost hercegova bile su žene. U toku svoga života Stjepan se ženio tri puta, prvi put 1424. sa Jelenom Balšic, sa kojom je imao troje djece; Katarinu (bosansku kraljicu), Vladislava i .....