První písemná zmínka o vsi Švihov pochází z roku 1245. Ve 14. století nechal na místě dnešního hradu postavit zdejší šlechtic Vilém ze Švihova velkou tvrz obehnanou rozsáhlým vodním příkopem. Při této tvrzi vzniklo současně také městečko s farním kostelem. Za husitských válek byla tvrz dobyta a zničena.