Není známo přesné datum, kdy se Valdštejnové ujímají samotného brtnického panství, ale dá se předpokládat, že ve stejném roce jako Rokštejna nebo krátce poté. Oficiálně se udává rok 1410. Během husitských válek podporují Valdštejnové a okolní šlechta husity, což se samozřejmě nelíbí protihusitské Jihlavě. Hlavním centrem odporu v kraji je hrad Rokštejn, což vede k útoku na něj a jeho následnému rozboření někdy mezi roky 1423–1436. Hrad ještě v době fungování přestával vojensky i ekonomicky stačit nový požadavkům, takže byl rozbořený ponechán svému osudu. Zdeněk z Valdštejna začíná se stavbou nového hradu přímo v Brtnici, což se nelíbí Jihlavě, která se snaží stavbu u moravského markraběte zastavit, ale již v roce 1444 se mluví o brtnickém hradu v rozhodčí výpovědi mezi Zdeňkem a Jindřichem z Valdštejna.