Некоторое время Яков покровительствовал Дугласам, но растущее влияние 8-го графа Дугласа и его предательский союз с графами Кроуфордом и Россом подвигли короля на шаг, описанный как «беспримерное предательство». В 1452 он пригласил Дугласа в замок Стерлинг, гарантировав ему безопасность, но когда граф отказался отступиться от своих союзников, король разразился бурными упреками в его адрес, после чего пронзил его кинжалом, а королевская охрана довершила дело. Ветвь Дугласов, известная как Черные Дугласы, тут же подняла мятеж, но Красные Дугласы встали на сторону Якова. Король разгромил Черных Дугласов при Аркинхолме в Дамфрисшире, а оставшихся в живых вынудил покинуть страну. Изгнанники нашли поддержку в Англии, так как английские короли претендовали на верховную власть над Шотландией. В 1460 Яков вторгся в Англию и осадил замок Роксбург (в 20 км к востоку от Селкерка), где 3 августа погиб в результате несчастного случая.

В правление Якова были приняты здравые законы, нацеленные на совершенствование управления, поощрение предпринимательства, поддержание порядка и улучшение положения «бедняков, которые возделывают землю». При Якове, в 1451, был основан университет в Глазго.