祐経は、源頼朝より日向国をはじめとして全国各地に所領を与えられ、全国の所領には地頭等を配し、自らは伊豆国伊東の地に居住しました。その子である祐時は姓を伊東と改姓し、６代伊東祐持のとき、足利尊氏より日向国都於郡（ひゅうがのくに、とのこおり）に所領を与えられ、伊東から都於郡に移り住みました。

　伊東氏は代々都於郡城を居城にその勢力を拡大し、１６代伊東三位入道義祐のとき、それまで島津氏の支配下にあった飫肥城を攻め取り４８支城を各地に配し、日向国内に覇権を樹立しました。
しかし、元亀年（1572年）木崎原の戦いで島津義弘に敗れ、その後天正５年（1577年）伊東領に侵攻した島津氏に敗れて国を失い豊後国に落ちました。

　その後伊東氏が大名として復活するのは、豊臣秀吉に仕えた義祐の子・祐兵が、天正１５年（1587年）の九州平定で功績をあげ、飫肥城を与えられてからです。
以降２８０年余、飫肥藩（五万一千石）を伊東氏１４代で治めました。