築城年は定かではないが、建武の新政が破綻し後醍醐天皇が吉野に移った1336(延元元)年頃に、京から駿河に戻った南朝方の狩野貞長が安倍城をはじめとする城砦群を整備した。小瀬戸城もそのひとつと考えられる。小瀬戸城は安倍城から南西4.6kmに位置するが、同時に、もうひとつの南朝方の拠点である無双連山を中心とする徳山城砦群への東からの街道を抑える重要拠点でもあった。
　1343(興国4/康永2)年には南朝の重臣･北畠親房と興良親王が狩野貞長に迎えられ数年間滞在している。この間に遠江を落ちた宗良親王も狩野氏の許を訪れ、甥の興良親王に会ったといわれる。
　狩野氏は北朝方の駿河の今川氏･伊達氏と攻防を繰り返し、1392(元中9/明徳3)年の南北朝統一後は今川氏に恭順していたが、1433(永享5)年の今川範政の死によって勃発した今川家中の内紛に乗じて離反するものの、逆に今川方に攻められて本城の安倍城とともに落城したと考えられる。
　その後、藁科庄は今川重臣の朝比奈氏が治めることとなり、小瀬戸城は朝比奈氏によって改修された。
　1568(永禄11)年12月、武田信玄の駿河侵攻により今川氏真が駿府館を脱して掛川城へ逃げ込むと、武田勢は氏真を追って藁科路を進んだため、小瀬戸城兵の反撃を受けたと伝えられている。
　城は藁科川の南西の丘陵上に位置し、街道を眼下に望むことができる。大手道をのぼり、Ⅱ郭から堀切を経て主郭に入る。主郭は台形に近い平坦地で目立った遺構は見当たらない。