建設業許可の申請書はすべて手書きしなければならないのですか？

鉛筆でなければ問題ありません。通常はパソコンなどでワープロ書きが多いと思います。押印は原則、必要ありません。行政書士が代理申請する場合のみ押印が必要になります。