元プロ野球選手・三ツ間卓也氏、農家転身で苦難の日々