Basta que seu celular navegue via WAP, algo comum mesmo nos modelos mais baratos e antigos.
No navegador WAP, acesse a URL m.foursquare.com.
Basta, então, buscar o lugar onde você fez Check-in e postar.
Antes, porém, vale a pena se cadastrar no FourSquare via web, usando o computador (dá para usar seu nome de usuário do Facebook para isso).
