Es un café, no una cena romántica
No veo nada de particular en tomarse un café con un antiguo compañero de trabajo, casado o no. Es la cosa más normal del mundo.
Otra cosa es que tú le veas una actitud como de que quiere aprovechar la mínima ocasión para tirarte la caña. Vale, eso ya sería otra historia, y entonces es preferible seguir dándole largas hasta que se canse. Pero si el tema se reduce a tomarse un café, no entiendo que te montes una película por una cosa tan nimia