Bonjour,
Tu dois vouloir dire RJ45, le RJ11 c'est la prise téléphonique, il me semble. Mais ce n'est pas grave.
Alors si tu connectes tes deux pc sur le net directement sur le modem (donc deux entrées sur celui-ci), tu leurs fais partager la même passerelle pour que les deux puissent être connecter (mode routeur et dhcp activé pour qu'ils soient bien reconnus individuellement). S'ils partagent la même passerelle, ils peuvent être reliés ensemble (pc1 voit pc2 et inversement).
Amitié...
ps: Voici un petit lien qui pourra t'aider.