Что-такое прокси и с чем его едят?
У нас сетка на два компа, и один модем, как-то можно сделать чтоб выходили в инет с двух компов, надо прокси ставить?

Да, надо либо поставить прокси-сервер (например Wingate) на ту машину, что с модемом. Либо настроить Internet Connection Sharing.

В случае с Вингейтом - ставишь на машину с модемом Вингейт, а на другой машине в настройках браузера прописываешь ip адрес машины с модемом и порт 80.