"Сволочи" - таким словом называли лиц, которые работали на волоке, то есть, тащили корабли, бурлачили.
Таким образом, работа бурлаков была, так сказать, связана с перемещением в разные местности.
Коренные жители разных местностей друг у друга практически не крали, а с приходом этих трудяг у них часто пропадали разные вещи.
И вот ворюг с волока и назвали "сволочи".
Кстати, в украинском языке есть слово "наволоч". Если учесть, что слово "волочитися" переводится с украинского как "бродяжничать", то легко понять, что и "сволочь", и "наволоч" по своей характеристике направлено на пришлых людей.
Как говорил один мой знакомый общественный деятель: "Родина-мать зовет на Родину!"