Firefoxを重くしていた拡張機能判明

Skype extension for Firefox　

という拡張機能が原因だった
これを無効にしただけでFirefoxがCPU20ぐらい使ってたのに0～3%ぐらいまでしか上がらなくなった。