リモートデスクトップで接続先のマシンにfirefoxアドオンを入れようとしたら「ソフトウェアを正常に更新できませんでした 〜」と怒られる

Windowsサーバへリモート接続して、firefoxのアドオン(今回はfirebug)をインストールしたら、firefox再起動時に

「ソフトウェアを正常に更新できませんでした
1つ以上のファイルを更新できませんでした。他のすべてのアプリケーションが終了していること、ファイルの書き込み権限があることを確認の上、Firefox を再起動して再度試してください。」

というダイアログが出てきて先に進めなくなってしまう。
プロセスをkillしても再度ダイアログが立ち上がってダメ。
この様子だとリモート先のマシンを再起動してもfirefox起動時に同じエラーメッセージが出そうな予感。

こんな場合は以下フォルダを削除することで解決するようです。

Documents and Settings\<username>\Local Settings\ApplicationData\Mozilla\Firefox\Mozilla Firefox