Программа то физически удалилась или нет (при запуске системы AVG вновь запускается)?
В начале антивирь отключите (остановите или удалите из автозагрузки) - пока он не остановлен Вы его не сможете удалить.
Перезагружаете ОС (если из автозагрузки Вы AVG удалили, то он не запустится).
Далее удаляйте обычным способом или с помощью AVG remover.
Далее в папке Program Files удалите папку AVG, если она осталась (поищите на диске С все упоминания на AVG и удалите).
Если у Вас установлен чистильщик реестра, то удалите оставшиеся ключи от AVG. На всякий случай прошерстите реестр на предмет AVG вручную. Всё!!!
Пы Сы. Unlocker тут не помощник. С реестром поосторожнее.