Com certeza tem algo errado nesse seu arquivo... eu ja usei esse banco tambem, provavelmente deve até ser o que eu disponibilizava no meu site, pois tinha + ou - esse numero de registros tambem....
Ou vc não criou indices para facilitar as coisas
Embora acho que mesmo sem indice o tempo não deveria ser tanto, a não ser que vc esteja num 386....
Passe o código para tentarmos achar o erro.