关于英文文章分词排序的问题

1、题目要求

写一个程序，分析一个文本文件中各个词出现的频率，并且把频率最高的10个词打印出来。文本文件大约是

30KB~300KB大小。

2、思路

数据结构：map，vector，pair

主要涉及方法：统计和排序

排序方法：Topk，

先统计各个单词的个数，建立一个以单词--次数的map。

建立一个vector，每次从map表里取一个单词，依次和vector里的元素作对比，小于最小的就淘汰，大于某个元素就将其放入这个元素之前，淘汰vector最后的元素。维持10个元素的大小

最后输出这10个vector中的单词。就是最大频率的十个。

第一次的代码如下：

#include <iostream>
#include <vector>
#include <string>
#include <map>

#include <utility>
#include <fstream>
#include <algorithm>
#include <cctype>
using namespace std;

//去除多余符号
char m[100] = {' ','"','.','!',',','-','?',':'};
void trimString(std::string & str,char a[],int n)
{
    int i = 0;
    while(i < n){
        int s = str.find_first_not_of(a[i]);
        int e = str.find_last_not_of(a[i]);
        str = str.substr(s,e-s+1);
        i++;
    }
    return;
}

int cmp(const pair<string,int>& a,const pair<string,int>& b)
{
    return a.second > b.second;

}
map<string, int> word;
int main()
{
    fstream f1;
    f1.open("1.txt",ios::in);
    string i;

    while(f1.eof() == 0){
       // cout<<f1.eof();

        if(f1.eof() == 0){
            f1>>i;

        }
        trimString(i,m,8);//删除多余字符
        transform(i.begin(), i.end(), i.begin(), (int (*)(int))tolower);//小写转换


        map<string, int>::iterator it = word.find(i);
        if(it == word.end()) {
               word.insert(map <string, int>::value_type(i,1));
        }else{

            word[i] ++;
        }
    }
    f1.close();
    vector<pair<string,int> > vct;
    for(map<string, int>::iterator item = word.begin() ; item != word.end() ; ++item){
        vct.push_back(make_pair(item->first, item->second));
    }
    sort(vct.begin(),vct.end(),cmp);

    for(int n = 0; n < 10; n++){
        cout<<vct[n].first<<":"<<vct[n].second<<endl;
    }
    return 0;

}

代码问题：没有进行过滤，而且对“—”这个字符没有办法过滤，会出现溢出错误。

修改代码如下：

#include <iostream>
#include <vector>
#include <string>
#include <map>

#include <utility>
#include <fstream>
#include <algorithm>
#include <cctype>
using namespace std;

//去除多余符号
vector<string> delect = {"the","a","and","to","of","he","i","you","his","him","in","on","as","it","was","not"};
char m[100] = { ' ', '"', '.', '!', ',', '-', '?', ':', '\f', '\v' };
void trimString(std::string& str, char a[], int n)
{
	int i = 0;
	while (i < n){
		int s = str.find_first_not_of(a[i]);
		int e = str.find_last_not_of(a[i]);
		str = str.substr(s, e - s + 1);
		i++;
	}
	return;
}

bool find(std::vector<string> a, const std::string b){
	std::vector<string>::iterator item = a.begin();
	for (; item != a.end(); ++item){
		if (*(item) == b){
			return true;
		}
	}
	return false;

}

int cmp(const pair<string, int>& a, const pair<string, int>& b)
{
	return a.second > b.second;

}
map<string, int> word;
int main()
{
	fstream f1;
	f1.open("f:/1.txt", ios::in);
	string i;

	while (f1.eof() == 0){
		// cout<<f1.eof();

		if (f1.eof() == 0){
			f1 >> i;

		}
		trimString(i, m, 10);//删除多余字符
		transform(i.begin(), i.end(), i.begin(), (int(*)(int))tolower);//小写转换


		map<string, int>::iterator it = word.find(i);
		if (it == word.end()) {
			word.insert(map <string, int>::value_type(i, 1));
		}
		else{

			word[i] ++;
		}
	}
	f1.close();
	vector<pair<string, int> > vct;
	for (map<string, int>::iterator item = word.begin(); item != word.end(); ++item){
		if (!find(delect, item->first)){
			vct.push_back(make_pair(item->first, item->second));
		}
	}
	sort(vct.begin(), vct.end(), cmp);

	for (int n = 0; n < 10; n++){
		cout << vct[n].first << ":" << vct[n].second << endl;
	}
	return 0;

}

运行截图：

修改后的性能分析：

热函数分析：

很明显，字符过滤函数的时间占用过于长了，如果文本是纯英文格式的话，时间复杂度可以下降百分之五十，但是如果字符编码的问题和多余符号依然存在的话，这个函数就是必不可少的。

心得： 

估计了一下，因为这里使用的hash表，我使用了STL的Map，没用hash_map。查找的时间复杂度大约是对数级的，没有达到理想的常数级（这里存疑，不一定hash_map比map好，毕竟处理地址冲突的内存损耗大）。而且因为使用了vector排序，创建vector的代价也不少。但是，从分析来看，问题并不在这里，重要的问题是字符过滤那里。我的想法是不使用过滤，而是使用按字符删除的方式，但是论坛的人说时间复杂度实际差不多，所以没改。