去除源文件中的重复行的程序流程及其C代码实现

最新推荐文章于 2022-02-03 09:10:05 发布
最新推荐文章于 2022-02-03 09:10:05 发布
阅读量4.2k 收藏 4
点赞数 6
分类专栏： 软件项目实践中的C语言一瞥
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhouzhaoxiong1227/article/details/50247335
版权

(本人正在参加2015博客之星评选，诚邀你来投票，谢谢：http://vote.blog.csdn.net/blogstar2015/candidate?username=zhouzxi)

一、需求描述
要求对一个包含若干行记录且某几条记录相同的文件(源文件)实现去重操作，并将去重之后的记录写入到另外一个文件(目的文件)中。也即最后生成的文件中没有内容相同的两行记录。如果源文件中两条记录之间有空行，则在目的文件中一并将其去掉。
两条记录相同的标准是：
1) 字符个数及内容完全相同。
2) 去除空格及回车换行符之后的内容完全相同。
示例：
源文件样例：

ABCD
EFGH
abcd
AB CD
abcd

12345

对应的目的文件样例：

ABCD
EFGH
abcd
12345

二、程序总体流程
为了实现去重操作，我们考虑使用链表数据结构。先将源文件中的记录内容逐条读取，与链表中已经存在的记录内容相比较，如果没有与之相同的，则将该条记录加入链表。当源文件中的所有记录内容都读取完成之后，再将链表中的记录内容写入到目的文件中。
程序的总体流程如图1所示。
这里写图片描述
图1 程序的总体流程

三、重要程序流程及数据结构介绍
1.存放记录内容的链表
本程序使用链表来存放从源文件中读取到的每条记录，该链表的结构如下：

typedef struct T_FileInfoStruct
{
    UINT8  szContentLine[256];
    struct T_FileInfoStruct  *pNext;
} T_FileInfo;

2.判断某条记录是否已存在于链表的函数
每当读取到一条记录，就要判断该条记录是否已经存在于链表中了(第一条记录除外)。判断操作非常的简单，只需要遍历整个链表就可以了。该操作由IsInList函数实现，其具体代码如下：

UINT32 IsInList(T_FileInfo *ptContentListHead, UINT8 *pszContentLine)
{
    T_FileInfo  *pTmpInfo = ptContentListHead;

    if (ptContentListHead == NULL || pszContentLine == NULL)
    {
        printf("IsInList: input parameter(s) is NULL!\n");
        return 0;
    }

    while (pTmpInfo != NULL)
    {
        if (strncmp(pszContentLine, pTmpInfo->szContentLine, strlen(pszContentLine)) == 0)   // 存在于链表中
        {
            return 1;
        }
        pTmpInfo = pTmpInfo->pNext;   
    }

    if (pTmpInfo == NULL)    // 不存在于链表中
    {
        return 0;
    }
}

3.去除记录的回车换行符、去除记录中的空格的函数
RmNewLine函数用于去除记录的回车换行符，RemoveSpaceInStr函数用于去除记录中的空格。这两个函数的程序代码请见附录。

四、程序编译及执行结果
将RemoveRepeatLine.c(详细的代码请见附录)程序上传到Linux机器上，使用gcc -g -o RemoveRepeatLine RemoveRepeatLine.c命令对其编译，生成RemoveRepeatLine。
在本程序中，我们使用的源文件为TestFile.txt，位于当前用户的zhouzhaoxiong/zzx/RemoveRepeatLine/TestFile目录下；生成的目的文件为ResultFile.txt，与源文件位于相同的目录之下。
本人使用的源文件TestFile.txt的内容为：

ABCD
EFGH
AB CD
1243565
dfbfdj
dgbsjn

1234 n
dsaghhn
 zvb
 vc

awsswgh
EFGH


zvb

1234 n
fedhh
 EFG H

运行RemoveRepeatLine命令之后，生成结果文件ResultFile.txt，其内容为：

ABCD
EFGH
1243565
dfbfdj
dgbsjn
1234n
dsaghhn
zvb
vc
awsswgh
fedhh

可见，程序满足了需求，去除了重复的行，同时将多余的空行也去掉了。

五、总结
关于本程序，有如下几点说明：
第一，链表这种数据结构在实际的软件开发项目中应用得非常的广泛，大家一定要熟练掌握其用法，特别是如何向链表中插入数据、如何遍历整个链表、如何清空链表等。
第二，写文件函数WriteToFile中，在“strncpy(szContentBuf, ptContentListHead->szContentLine, strlen(ptContentListHead->szContentLine));”语句之前，一定要加上“memset(szContentBuf, 0x00, sizeof(szContentBuf));”语句，否则写入文件中的内容可能不是我们想要的。大家也可以在自己的机器上试试，看加与不加“memset(szContentBuf, 0x00, sizeof(szContentBuf));”语句，生成的结果文件有何区别。
第三，在有关话单生成及处理的程序中，对源话单文件进行去重操作是大家必须考虑的问题。本文中的程序为相关项目的开发人员提供了参考。

附：完整的程序代码

/**********************************************************************
* 版权所有 (C)2015, Zhou Zhaoxiong。
*
* 文件名称：RemoveRepeatLine.c
* 文件标识：无
* 内容摘要：去除源文件中的重复行
* 其它说明：无
* 当前版本：V1.0
* 作    者：Zhou Zhaoxiong
* 完成日期：20151209
*
**********************************************************************/
#include <stdio.h>
#include <stdlib.h>
#include <string.h>

// 数据类型重定义
typedef unsigned char   UINT8;
typedef signed   int    INT32;
typedef unsigned int    UINT32;

// 存放文件每行内容的链表
typedef struct T_FileInfoStruct
{
    UINT8  szContentLine[256];
    struct T_FileInfoStruct  *pNext;
} T_FileInfo;


// 函数声明
void RemRepLineAndWriResFile(UINT8 *pszTestFile);
void RmNewLine(UINT8 *pInStr);
UINT32 IsInList(T_FileInfo *ptContentListHead, UINT8 *pszContentLine);
void WriteToFile(T_FileInfo *ptContentListHead);
void ClearList(T_FileInfo *ptContentListHead);
void RemoveSpaceInStr(UINT8 *pszStr, UINT32 iStrLen);


/**********************************************************************
* 功能描述：主函数
* 输入参数：无
* 输出参数：无
* 返 回 值：无
* 其它说明：无
* 修改日期       版本号        修改人            修改内容
* ---------------------------------------------------------------
* 20151209        V1.0     Zhou Zhaoxiong          创建
***********************************************************************/
INT32 main()
{   
    UINT8  szTestFile[128] = {0};

    // 拼装配置文件路径
    snprintf(szTestFile, sizeof(szTestFile)-1, "%s/zhouzhaoxiong/zzx/RemoveRepeatLine/TestFile/TestFile.txt", getenv("HOME"));

    RemRepLineAndWriResFile(szTestFile);   // 调用函数完成去重及写文件的操作

    return 0;              
}


/**********************************************************************
* 功能描述：去除源文件中的重复行, 并将去重之后的内容写入结果文件中
* 输入参数：pszTestFile-带路径的测试文件名
* 输出参数：无
* 返 回 值：无
* 其它说明：无
* 修改日期       版本号        修改人            修改内容
* ---------------------------------------------------------------
* 20151209        V1.0     Zhou Zhaoxiong          创建
***********************************************************************/
void RemRepLineAndWriResFile(UINT8 *pszTestFile)
{
    UINT8      szContentLine[256] = {0};
    UINT32     iLineLen           = 0;
    UINT32     iRetVal            = 0;

    FILE       *fp                = NULL; 
    T_FileInfo *ptContentListHead = NULL;
    T_FileInfo *ptContentListTail = NULL;
    T_FileInfo *ptCurrentContent  = NULL; 

    if (pszTestFile == NULL)
    {
        printf("RemRepLineAndWriResFile: pszTestFile is NULL!\n");
        return;
    }

    printf("RemRepLineAndWriResFile: now, begin to process file %s\n", pszTestFile);

    if ((fp = fopen(pszTestFile, "r")) == NULL) 
    {
        printf("RemRepLineAndWriResFile: open file %s failed!\n", pszTestFile);
        return;
    }
    else
    {
        ptContentListHead = NULL;
        ptContentListTail = NULL; 

        while (feof(fp) == 0 && ferror(fp) == 0)
        {
            memset(szContentLine, 0x00, sizeof(szContentLine));
            if (fgets(szContentLine, sizeof(szContentLine), fp) == NULL)    // 从源文件中读取一行内容
            {
                printf("RemRepLineAndWriResFile: get line null, break.\n");
                break;
            }
            else
            {
                printf("RemRepLineAndWriResFile: get content line: %s\n", szContentLine);
            }

            RmNewLine(szContentLine);      // 去掉字符串后面的回车换行符
            RemoveSpaceInStr(szContentLine, strlen(szContentLine));  // 去掉字符串中的空格

            iLineLen = strlen(szContentLine); 
            if (iLineLen == 0)        // 如果该行的有效长度为0, 则继续读取下一行
            {
                printf("RemRepLineAndWriResFile: the length of line is 0, continue to read the next content line.\n");
                continue;
            }

            if (ptContentListHead != NULL)    // 判断当前行是否已经存在了
            {
                iRetVal = IsInList(ptContentListHead, szContentLine);
                if (iRetVal == 1)   // 已经存在
                {
                    printf("RemRepLineAndWriResFile: this content line has already existed.\n");
                    continue;
                }
            }

            // 将当前行加入链表中
            ptCurrentContent = (T_FileInfo *)malloc(sizeof(T_FileInfo));
            if (ptCurrentContent == NULL)
            {
                printf("RemRepLineAndWriResFile: exec malloc failed, memory may be not enough.\n");
                return;
            }

            memcpy(ptCurrentContent->szContentLine, szContentLine, strlen(szContentLine));

            if (ptContentListHead == NULL)   // 链表为空时作为链表头
            { 
                ptContentListHead = ptCurrentContent;
                ptContentListTail = ptCurrentContent;
            }
            else
            {
                if (ptContentListTail != NULL)  // 插入链表尾部
                {

                    ptContentListTail->pNext = ptCurrentContent;
                    ptContentListTail        = ptCurrentContent;
                }
            }
        }
        // 源文件使用完毕
        fclose(fp);
        fp = NULL;
    }

    // 将去重之后的结果写入文件中
    WriteToFile(ptContentListHead);

    // 清空链表
    ClearList(ptContentListHead);   
    ptContentListHead = NULL;
}


/**********************************************************************
* 功能描述：去掉字符串后面的回车换行符
* 输入参数：pInStr-输入字符串
* 输出参数：无
* 返 回 值：无
* 其它说明：无
* 修改日期       版本号        修改人            修改内容
* ---------------------------------------------------------------
* 20151209        V1.0     Zhou Zhaoxiong          创建
***********************************************************************/
void RmNewLine(UINT8 *pInStr)
{
    UINT32  iStrLen = 0;

    if (pInStr == NULL)
    {
        printf("RmNewLine: pInStr is NULL!\n");
        return;
    }

    iStrLen = strlen(pInStr);
    while (iStrLen > 0)
    {
        if (pInStr[iStrLen-1] == '\n' || pInStr[iStrLen-1] == '\r')
        {
            pInStr[iStrLen-1] = '\0';
        }
        else
        {
            break;
        }

        iStrLen --;
    }
}


/**********************************************************************
* 功能描述：判断某行内容是否已经存在于链表中了
* 输入参数：pInStr-输入字符串
* 输出参数：无
* 返 回 值：1-存在  0-不存在
* 其它说明：无
* 修改日期       版本号        修改人            修改内容
* ---------------------------------------------------------------
* 20151209        V1.0     Zhou Zhaoxiong          创建
***********************************************************************/
UINT32 IsInList(T_FileInfo *ptContentListHead, UINT8 *pszContentLine)
{
    T_FileInfo  *pTmpInfo = ptContentListHead;

    if (ptContentListHead == NULL || pszContentLine == NULL)
    {
        printf("IsInList: input parameter(s) is NULL!\n");
        return 0;
    }

    while (pTmpInfo != NULL)
    {
        if (strncmp(pszContentLine, pTmpInfo->szContentLine, strlen(pszContentLine)) == 0)   // 存在于链表中
        {
            return 1;
        }
        pTmpInfo = pTmpInfo->pNext;   
    }

    if (pTmpInfo == NULL)    // 不存在于链表中
    {
        return 0;
    }
}


/**********************************************************************
 * 功能描述： 把内容写到文件中
 * 输入参数： ptContentListHead-文件记录链表
 * 输出参数： 无
 * 返 回 值： 无
 * 其它说明： 无
 * 修改日期            版本号            修改人           修改内容
 * ----------------------------------------------------------------------
 * 20151209             V1.0          Zhou Zhaoxiong        创建
 ************************************************************************/
void WriteToFile(T_FileInfo *ptContentListHead)
{
    FILE   *fp                  = NULL;
    UINT8   szLocalFile[500]    = {0};
    UINT8   szContentBuf[256]   = {0};

    if (ptContentListHead == NULL)
    {
        printf("WriteToFile: input parameter is NULL!\n");
        return;
    }

    snprintf(szLocalFile, sizeof(szLocalFile)-1, "%s/zhouzhaoxiong/zzx/RemoveRepeatLine/TestFile/ResultFile.txt", getenv("HOME"));
    fp = fopen(szLocalFile, "a+");
    if (fp == NULL)
    {
         printf("WriteToFile: open local file failed, file=%s\n", szLocalFile);
         return;
    }

    while (ptContentListHead != NULL)  
    {
        memset(szContentBuf, 0x00, sizeof(szContentBuf));
        strncpy(szContentBuf, ptContentListHead->szContentLine, strlen(ptContentListHead->szContentLine));
        printf("WriteToFile: LocalFile=%s, ContentBuf=%s\n", szLocalFile, szContentBuf);

        fputs(szContentBuf, fp);
        fputs("\r\n", fp);     // 加上回车换行符
        fflush(fp);

        ptContentListHead = ptContentListHead->pNext;   
    }

    fclose(fp);
    fp = NULL;

    return;
}


/**********************************************************************
* 功能描述： 清除链表
* 输入参数： ptContentListHead-链表指针
* 输出参数： 无
* 返 回 值： 无
* 其它说明： 无
* 修改日期        版本号        修改人          修改内容
* ------------------------------------------------------
* 20151209        V1.0     Zhou Zhaoxiong        创建
***********************************************************************/
void ClearList(T_FileInfo *ptContentListHead)
{
    T_FileInfo *ptContentList = NULL;
    T_FileInfo *pTmpData      = NULL;

    if (ptContentListHead == NULL)
    {
        printf("ClearList: input parameter is NULL!\n");
        return;
    }

    ptContentList = ptContentListHead;
    while (ptContentList != NULL)
    {
        pTmpData = ptContentList;
        ptContentList  = ptContentList->pNext;
        free(pTmpData);
    }
}


/**********************************************************************
* 功能描述： 清除字符串中的空格
* 输入参数： pszStr-输入的字符串
             iStrLen-最大长度
* 输出参数： 无
* 返 回 值： 无
* 其它说明： 无
* 修改日期        版本号     修改人            修改内容
* ------------------------------------------------------
* 20151209        V1.0     Zhou Zhaoxiong        创建
***********************************************************************/
void RemoveSpaceInStr(UINT8 *pszStr, UINT32 iStrLen)
{
    UINT8  szResult[256] = {0};
    UINT8  szBuf[256]    = {0};      
    UINT32 iLoopFlagSrc  = 0;
    UINT32 iLoopFlagDst  = 0;       

    if (pszStr == NULL)
    {
        return;
    }

    memcpy(szBuf, pszStr, iStrLen);

    for (iLoopFlagSrc = 0; iLoopFlagSrc < strlen(szBuf); iLoopFlagSrc ++)
    {
        if (szBuf[iLoopFlagSrc] != ' ')
        {
            szResult[iLoopFlagDst] = szBuf[iLoopFlagSrc];
            iLoopFlagDst ++;
        }
    }

    szResult[iLoopFlagDst+1] = 0;

    memcpy(pszStr, szResult, iStrLen);

    return;
}

(本文中的程序已提交到了GitHub上，欢迎下载阅读：https://github.com/zhouzxi/RemoveRepeatLine)

周兆熊-IT
关注
  • 6
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
关于c语言文件读写最后一行重复的问题
kidlalala的博客
03-06 5699
这几天忙于做课程设计 在初步完成后，出现了文件末尾重复读取的问题 操作系统使用的是ubuntu 16.04     linux下不支持fflush函数 首先采用小程序测试 写入文件： #include #include int main() { FILE *fp=fopen("haha.txt","w"); fprintf(fp,"%s %d %s\n","haha",
c语言读取txt最后一行重复,C语言文件读取最后一条记录重复输出解决办法
weixin_31021649的博客
05-21 1813
实现功能为学生信息的输入，然后存储到二进制文件student.dat中，且可以从中读出，然后显示。原程序如下：//从键盘输入2个学生的信息，并用这些信息建立一个名为student.dat的磁盘文件，然后再从文件读出信息并显示在屏幕上#include#define SIZE2structstudent{charname[10];int age;int score;char addr[30];};in...
pandas.isin(list)
qq_39474168的博客
08-20 522
问题场景： 有一个csv700w+条数据 ，# 问题描述： 提示：这里描述项目中遇到的问题： 例如：数据传输过程中数据不时出现丢失的情况，偶尔会丢失一部分数据 APP 中接收数据代码： @Override public void run() { bytes = mmInStream.read(buffer); mHandler.obtainMessage(READ_DATA, bytes, -1, buffer).sendToTarget();
c语言文本去重复行代码,C语言过滤重复文本数据+代码【原创】
weixin_29928971的博客
05-25 314
该楼层疑似违规已被系统折叠隐藏此楼查看此楼【原创】#include"stdio.h"#include"stdlib.h"#include"string.h"#include"fp.c"void main(){FILE *fp;int j=0,i=0;int k,m=0;int a,b;int o=0;char str[1024][512];time_t timep;time (&time...
PYTHON简单代码去除TXT文档重复行内容去重复
TelNet2010的博客
02-03 8769
PYTHON简单代码去除TXT文档重复行内容去重复 fi = open('test.txt', 'r') # 打开需要处理的test.txt。 txt = fi.readlines() with open('test_OK.txt', 'a') as f:#创建处理去重复后的结果保存文档，防止找不到文件出错 f.close() for w in txt: fi2 = open('test_OK.txt', 'r') txt2 = fi2.readlines() with op
qt调用c语言代码（c语言的代码写在c文件中）
03-30
qt调用c语言代码（c语言的代码写在c文件中）
C语言实现的汉诺塔演示程序（附源文件和应用文件）
11-10
C语言实现的汉诺塔演示程序（附源文件和应用文件）
不重复随机点名程序及源文件
05-19
这是使用Python3.6编写的一个不重复随机点名的程序，有图形界面，可以用在课堂上和联谊活动里随机点名，而且可以做到不重复！非常适合老师们上课抽查学生，抽完所有名单后就会提示点名结束，简单易用。随资源奉上源...
Kettle的去除完全重复数据、Kettle的去除不完全重复数据、Kettle的使用js代码组件【ktr源文件】
12-26
Kettle的去除完全重复数据、Kettle的去除不完全重复数据、Kettle的使用js代码组件【ktr源文件】 本次实验内容如下： 1. 掌握基于Kettle的去除完全重复数据 2. 掌握基于Kettle的去除不完全重复数据 3. 掌握基于...
文本文件，删除重复行(exe文件)
10-31
删除100万行、100M的文本文件重复行，只需0.3秒。 pascal语言编写，压缩包内有两个版本，一个是Delphi7编译的版本，一个是Free pascal编译的版本，Delphi7版本稍快一点。
Eeyes:Eeyes(棱眼)-快速筛选真实IP并整理为C段
04-06
Eeyes(棱眼)-快速筛选真实IP并整理为C段 Eeyes(棱眼)是之前写的工具，旨在获取到大量域名之后，获取其中真实IP并整理成c段，有助于在src中或红蓝攻防中快速定位目标的真实资产，可结合棱洞使用，识别cdn的准确率是网络环境决定的。 ______ __ ______ / ____/___/ /___ ____/_ __/__ ____ _____ ___ / __/ / __ / __ `/ _ \/ / / _ \/ __ `/ __ `__ \ / /___/ /_/ / /_/ / __/ / / __/ /_/ / / / / / / /_____/\__,_/\__, /\___/_/ \___/\__,_/_/ /_/ /_/ /____/ https://forum.ywhack.com By
删除重复文本程序-删除重复文本程序
12-20
工作需要自己写的用C++写的 删除重复文本程序 程序功能: 删除重复文本程序,检索txt文本中所有的行,找出重复的行内容并删除
文本文件，删除重复行
12-13
删除100万行、100M的文本文件重复行，只需0.3秒。 pascal语言编写，压缩包内有两个版本，一个是Delphi7编译的版本，一个是Free pascal编译的版本，Delphi7版本稍快一点。
文本文件中删除某一行怎么实现
08-26
文本文件 中删除某一行怎么实现 C++编程
超简单的删除文件中重复行的方法及详解
llflw_ukey的专栏
11-08 2941
用下面这个命令可以很简单方便的删除掉一个方伯
面试题：超大文件去除重复行
xxxxxzz123的博客
04-26 2642
先看问题的简化版本： 题目描述：有一个文件，其大小不大，可以全部装入内存，要求去除文件中重复的行。 solution： 遍历每一行，先查找是不是已经存在unordered_set中，如果存在，跳过，如果不存在，接到输出文件后面。 代码: //去除单个小文件中的重复行 void deleteDuplicateRow(string &originFile, string &resFile) { string curRow; unordered_set<string>se; if
C语言中结构体参数变量的传递
热门推荐
周兆熊的专栏
06-17 2万+
【文章摘要】       在C语言中，结构体参数变量经常作为函数的参数来进行传递。但如果参数设置不当，会出现内存问题。       本文以实际的程序代码为例，详细地介绍如何正确地使用结构体参数变量，为相关的开发工作提供了参考。【关键词】       C语言  结构体  函数  参数  传递 一、前言       本文中的程序实现对员工信息结构体字段赋值并打印出来的功能。该结构体的定义如下：// 员
实现多个源文件在一个c程序中的运行。c语言
最新发布
06-10
要实现多个源文件在一个c程序中的运行，需要使用头文件和函数声明。以下是简单的步骤： 1. 创建多个.c文件，每个文件包含不同的函数实现。例如，一个文件包含主函数，另一个文件包含其他功能函数。 2. 在每个.c...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

周兆熊-IT

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值