c语言实现词法分析器

最新推荐文章于 2024-05-19 01:47:03 发布
置顶 最新推荐文章于 2024-05-19 01:47:03 发布
阅读量3.5w 收藏 587
点赞数 92
分类专栏： c语言 文章标签： c语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zmm0628/article/details/121386699
版权

词法分析器的功能:输入源程序，输出单词字符。单词字符一般可以分为下面五种。
（1）关键字 是由程序语言定义的具有固定意义的标识符。有时称这些标识符为保留字或者基本字。例如c语言中的int,char,define,strcut,double,if,else.等等
（2）标识符 用来表示各种名字，如变量名，数组名，过程名。
（3）常数 常数的类型一般有整形，实型，布尔型等
（4）运算符 如+，-，*，/。
（5）界符 如逗号，分号，括号，%，//，等。
词法分析器的目标就是把程序分成一个一个单词。并给出单词符号的种类，以及种类值。
代码实现：
代码是贴的别人的，我在上面改善了一些实现的功能。自己发了三四个小时看明白了。自己完完全全写的确好多东西要学一下。比如一些文件的操作还不是特别的熟悉。等等呀！代码中还用到了结构体，我之前也做过一篇文章分析了，这里用结构体来实现关键字表，应该不是很难的。
普通标识符的种类编码1
无符号整数的种类编码2
“int”,的种类编码3
“char”,的种类编码4
“float”,的种类编码5
“main”,的种类编码6
“double”,的种类编码7
“case”, 的种类编码8
“for”,的种类编码9
“if”,的种类编码10
“auto”,的种类编码11
“else”,的种类编码12
“do”,的种类编码13
“while”,的种类编码14
“void”,的种类编码15
“static”, 的种类编码16
“return”,的种类编码17
“break”,的种类编码18
“struct”,的种类编码19
“const”,的种类编码20
“union”,的种类编码21
“switch”,的种类编码22
“typedef”,的种类编码23
"enum"的种类编码24
（ 的种类编码25
）的种类编码26
[ 的种类编码27
] 的种类编码28
; 的种类编码29
. 的种类编码30
, 的种类编码31
: 的种类编码32
{的种类编码33
} 的种类编码34
% 的种类编码35
" 的种类编码36
\ 的种类编码37
# 的种类编码38
/ 的种类编码39
++的种类编码41
+=的种类编码42
+的种类编码43
–的种类编码44
-=的种类编码45
-的种类编码46
*的种类编码47
=的种类编码48
>= 的种类编码49
> 的种类编码50
等
那个模块不是很清楚的话可以评论哈！！！

/*附录源程序清单：*/

#include<string.h>
#include<stdio.h>
#define   MAX 22             /*分析}表的最大容量*/
#define   RES_MAX   10        /*关键字的最大长度*/
#define   MAXBUF 255         /*缓冲区的大小*/

char   ch =' ';             /*存放读入当前的输入字符*/
int Line_NO;                /*纪录行号*/

struct keywords    /*关键字*/
{
char lexptr[MAXBUF];
int token;
};
struct keywords symtable[MAX];
char str[MAX][10]={"int","char","float","main","double","case", "for","if","auto","else","do","while","void","static", "return","break","struct","const","union","switch","typedef","enum"};

/*对关键字表进行初始化，div,mod,and,or也作为关键字处理*/
/*最小的token是program：3，最大的token是or：24*/
void init() 
{           
	int j;
	for(j=0; j<MAX; j++)
	{
	   strcpy(symtable[j].lexptr,str[j]);
	   symtable[j].token=j+3;   
	}
}

/***************对关键字进行搜索**************/
int Iskeyword(char * is_res){
   int i;
   for(i=0;i<MAX;i++){
     if((strcmp(symtable[i].lexptr,is_res))==0) break;
   }
   if(i<MAX) return   symtable[i].token;
   else return 0;
}

/*****************判断是否为字母*****************/
int IsLetter(char c)
{
   if(((c<='z')&&(c>='a'))||((c<='Z')&&(c>='A'))) return 1;
    else return 0;
}

/*************判断是否为数字**************/
int IsDigit(char c){
   if(c>='0'&&c<='9') return 1;
   else return 0;
}

/***************分析程序**************/
void analyse(FILE *fpin,FILE *fpout){
	/* 输入缓冲区，存放一个单词符号 */
    char arr[MAXBUF];	
    int j=0;
    while((ch=fgetc(fpin))!=EOF){
    /*碰到空格、tab则跳过*/
    if(ch==' '||ch=='\t'){}
    else if(ch=='\n'){Line_NO++;}
/*********************字符串的处理*************************/
   else if(IsLetter(ch)){
       while(IsLetter(ch)|IsDigit(ch)|ch=='_'){
		   if((ch<='Z')&&(ch>='A'))     
		   		ch=ch+32;   /*忽略大小写*/
            arr[j]=ch;
            j++;
            ch=fgetc(fpin);
        }
        /*输入指针回退一个字符*/
        fseek(fpin,-1L,SEEK_CUR);
        arr[j]='\0';
        j=0;
       if (Iskeyword(arr)){   /*如果是关键字*/
            fprintf(fpout,"%s\t\t%d\t\t关键字\n",arr,Iskeyword(arr));
        }else   
			fprintf(fpout,"%s\t\t%d\t\t标识符\n",arr,1); /*普通标识符*/
/*************************数字的处理****************************/      
   }else if(IsDigit(ch)){
	int s=0;
      while(IsDigit(ch)|IsLetter(ch)){
		if(IsLetter(ch)){
            arr[j]=ch;
            j++;
            ch=fgetc(fpin);
			s=1;
		}
	 	else if(IsDigit(ch)){
			arr[j]=ch;
            j++;
            ch=fgetc(fpin);
		}		  
    }
        fseek(fpin,-1L,SEEK_CUR);
        arr[j]='\0';
        j=0;
	if(s==0)
		fprintf(fpout,"%s\t\t%d\t\t无符号整数\n",arr,2) ; 
	else if(s==1)
		fprintf(fpout,"%s\t\t%d\t\t错误\n",arr,3) ; 
      }else switch(ch){           
            case'+' :
            	ch=fgetc(fpin);
            	if(ch=='+'){
            		fprintf(fpout,"%s\t\t%d\t\t自加运算符\n","++",41);
            		break;
				}
				else if(ch=='='){
					fprintf(fpout,"%s\t\t%d\t\t运算符\n","+=",42);
            		break;
				}
            	else
            		fseek(fpin,-1L,SEEK_CUR);
					fprintf(fpout,"%s\t\t%d\t\t运算符\n","+",43);
				break;
            case'-' :
            	ch=fgetc(fpin);
            	if(ch=='-'){
            		fprintf(fpout,"%s\t\t%d\t\t自减运算符\n","--",44);
            		break;
				}
				else if(ch=='='){
					fprintf(fpout,"%s\t\t%d\t\t运算符\n","-=",45);
            		break;
				}
            	else
            		fseek(fpin,-1L,SEEK_CUR);
					fprintf(fpout,"%s\t\t%d\t\t运算符\n","-",46);
				break;
            case'*' :fprintf(fpout,"%s\t\t%d\t\t运算符\n","*",47);break;
            case'(' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","(",25);break;
            case')' :fprintf(fpout,"%s\t\t%d\t\t分界符\n",")",26);break;
            case'[' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","[",27);break;
            case']' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","]",28);break;                      
            case';' :fprintf(fpout,"%s\t\t%d\t\t分界符\n",";",29);break;
            case'=' :fprintf(fpout,"%s\t\t%d\t\t运算符\n","=",48);break;
            case'.' :fprintf(fpout,"%s\t\t%d\t\t分界符\n",".",30);break;
            case',' :fprintf(fpout,"%s\t\t%d\t\t分界符\n",",",31);break;
			case':' :fprintf(fpout,"%s\t\t%d\t\t分界符\n",":",32);break; 
			case'{' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","{",33);break;
			case'}' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","}",34);break; 
			case'%' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","%",35);break;
			case'\"' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","\"",36);break;
			case'\\' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","\\",37);break;  
			case'#' :fprintf(fpout,"%s\t\t%d\t\t分界符\n","#",38);break;
            case'>' :{
				ch=fgetc(fpin);
		        if(ch=='=') 
				 	fprintf(fpout,"%s\t\t%d\t\t运算符\n",">=",49);
		        else {
					fprintf(fpout,"%s\t\t%d\t\t运算符\n",">",50);
					fseek(fpin,-1L,SEEK_CUR);
				}
    		}break;

            case'<' :{
				ch=fgetc(fpin);
		        if(ch=='=') 
				 	fprintf(fpout,"%s\t\t%d\t\t运算符\n","<=",51);
		        else if(ch=='>') 
				 	fprintf(fpout,"%s\t\t%d\n","<>",52);
		        else{
				 	fprintf(fpout,"%s\t\t%d\t\t运算符\n","<",53);
				 	fseek(fpin,-1L,SEEK_CUR);}
            }break;
   /***************出现在/  /之间的全部作为注释部分处理*******************/  
               case'/' :{
			   		ch=fgetc(fpin);
			   		if(ch=='/'){
                      	while(ch!='\n'){
					 		ch=fgetc(fpin);
					  	}
					  }
				    else if(ch=='*'){
                      	while(ch!='/'&&ch!=EOF){
					 		ch=fgetc(fpin);
					  	}
                      	if(ch==EOF) 
					  		fprintf(fpout,"缺少一个'/'");}
				    else {
				   		fprintf(fpout,"%s\t\t%d\t\t运算符\n","/",39);
				   		fseek(fpin,-1L,SEEK_CUR);
						}
				   	break;
                }
   /***************非法字符*******************/                         
               default :fprintf(fpout,"在第%d行无法识别的字符\t%c\n",Line_NO,ch);
        }
    }
}
/**********主程序中完成对输入输出文件的读写***********/
int main(){
   char in_fn[25],out_fn[25];
   FILE * fpin,* fpout;  printf("<<<<<<<<<<<<<<<<<<WELCOME>>>>>>>>>>>>>>>>>>>>>>>>>>>\n");
   printf("..............词法分析程序实验......................\n");
   printf("\n");
   printf(".....目前共有词法程序范例：   1个   \n");
   printf(".....程序范例1：data.txt \n");
   printf(".....输入一个已有的程序:\n");
   scanf("%s",in_fn);
   printf(".....输入你想要保存分析的目标文件名:\n");
   scanf("%s",out_fn);
   fpin=fopen(in_fn,"r");
   fpout=fopen(out_fn,"w");
   fprintf(fpout,"单词符\t\t种类编码\t\t种类\n");
   init();
   analyse(fpin,fpout);
   fclose(fpin);
   fclose(fpout);
   printf(".....程序已分析完成分析并保存至目标文件\n");
   printf("........<谢谢使用>......\n");
   return 0;
}

在这里插入图片描述
在这里插入图片描述
我用这个代码本身做的测试！汉字不能够分析，还有一些字符也没有加进去
如&，|。等有兴趣的小伙伴可以试试！
给大家看看结果！！！
在这里插入图片描述
因为加种类编码，所以可能有些混乱！看懂原理就行了！结构不是很复杂，希望对大家有所帮助。

无关8688
关注
  • 92
    点赞
  • 踩
  • 587
    收藏
    觉得还不错? 一键收藏
  • 32
    评论
专栏目录
词法分析器（c语言实现）
03-18
词法分析器源代码（C语言和c++语言）为编译原理课程设计课题，实现了一个功能简单能够对C文件进行分析的词法分析器
C语言实现词法分析器
08-26
C语言实现词法分析器 本资源讲解了使用C语言实现词法分析器的详细过程，涵盖了词法分析器的基本概念、设计思路、实现步骤、代码实现等方面的知识点。 一、词法分析器的基本概念 词法分析器（Lexer）是编译器的...
编译原理-词法分析器
weixin_61426225的博客
10-24 2783
我们考虑转换到状态1的条件：我们只有在接收到字符a的时候才会转换成状态1，而想要从状态1转换的状态3则必须要再接收一个字符a，考虑状态2，只有在接收到字符b的情况下才会转换到状态2，然后终态一定是以aa或bb结尾吗？我们看到终态还可以接收a|b转圈，所以一定不是以aa|bb结尾，但是要想从初态到终态，一定会经过1、2两个状态中的一个，所以一定会出现连续的aa|bb。这一步进行的意义是将状态之间的转换，变为状态集之间的转换，这样就有可能消除映射不是单值部分映射的问题。
C语言的词法分析器源码实现（Qt / c++编写）
最新发布
biao2488890051的博客
05-19 507
网上找了好些博客，但是实现的都不全，或者压根不太对，代码书写也不太规范，所以自己参考这些博客以及C语言词法规则，用qt重新写了这么一个词法分析器。包括 lexc_language.h 和 lexc_language.cpp 两个文件，总计约600行代码。话不多说，先看效果，然后直接上源码，自我认为本人写的比较清晰，方便阅读和复用的。其实就是一个状态机进行识别，这个网上可以找到很多资料，不赘述了。
用C语言实现简单的词法分析器
ben_xiao_hai的专栏
08-13 1万+
词法分析器又称扫描器。词法分析是指将我们编写的文本代码流解析为一个一个的记号，分析得到的记号以供后续语法分析使用。词法分析器的工作是低级别的分析：将字符或者字符序列转化成记号.。 要实现的词法分析器单词符号及种别码对照表： 单词符号 # begin if then while do End + - * / : : = 种别码
编译原理：词法分析器设计与实现(C语言)
成龙大侠的博客
06-03 2万+
词法分析器设计与实现 待分析的简单的词法 （1）关键字： begin if then while do end 所有的关键字都是小写。 （2）运算符和界符 ： = + - * / < <= <> > >= = ; ( ) # （3）其他单词是标识符（ID）和整型常数（SUM），通过以下正规式定义： ID = letter (letter | digit)* NUM = digit digit* （4）空白由空格、制...
词法分析器（c++）
yizhizhazhahui的博客
11-27 6239
c++，编译原理实验，词法分析器
词法分析器
公众号：风景邮递Yuan的博客
05-17 1334
词法分析器通常使用有限状态自动机（Finite State Automaton，FSA）来实现，它将源代码中的字符序列作为输入，根据预先定义的词法规则，逐个字符地进行状态转换，直到识别出一个完整的词法单元。词法分析器会忽略源代码中的空格、注释等无关字符，只关注代码中的关键字、标识符、运算符、常量等有意义的单词，并将它们转换为一系列记号，供后续的语法分析器使用。词法分析器是编译器中的一个重要组成部分，用于将源代码中的字符序列转换为有意义的单词序列，也称为词法单元或记号。
编译原理 实验一 词法分析器
热门推荐
just_a_new_life
07-03 10万+
编写一个词法分析程序
实现一个词法分析器
dd1235555555的博客
09-24 321
一、实验目的： 设计、编制、调试一个词法分析子程序－识别单词，加深对词法分析原理的理解。 二、实验要求： 1.对给定的程序通过词法分析器弄够识别一个个单词符号，并以二元式(单词种别码，单词符号的属性值)显示。而本程序则是通过对给定路径的文件的分析后以单词符号和文字提示显示。 2.本程序自行规定： (1)关键字"begin","end","if","then","...
C语言实现简易C语言词法分析器
11-01
程序说明： 1、不考虑自定义头文件，#include < 规定这样开头，尖括号前面只能空一格。 2、标识符长度< 100,否则越界。 3、字符(串)常量，长度不可超过1， 但需要结尾。 4、注释会整行打印空行。 5、错误文件输出到error.txt；常量符号表：conTable.txt；变量符号表：varTable.txt；无头文件和注释的程序out.txt；token输出到token.txt 6、错误处理包括：不合法的浮点数，注释不封闭，转义字符不存在，头文件包含错误，程序中有非法字符。 7、为了显示注释不封闭的错误处理，定义超过10个字符的“/*”没有结尾就算不封闭。可以在global.h中进行更改，缓冲区大小，文件名长度，token, conTable, varTable的数组长度都可定义。由于struct中不是指针，比较占用空间，故不可分析太大的程序，容易数组越界。
用纯c语言实现的类c语言词法分析器
12-09
c语言实现的类c语言词法分析器； 内含注释； 从磁盘读取源文件，并将词法分析的结果保存； 为了调试方便，源文件直接读取，使用时应注意设置文件名
用C语言编写的词法分析程序词法分析器
03-29
《编译原理》词法分析程序设计方案,用C语言编写的词法分析器！
词法分析器c语言实现
06-02
本程序能成功识别检测程序中的每一个单词。检测程序中事先定义的关键字、实现过程或者在检测程序中定义的变量，本程序将一二元组输出。否则，本程序将会统一将其归类为undeclared identifier。 该程序是linux平台下的，若在Windows下只需将头文件unistd.h 改为io.h
基于C语言的词法分析程序的设计与实现
毕业作品网站
11-07 1090
本程序实现了以C语言的词法规则子集为基础，在此基础上进行一些修改而成的词法分析器。该词法分析器可识别标识符、常量（含十进制与十六进制的整数、浮点数）、关键字、分界符、运算符等词法类型，可以进行分词并输出每个词的编码，类型与单词属性，可以检查源程序中存在的词法错误，本文转载自http://www.biyezuopin.vip/onews.asp?实验报告需严格遵循学校文档规范，内容包含对应文法、词类编码表、词法分析测试用例。2、语言说明：词法分析器所包含C语言子集相应的文法/正规式/状态转换图。
C语言词法分析器源代码
wx6430的专栏
10-22 1663
<br />#include <iostream> #include<string> using namespace std; #define MAX 22 char ch =' '; string key[15]={"begin","end","if","then","else","while","write","read", "do", "call","const","char","until","procedure","repeat"};
词法分析程序设计与实现(C语言)
Cha3043445754的博客
04-12 448
【代码】词法分析程序设计与实现(C语言)

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 32
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值