NVDLA epython 代码自动生成脚本深度解析

epython全称为embedded python utility。 

该脚本用于从源文件（如verilog文件中）执行内嵌的python代码，并生成期望的输出代码。当用户需要进行一些重复，冗余或模块化编码工作时，它可以被视为自动代码生成器。在输入文件的特定注释中找到的嵌入式python脚本执行并捕获输出到文件中。

默认输出文件是一个临时文件，其名称为后缀“.python”添加到原始输入文件名：<INPUT_FILE_NAME> .python。或者，用户可以指定输出文件或自我更新。

输入文件中具有以下格式的行被识别为嵌入的python脚本：

//：| <python>

输入文件中的嵌入脚本的执行结果会插入以下语句之间：

// :) epython：generated_beg（DO NOT EDIT BELOW）
...
// :) epython：generated_end（DO NOT EDIT ABOVE）

相邻的嵌入式脚本行定义了多行python脚本，而非相邻的嵌入式脚本行定义了多个python脚本。

//：| <python script 1  - line 1>
//：| <python script 1  - line 2>

VS

//：| <python script 1  - line 1>

//：| <python script 2  - line 2>

例：

//：| for i in range（0,2）：
//：| print（“Hello World：％0d”％i）
// :) epython：generated_beg（DO NOT EDIT BELOW）
Hello World: 0
Hello World: 1
// :) epython：generated_end（DO NOT EDIT ABOVE）

脚本将被分成几块依次讲解：

1. 导入需要的库

#!/usr/bin/env python

import os
import sys
import argparse
import re
import io

2. 使用argparse库，处理输入命令行参数

parser = argparse.ArgumentParser(formatter_class=argparse.RawDescriptionHelpFormatter, description=__DESCRIPTION__)
parser.add_argument('-u', '--update', dest='update', action='store_true', default=False, help='update mode, output generated codes to input file')
parser.add_argument('file', type=str, help='Specify source input file')
parser.add_argument('-o', '--output', dest='output', type=str, help='Specify ouput file, if not, work in update mode')
parser.add_argument('-p', '--project', dest='project', type=str, required=True, help='Specify project name')
args = vars(parser.parse_args())

3. 设置project 名称，并根据project名称从项目根目录的outdir中找到project目录，并从project目录中找到spec/defs，spec/manual，将这个目录的路径添加到环境变量PATH中，并将根目录下的verif/tools的路径添加到PATH中。

函数get_ref_tot_path（）使用递归查找，含有LICENSE文件的文件夹的路径，含有LICENSE文件的文件夹即为项目根目录。

TOT:  Top of Tree, refer to the root of NVDLA HW repository nvdla/hw

class AddModulePath:
    ''' Use file LICENCE as TOT marker '''

    def __init__(self, project):
        self._ref_tot_path = '.'
        self._project      = project

    def get_ref_tot_path(self):
        tot_marker = os.path.join(self._ref_tot_path, 'LICENSE')
        if os.path.isfile(tot_marker) is False:
            self._ref_tot_path = os.path.join('..', self._ref_tot_path) 
            self._ref_tot_path = self.get_ref_tot_path()
        return self._ref_tot_path

    def set_module_path(self):
        self.get_ref_tot_path()
        defs_path       = os.path.join(self._ref_tot_path, 'outdir', self._project, 'spec/defs')
        manual_path     = os.path.join(self._ref_tot_path, 'outdir', self._project, 'spec/manual')
        verif_tool_path = os.path.join(self._ref_tot_path, 'verif/tools')
        sys.path.append(defs_path)
        sys.path.append(manual_path)
        sys.path.append(verif_tool_path)

4. processFile 类，读取要处理的文件，并根据内嵌python脚本的关键字，匹配出python脚本并存放在scripts变量中，第一行Python脚本中的第一个锚定正则表达式会被视为将要生成的输出的缩进。当遇到普通文件行的时候，则内容连续内嵌python脚本结束，117行调用codes_gen执行python并获得输出。

5.接下来，执行内嵌Python脚本，并为输出文本添加文件头和尾。之所以加入此关键字，也是为了如果重复执行python脚本，不会再次生成输出并嵌入verilog文件中，上图中110行gen_flag即为控制knob。

 上图中的exe_python函数很有意思。在Python中，文件对象sys.stdin、sys.stdout和sys.stderr分别对应解释器的标准输入、标准输出和标准出错流。在程序启动时，自动与Shell环境中的标准输入，输出，错误关联，这些对象的初值由sys.__stdin__、sys.__stdout__和sys.__stderr__保存，以便用于收尾(finalization)时恢复标准流对象。上图中153行将系统stdout重定向到myout对象，154行执行内嵌的python脚本，脚本输出会重定向到myout。155行恢复stdout, 156行返回myout中存储的内嵌python脚本的执行结果。

6. 生成代码示例，图中project是

被加入PATH环境变量的defs下面的project.py。