低精度算子单测开发规范¶

Step1：确定任务情况¶

任务明细表见附录

1. 寻找任务

   在任务总表中查看‘实际开发者’字段，寻找到自己的算子/单测开发任务

2. 算子对应单侧文件位置

   算子对应的单测在目录test/legacy_test下，每个算子对应的单测文件可参考任务总表中的 ‘单测文件’ 字段

3. 算子对应类别

   算子所属类别可以参考 ‘分类’ 字段

4. 判断算子需要添加还是完善单测

   算子需要完成的任务在 ‘任务统计’ 字段中给出，主要分为 2 个类别：

   1. ‘增加 FP16 支持’字段为‘是’。 需要添加 FP16 算子支持（参考低精度算子支持开发规范），同时需要添加 FP16 的单测支持，单测添加过程参考 Step2。

   2. ‘增加 FP16 支持’字段为空，‘完善 FP16 单测’字段为‘是’ 。需要完善 FP16 单测，单测相应问题在 ‘单测添加所需注意事项或存在问题’ 中给出，主要分为两类

      1. 补充单测。参考 Step2。

      2. 修改阈值设置。参考 Step2 的 3、4。

Step2：具体单测添加步骤¶

单测添加原则：

1. 若有 FP32 类型的 OpTest，则 FP16 的 OpTest 测例数量需与之对应

2. 若无 FP32 类型 OpTest，只有 API Test，则需添加 FP32 及 FP16 的 OpTest，添加过程见 2，添加测例数量与 API Test 对应

class TestAFP16OP(OpTest):
    #...
    def setUp(self):
        #self.op_type 用来指定当前 OP 的类型，可参考同单测文件下的 op_type
        self.op_type = 'A'
        #dtype 需要设置为 np.float16 形式
        self.dtype = np.float16
        #生成初始输入数据 x，通常使用 numpy.random 包
        x = np.random.rand(2，3，5).astype(np.float32)
        #计算输出数据 out
        #复杂的计算可以自己编写函数完成计算
        #简单的计算可以直接在 setUp 中计算，如加法等
        out,... = self.compute_output(x,...)
        #inputs 需要传入 FP16 类型的数据，用作单测的输入数据
        self.inputs = {'X': x.astype(self.dtype)}
        #outputs 需要传入 FP32 类型的数据，用作单测的参考数据
        self.outputs = {'Out': out}

    #op_type = 'sequence_reshape'的单测中的 compute_coutput
    def compute_output(self, x, x_lod, dimension):
        x_width = x.shape[1]
        out_lod = [[]]
        for i in range(len(x_lod[0])):
            seq_len = x_lod[0][i]
            offset = (seq_len * x_width) / dimension
            assert int(offset) * dimension == seq_len * x_width
            out_lod[0].append(int(offset))
        out = np.zeros(shape=(sum(out_lod[0]), dimension)).astype('float64')
        out.ravel()[:] = x.ravel()[:]
        return out, out_lod

class TestAFP16OP(OpTest):
    #...
    def test_check_output(self):
        if core.is_compiled_with_cuda():
            place = core.CUDAPlace(0)
            if core.is_float16_supported(place):
                #使用 atol 指定前向计算的绝对误差阈值
                self.check_output_with_place(place, atol=1e-3)

class TestSumOpFP16(OpTest):
    #...
    def setUp(self):
        #...
        x = np.random.uniform(0, 0.1, (1000)).astype('float32')
        #...
    def test_check_output(self):
        self.check_output(check_eager=True, atol=0.03125)

def TestAFP16OP(OpTest):
    #...
    def test_check_grad(self):
        if core.is_compiled_with_cuda():
            place = core.CUDAPlace(0)
            if core.is_float16_supported(place):
                #使用 max_relative_error 指定反响的相对误差阈值
                self.check_grad_with_place(place, ['X'], 'Out', max_relative_error=1e-2)

Step1：确定任务情况¶

1. 寻找任务

   a. 在任务总表中查看‘实际开发者’字段，寻找到自己的算子/单测开发任务

2. 算子对应单侧文件位置

   a. 算子对应的单测在目录test/legacy_test下，每个算子对应的单测文件可参考任务总表中的 “单测文件” 字段

3. 算子对应类别

   a. 算子所属类别可以参考 ‘分类’ 字段，按照 Step2 部分的指引添加相应的单测

4. 判断算子需要添加还是完善单测

   a. 算子需要完成的任务在 ‘任务统计’ 字段中给出，主要分为 2 个类别：

   1. ‘增加 BF16 支持’ 字段为 ‘是’ 。需要添加 BF16 算子支持（参考算子添加规范），同时需要添加 BF16 的单测支持，单测添加过程参考 Step2。

   2. ‘增加 BF16 支持’ 字段为 空 ， ‘完善 BF16 单测’ 字段为‘是’ 。需要完善 BF16 单测，单测相应问题在 ‘单测添加所需注意事项或存在问题’ 中给出，主要分为两类

      1. 补充单测

      2. 修改阈值设置

Step2：具体单测添加步骤¶

def TestABF16(OpTest):
    #...
    def setUp(self):
        #self.op_type 用来指定当前 OP 的类型，可参考同单测文件下的 op_type
        self.op_type = 'A'
        #dtype 需要设置为 np.uint16 形式
        self.dtype = np.uint16
        #生成初始输入数据 x,通常使用 numpy.random 包
        x = np.random.rand(2，3，5).astype(np.float32)
        #计算输出数据 out
        #复杂的计算可以自己编写函数完成计算
        #简单的计算可以直接在 setUp 中计算，如加法等
        out = compute_out(x)
        #inputs 需要传入 uint16 类型的数据，使用 convert_float_to_uint16 来获得
        self.inputs = {'X': convert_float_to_uint16(x)}
        #outputs 需要传入 uint16 类型的数据，使用 convert_float_to_uint16 来获得
        self.outputs = {'Out': convert_float_to_uint16(out)}

def TestABF16(OpTest):
    #...
    def test_check_output(self):
        self.check_output(atol=1e-2)

def TestABF16(OpTest):
    #...
    def test_check_grad(self):
        self.check_grad(['X'], 'Out', max_relative_error=1e-2)

3.1 本地环境验证¶

建议优先通过本地环境进行调试。

1. 编译时，请打开测试选项 -DWITH_TESTING=ON ，并使用 make -j$(nproc)完成 Paddle 编译

   cmake .. -DWITH_GPU=ON -DWITH_TESTING=ON
   make -j $(nproc)
   

2. pip 安装编译好的 whl 包，位于 build/python/dist 下。

   pip install python/dist/paddlepaddle-0.0.0-cpXX-cpXXm-linux_x86_64.whl
   

3. 运行单测，验证是否通过。

   # 指定单测
   make test ARGS="-R test_mul_op -V"   # test_xxx 是单测文件名称
   或
   ctest -R test_mul_op [-V] #-V 可以打印详细的测试信息
   

4. 如果通过，则添加正确；如果没有通过，请根据报错信息完成修改。

3.2 CI 验证¶

1. 提交 PR 以后，CI 会对本次修改进行检查，出错的单测将被报出，可在全量日志中这次报错是否与本次修改有关

3.3 特定 CI 的 Approve¶

1. 对于单测精度阈值（atol, max_relative_error 等）的修改会出触发 CI-Approval，请根据 CI 报错的指引，请对应的 RD review 并 approve 这个 PR

1. op_type、op_name 和测试文件对应关系¶