浮点与定点运算以及数据定标和精度问题
计算机体系结构中浮点和定点数据的表示
1、定点数：定点数指小数点在数中的位置是固定不变的，通常有定点整数和定点小数或者说是定点分数。在对小数点位置作出选择之后即定标定了q值后，运算中的所有数均应统一为定点整数或定点小数，在运算中不再考虑小数点的位置问题。（1）定义：数据中小数点位置固定不变的数（2）种类：定点整数、定点小数(分数fraction)（3）小数点在符号位与有效位之间，需要注意的是 定点数受字长的限制，超出范围会有溢出。2、浮点数：浮点数中小数点的位置是不固定的，用指数和尾数来表示。通常尾数为纯小数，指数为整数，尾数和指数均为带符号数。尾数的符号表示数的正负；指数的符号则表明小数点的实际位置。（1）形式：v＝mx2e（2）m：尾数mantissa（3）e：指数exponent（4）在计算机中m和e表示形式为尾数符号、指数、尾数
需要注意的是，浮点数的精度由尾数决定，数的表示范围由指数决定。ieee754的浮点表示
a) 两种基本浮点格式：单精度和双精度。
ieee单精度格式具有24位有效数字（1个符号位，23位尾数），8位的指数部分，总共占用32 位。ieee双精度格式具有53位有效数字精度（1个符号位，52位尾数），11位的指数部分，并总共占用64位。
说明：基本浮点格式是固定格式，相对应的十进制有效数字分别为7位和17位。基本浮点格式对应的c/c++类型为float和double。
b) 浮点到定点的四种舍入(截断)方向：
向最接近的可表示的值；当有两个最接近的可表示的值时首选偶数值；向负无穷大（向下）；向正无穷大（向上）以及向0（截断）。
说明：舍入模式也是比较容易引起误解的地方之一。ieee 754标准根本不支持四舍五入模式，它的默认模式是最近舍入（round to nearest），它与四舍五入只有一点不同，对.5的舍入上，采用取偶数的方式。如：
最近舍入模式：round(0.5) = 0; round(1.5) = 2; round(2.5) = 2;
四舍五入模式：round(0.5) = 1; round(1.5) = 2; round(2.5) = 3;
向0（截断）舍入：c/c++的类型转换。(int) 1.324 = 1，(int) -1.324 = -1;
向负无穷大（向下）舍入：c/c++函数floor()。例如：floor(1.324) = 1，floor(-1.324) = -2。
向正无穷大（向上）舍入：c/c++函数ceil()。ceil(1.324) = 2。ceil(-1.324) = -1;
后两种舍入方法据说是为了数值计算中的区间算法，但很少被应用。
3、定点数与浮点数区别定点表示法运算直观，但数的表示动态范围较小(对于32位定点整数而言，数据范围只能从-2147483648到2147483647)，不同的数运算时要考虑比例因子的选取，以防止溢出，对于某些应用场合，如高品质音频，要求高达24bit即144db的动态范围，使用定点运算就需要不断的调整比例因子以满足精度要求。浮点表示法运算时可以不考虑溢出（即使对于32位单精度浮点而言，其数据范围也能从，但浮点运算在实际的平台实现复杂度较高，即运算复杂度较高，要掌握定、浮点数的转换方法及浮点数规格化方法。
单精度格式浮点数表示范围 指数 尾数 数值(二进制) 数值(十进制)最大数 0xfe 0x7fffff 1.(23个1) * 2^(+127) 3,4028236692093846346337460743177e+38最小数 0x1 0x0 1.(23个0) * 2^(-126) 1,1754943508222875079687365372222e-38最小弱规范数 0x0 0x1 0.(22个0)1 * 2^(-126) 1,4012984643248170709237295832899e-45
定点数据的定标q
一般的定点处理器的寄存器字长都是有限的，一般为16位或者32位，还有24位的dsp处理器，当然字长越长，所能表示的数据范围越大，精度也越高。定点dsp芯片的数以2的补码形式表示，以16位字长为例。每个16位数用一个符号位来表示数的正负，0表示数值为正，l则表示数值为负。其余15位表示数值的大小。因此，二进制数0010000000000000b=0x2000h=8192二进制数1111111111111100b=0xfffch=-4对于定点处理器而言，它并不清楚数据的小数点位置，它只能根据指令把数据做统一的运算处理，此时程序员需要确定小数点的位置即定标，然后定标过程中需要考虑数据的动态范围和精度要求。定点数的定标一般采用q表示法，q表示小数点在字宽中的位置。同样一个16位数，若小数点设定的位置不同（即定标不同），它所表示的数也就不同。例如，16进制数2000h=8192，用q0表示16进制数2000h=0.25，用q15
显然，不同的q所表示的数不仅范围不同，而且精度也不相同。q越大，数值范围越小，但精度越高；相反，q越小，数值范围越大，但精度就越低。例如，q0 的数值范围是一32768到+32767，其精度为1，而q15的数值范围为-1到0.9999695，精度为1/32768=0.00003051。因此，对定点数而言，数值范围与精度是一对矛盾，一个变量要想能够表示比较大的数值范围，必须以牺牲精度为代价；而想精度提高，则数的表示范围就相应地减 小。在实际的定点算法中，为了达到最佳的性能，必须充分考虑到这一点，即权衡动态范围和精度。浮点数与定点数的转换关系可表示为：浮点数(x)转换为定点数(xq)：xq=(int)x* 2q，当然浮点转换为顶点时需要考虑以上提到的舍入方式，不同的舍入方式，其精度也不同。定点数(xq)转换为浮点数(x)：x=(float)xq*2-q
定点模拟的浮点操作
浮点的加减法需要先把小数点统一到一个相同的位置，然后再加减，统一小数点位置可以用左移到一个q值高的定点位置或者右移到q值低的定点位置，显然左移的实现需要保证加减的结果不会导致溢出，而右移的方法需要考虑数据精度是否满足需求。一般的dsp处理器都不会考虑加减运算导致的数值溢出问题，因而程序员需要用更长的字长来防止溢出，或者采用饱和的方式以防止数据的上溢或者下溢，有些dsp芯片会有专门的饱和加减的操作，有些dsp还会包含更长字长的累加器来存储加减的结果以防止溢出。
定点乘法运算的模拟，则需要知道乘数和被乘数的q值以及乘积结果的q值，设浮点乘法运算的表达式为：float x，y，z；z=xy；假设经过统计后x的定标值为qx，y的定标值为qy，乘积z的定标值为qz，则z=xyzq*2-qx=xq*yq*2-(qx+qy)zq=(xqyq)2qz-(qx+qy)所以定点表示的乘法为：int x，y，z；long temp；temp=(long)x；z=(temp*y)>>(qx+qy-qz)；例 定点乘法。设x=18.4，y=36.8，则浮点运算值为=18.4*36.8=677.12；根据上节，得qx=10，qy=9，qz=5，所以x=18841；y=18841；temp=18841l；z=(18841l*18841)>>(10+9-5)=354983281l>>14=21666；因为z的定标值为5，故定点z=21666，即为浮点的z=21666/32=677.08。
对于定点除法运算而言，和乘法类似，需要清楚数据的q值，然后对结果做调整。设浮点除法运算的表达式为：float x，y，z；z=x/y；假设经过统计后被除数x的定标值为qx，除数y的定标值为qy，商z的定标值为qz，则z=x/yzq*2-qz=(xq*2-qx)/(yq*2-qy)zq=(xq*2(qz-qx+qy))/yq所以定点表示的除法为：int x，y，z；long temp；temp=(long)x；z=(temp<<(qz-qx+qy))/y；例1.6定点除法。设x=18.4，y=36.8，浮点运算值为z=x/y=18.4/36.8=0.5；根据上节，得qx=10，qy=9，qz=15；所以有z=18841，y=18841；temp=(long)18841；z=(18841l<<(15-10+9)/18841=3o8690944l/18841=16384；因为商z的定标值为15，所以定点z=16384，即为浮点z=16384/215=0.5。
因而为了适应各种定点运算操作，需要清楚操作数和结果的q值，实际上q值对应于变量的动态范围，只要清楚数据的动态范围，也就能确定q值了。一般可以通过对数据的动态范围进行理论和统计的分析来得出合理的动态范围，而且在进行数据操作时，还需要考虑饱和运算以防止溢出。
如何优化定点的运算精度
定点计算需要注意的就是保证精度，数据动态范围很大的情况下，有限的字长表示不了那么大动态范围的情况下，有以下方法保证尽可能高的运算精度
分级缩放数据，以fft计算为例，可以分级scale，蝶形运算的理论表明每一级的增益不会大于2，所以每次蝶形运算后做一次右移要比先把输入数据缩放到不会溢出的水平上精度更高。
normalization的归一化，同样的fft运算，首先根据输入数据的幅度的最大情况，计算一个不会导致溢出的缩放因子，然后对整个输入做归一化的scale，fft之后再de-normalization能显著的提高精度，同时又能适应输入数据较大的动态范围。
pseudo floating-point：即把定点数据表示为指数和尾数的形式，用虚拟浮点数据的方式来满足高动态范围的需求，当然pseudo floating-point的表示还是需要做归一化来求解指数的。
精彩推荐至芯科技12年不忘初心、再度起航12月17日北京中心fpga工程师就业班开课、线上线下多维教学、欢迎咨询！
fpga会取代dsp吗?fpga与dsp区别介绍
fpga vs asic
扫码加微信邀请您加入fpga学习交流群
欢迎加入至芯科技fpga微信学习交流群，这里有一群优秀的fpga工程师、学生、老师、这里fpga技术交流学习氛围浓厚、相互分享、相互帮助、叫上小伙伴一起加入吧！
点个在看你最好看
原文标题：浮点与定点运算以及数据定标和精度问题
文章出处：【微信公众号：fpga设计论坛】欢迎添加关注！文章转载请注明出处。
ABB全新IRB 6640六轴机器人售出，跨入了重大里程碑
IrisVision推出了一套基于智能手机的VR系统,帮助视力障碍人士感知世界
三星显示2018年OLED市场份额将达59% 赶超LCD
精密运算放大器ISL28133的性能特点及应用范围
镭煜科技推出的材料粉体干燥系统能降低50%的能耗，实现快速换型生产
浮点与定点运算以及数据定标和精度问题
如何利用移动设备来对LED屏进行无线控制
一文了解环境变化对电路性能的影响
安世|采用SMD铜夹片LFPAK88封装的热插拔专用MOSFET(ASFET)
小间距LED屏视频处理器的几个关键技术
基于RFID技术的资产管理系统开发与应用
NCP718 LDO线性稳压器的性能特点及应用
美国麻省理工学院设计一种人造突触 精确控制流过的电流强度
电磁式振棒料位开关应用的局限性有哪些
几经波折的兆易创新并购案终于步入最后阶段
Qualcomm宣布业界领先企业将打造骁龙支持的Windows 10 PC
差分晶振电路图如何制作 影响差分晶振价格的原因
阿里云之父王坚的安防野心：联手海康威视、大华
赛普拉斯推出可提高PSoC设计速度和效率的在线知识产权库
移动储能迎来风口，正方科技全新户外移动电源即将上线
1、定点数：定点数指小数点在数中的位置是固定不变的，通常有定点整数和定点小数或者说是定点分数。在对小数点位置作出选择之后即定标定了q值后，运算中的所有数均应统一为定点整数或定点小数，在运算中不再考虑小数点的位置问题。（1）定义：数据中小数点位置固定不变的数（2）种类：定点整数、定点小数(分数fraction)（3）小数点在符号位与有效位之间，需要注意的是 定点数受字长的限制，超出范围会有溢出。2、浮点数：浮点数中小数点的位置是不固定的，用指数和尾数来表示。通常尾数为纯小数，指数为整数，尾数和指数均为带符号数。尾数的符号表示数的正负；指数的符号则表明小数点的实际位置。（1）形式：v＝mx2e（2）m：尾数mantissa（3）e：指数exponent（4）在计算机中m和e表示形式为尾数符号、指数、尾数
需要注意的是，浮点数的精度由尾数决定，数的表示范围由指数决定。ieee754的浮点表示
a) 两种基本浮点格式：单精度和双精度。
ieee单精度格式具有24位有效数字（1个符号位，23位尾数），8位的指数部分，总共占用32 位。ieee双精度格式具有53位有效数字精度（1个符号位，52位尾数），11位的指数部分，并总共占用64位。
说明：基本浮点格式是固定格式，相对应的十进制有效数字分别为7位和17位。基本浮点格式对应的c/c++类型为float和double。
b) 浮点到定点的四种舍入(截断)方向：
向最接近的可表示的值；当有两个最接近的可表示的值时首选偶数值；向负无穷大（向下）；向正无穷大（向上）以及向0（截断）。
说明：舍入模式也是比较容易引起误解的地方之一。ieee 754标准根本不支持四舍五入模式，它的默认模式是最近舍入（round to nearest），它与四舍五入只有一点不同，对.5的舍入上，采用取偶数的方式。如：
最近舍入模式：round(0.5) = 0; round(1.5) = 2; round(2.5) = 2;
四舍五入模式：round(0.5) = 1; round(1.5) = 2; round(2.5) = 3;
向0（截断）舍入：c/c++的类型转换。(int) 1.324 = 1，(int) -1.324 = -1;
向负无穷大（向下）舍入：c/c++函数floor()。例如：floor(1.324) = 1，floor(-1.324) = -2。
向正无穷大（向上）舍入：c/c++函数ceil()。ceil(1.324) = 2。ceil(-1.324) = -1;
后两种舍入方法据说是为了数值计算中的区间算法，但很少被应用。
3、定点数与浮点数区别定点表示法运算直观，但数的表示动态范围较小(对于32位定点整数而言，数据范围只能从-2147483648到2147483647)，不同的数运算时要考虑比例因子的选取，以防止溢出，对于某些应用场合，如高品质音频，要求高达24bit即144db的动态范围，使用定点运算就需要不断的调整比例因子以满足精度要求。浮点表示法运算时可以不考虑溢出（即使对于32位单精度浮点而言，其数据范围也能从，但浮点运算在实际的平台实现复杂度较高，即运算复杂度较高，要掌握定、浮点数的转换方法及浮点数规格化方法。
单精度格式浮点数表示范围 指数 尾数 数值(二进制) 数值(十进制)最大数 0xfe 0x7fffff 1.(23个1) * 2^(+127) 3,4028236692093846346337460743177e+38最小数 0x1 0x0 1.(23个0) * 2^(-126) 1,1754943508222875079687365372222e-38最小弱规范数 0x0 0x1 0.(22个0)1 * 2^(-126) 1,4012984643248170709237295832899e-45
定点数据的定标q
一般的定点处理器的寄存器字长都是有限的，一般为16位或者32位，还有24位的dsp处理器，当然字长越长，所能表示的数据范围越大，精度也越高。定点dsp芯片的数以2的补码形式表示，以16位字长为例。每个16位数用一个符号位来表示数的正负，0表示数值为正，l则表示数值为负。其余15位表示数值的大小。因此，二进制数0010000000000000b=0x2000h=8192二进制数1111111111111100b=0xfffch=-4对于定点处理器而言，它并不清楚数据的小数点位置，它只能根据指令把数据做统一的运算处理，此时程序员需要确定小数点的位置即定标，然后定标过程中需要考虑数据的动态范围和精度要求。定点数的定标一般采用q表示法，q表示小数点在字宽中的位置。同样一个16位数，若小数点设定的位置不同（即定标不同），它所表示的数也就不同。例如，16进制数2000h=8192，用q0表示16进制数2000h=0.25，用q15
显然，不同的q所表示的数不仅范围不同，而且精度也不相同。q越大，数值范围越小，但精度越高；相反，q越小，数值范围越大，但精度就越低。例如，q0 的数值范围是一32768到+32767，其精度为1，而q15的数值范围为-1到0.9999695，精度为1/32768=0.00003051。因此，对定点数而言，数值范围与精度是一对矛盾，一个变量要想能够表示比较大的数值范围，必须以牺牲精度为代价；而想精度提高，则数的表示范围就相应地减 小。在实际的定点算法中，为了达到最佳的性能，必须充分考虑到这一点，即权衡动态范围和精度。浮点数与定点数的转换关系可表示为：浮点数(x)转换为定点数(xq)：xq=(int)x* 2q，当然浮点转换为顶点时需要考虑以上提到的舍入方式，不同的舍入方式，其精度也不同。定点数(xq)转换为浮点数(x)：x=(float)xq*2-q
定点模拟的浮点操作
浮点的加减法需要先把小数点统一到一个相同的位置，然后再加减，统一小数点位置可以用左移到一个q值高的定点位置或者右移到q值低的定点位置，显然左移的实现需要保证加减的结果不会导致溢出，而右移的方法需要考虑数据精度是否满足需求。一般的dsp处理器都不会考虑加减运算导致的数值溢出问题，因而程序员需要用更长的字长来防止溢出，或者采用饱和的方式以防止数据的上溢或者下溢，有些dsp芯片会有专门的饱和加减的操作，有些dsp还会包含更长字长的累加器来存储加减的结果以防止溢出。
定点乘法运算的模拟，则需要知道乘数和被乘数的q值以及乘积结果的q值，设浮点乘法运算的表达式为：float x，y，z；z=xy；假设经过统计后x的定标值为qx，y的定标值为qy，乘积z的定标值为qz，则z=xyzq*2-qx=xq*yq*2-(qx+qy)zq=(xqyq)2qz-(qx+qy)所以定点表示的乘法为：int x，y，z；long temp；temp=(long)x；z=(temp*y)>>(qx+qy-qz)；例 定点乘法。设x=18.4，y=36.8，则浮点运算值为=18.4*36.8=677.12；根据上节，得qx=10，qy=9，qz=5，所以x=18841；y=18841；temp=18841l；z=(18841l*18841)>>(10+9-5)=354983281l>>14=21666；因为z的定标值为5，故定点z=21666，即为浮点的z=21666/32=677.08。
对于定点除法运算而言，和乘法类似，需要清楚数据的q值，然后对结果做调整。设浮点除法运算的表达式为：float x，y，z；z=x/y；假设经过统计后被除数x的定标值为qx，除数y的定标值为qy，商z的定标值为qz，则z=x/yzq*2-qz=(xq*2-qx)/(yq*2-qy)zq=(xq*2(qz-qx+qy))/yq所以定点表示的除法为：int x，y，z；long temp；temp=(long)x；z=(temp<<(qz-qx+qy))/y；例1.6定点除法。设x=18.4，y=36.8，浮点运算值为z=x/y=18.4/36.8=0.5；根据上节，得qx=10，qy=9，qz=15；所以有z=18841，y=18841；temp=(long)18841；z=(18841l<<(15-10+9)/18841=3o8690944l/18841=16384；因为商z的定标值为15，所以定点z=16384，即为浮点z=16384/215=0.5。
因而为了适应各种定点运算操作，需要清楚操作数和结果的q值，实际上q值对应于变量的动态范围，只要清楚数据的动态范围，也就能确定q值了。一般可以通过对数据的动态范围进行理论和统计的分析来得出合理的动态范围，而且在进行数据操作时，还需要考虑饱和运算以防止溢出。
如何优化定点的运算精度
定点计算需要注意的就是保证精度，数据动态范围很大的情况下，有限的字长表示不了那么大动态范围的情况下，有以下方法保证尽可能高的运算精度
分级缩放数据，以fft计算为例，可以分级scale，蝶形运算的理论表明每一级的增益不会大于2，所以每次蝶形运算后做一次右移要比先把输入数据缩放到不会溢出的水平上精度更高。
normalization的归一化，同样的fft运算，首先根据输入数据的幅度的最大情况，计算一个不会导致溢出的缩放因子，然后对整个输入做归一化的scale，fft之后再de-normalization能显著的提高精度，同时又能适应输入数据较大的动态范围。
pseudo floating-point：即把定点数据表示为指数和尾数的形式，用虚拟浮点数据的方式来满足高动态范围的需求，当然pseudo floating-point的表示还是需要做归一化来求解指数的。
精彩推荐至芯科技12年不忘初心、再度起航12月17日北京中心fpga工程师就业班开课、线上线下多维教学、欢迎咨询！
fpga会取代dsp吗?fpga与dsp区别介绍
fpga vs asic
扫码加微信邀请您加入fpga学习交流群
欢迎加入至芯科技fpga微信学习交流群，这里有一群优秀的fpga工程师、学生、老师、这里fpga技术交流学习氛围浓厚、相互分享、相互帮助、叫上小伙伴一起加入吧！
点个在看你最好看
原文标题：浮点与定点运算以及数据定标和精度问题
文章出处：【微信公众号：fpga设计论坛】欢迎添加关注！文章转载请注明出处。
ABB全新IRB 6640六轴机器人售出，跨入了重大里程碑
IrisVision推出了一套基于智能手机的VR系统,帮助视力障碍人士感知世界
三星显示2018年OLED市场份额将达59% 赶超LCD
精密运算放大器ISL28133的性能特点及应用范围
镭煜科技推出的材料粉体干燥系统能降低50%的能耗，实现快速换型生产
浮点与定点运算以及数据定标和精度问题
如何利用移动设备来对LED屏进行无线控制
一文了解环境变化对电路性能的影响
安世|采用SMD铜夹片LFPAK88封装的热插拔专用MOSFET(ASFET)
小间距LED屏视频处理器的几个关键技术
基于RFID技术的资产管理系统开发与应用
NCP718 LDO线性稳压器的性能特点及应用
美国麻省理工学院设计一种人造突触 精确控制流过的电流强度
电磁式振棒料位开关应用的局限性有哪些
几经波折的兆易创新并购案终于步入最后阶段
Qualcomm宣布业界领先企业将打造骁龙支持的Windows 10 PC
差分晶振电路图如何制作 影响差分晶振价格的原因
阿里云之父王坚的安防野心：联手海康威视、大华
赛普拉斯推出可提高PSoC设计速度和效率的在线知识产权库
移动储能迎来风口，正方科技全新户外移动电源即将上线