比较迭代次数的分布宽度和密度
在行列可自由变换的平面上,2点结构有3个
( A, B )---6*30*2---( 1, 0 )( 0, 1 )
做一个3层网络分类A和B,让训练集A是3个2点结构,B全为0. 收敛误差为7e-4,收敛199次,统计迭代次数的平均值。
迭代次数为
1 | 2 | 3 |
27337.2 | 33768.2 | 22764.2 |
3点结构有6个
迭代次数为
1 | 2 | 3 | 4 | 5 | 6 |
10515.9 | 27172.7 | 26861.5 | 22485.28 | 38497.51 | 20693.82 |
4点结构有16个
迭代次数为
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 |
2856.2 | 9134.4 | 11766 | 7058.2 | 24572 | 27120 | 27892 | 33555 | 24201 | 17590 |
11 | 12 | 13 | 14 | 15 | 16 | ||||
30700 | 22764 | 42801 | 24280 | 27268 | 19536 |
5点结构有34个
迭代次数为
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 |
2811.3 | 2951 | 2471.5 | 4619.6 | 6007.6 | 9160.1 | 9780.5 | 8252.2 | 11216 | 12969 |
11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 |
5725.2 | 9868.4 | 10970 | 14103 | 18150 | 18266 | 28050 | 25995 | 23659 | 24182 |
21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 |
21305 | 30696 | 14583 | 13263 | 27184 | 23822 | 29172 | 29116 | 17823 | 26830 |
31 | 32 | 33 | 34 | ||||||
33688 | 21986 | 45937 | 18711 |
6点结构有90个
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 |
1894 | 2760 | 2875 | 2855 | 3176 | 2516 | 3234 | 2632 | 3029 | 2292 |
11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 |
3093 | 3107 | 2706 | 4393 | 4432 | 5940 | 3734 | 6725 | 9409 | 4720 |
21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 |
9373 | 10598 | 7396 | 7858 | 7438 | 10742 | 11524 | 9273 | 6607 | 10322 |
31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 | 39 | 40 |
14184 | 7059 | 6215 | 10212 | 7240 | 13194 | 11642 | 4760 | 11844 | 11381 |
41 | 42 | 43 | 44 | 45 | 46 | 47 | 48 | 49 | 50 |
9680 | 14402 | 17597 | 9851 | 11959 | 19084 | 14703 | 26771 | 14410 | 26331 |
51 | 52 | 53 | 54 | 55 | 56 | 57 | 58 | 59 | 60 |
11754 | 22523 | 21238 | 22277 | 23011 | 27708 | 24427 | 10065 | 22948 | 31300 |
61 | 62 | 63 | 64 | 65 | 66 | 67 | 68 | 69 | 70 |
12546 | 19971 | 27062 | 27349 | 27990 | 26798 | 19661 | 29673 | 22735 | 20604 |
71 | 72 | 73 | 74 | 75 | 76 | 77 | 78 | 79 | 80 |
36157 | 22041 | 30657 | 27855 | 14570 | 33835 | 33877 | 25053 | 24913 | 33791 |
81 | 82 | 83 | 84 | 85 | 86 | 87 | 88 | 89 | 90 |
25239 | 38758 | 18694 | 20694 | 21456 | 30826 | 22628 | 49568 | 24380 | 18092 |
从2点到6点迭代次数最小的结构分别是
2a3 | 3a1 | 4a1 | 5a1 | 6a1 |
22764 | 10516 | 2856.2 | 2811.3 | 1894.3 |
点数越多迭代次数的最小值也越小。
迭代次数最大的结构是
2a2 | 3a5 | 4a13 | 5a33 | 6a88 |
33768 | 38498 | 42801 | 45937 | 49568 |
所以在点数不变,没有全0行的情况下,呈对角线分布时迭代次数最大
2 | 3 | 4 | 5 | 6 | |
最小值 | 22764.2 | 10516 | 2856.2 | 2811.3 | 1894.3 |
最大值 | 33768.2 | 38498 | 42801 | 45937 | 49568 |
宽度 | 11004 | 27982 | 39945 | 43126 | 47673 |
数量 | 3 | 6 | 16 | 34 | 90 |
密度 | 0.00027 | 0.0002 | 0.0004 | 0.0008 | 0.0019 |
随着点数量的增加迭代次数数值分布范围变大,但点数量增加的速度要大于范围扩大的速度,导致数值的分布密度不断变大。
最大值的分布非常接近一条直线
这里用一条直线去拟合这组数据
y=3903.8823119999997*x+26498.809244
0.9936375906223098 ****** 决定系数 r**2
因为最小值变化的可能范围已经不大,这里就用最大值去表示分布宽度。因为已知结构的数量和点的数量之间的关系约为2.5^(n-1),估算随着点的增加密度的变化
点数 | 宽度 | 计算数量 | 实测数量 | 密度 | |
2 | 34307 | 2.5 | 3 | 7.29E-05 | |
3 | 38210 | 6.25 | 6 | 0.000164 | |
4 | 42114 | 15.625 | 16 | 0.000371 | |
5 | 46018 | 39.0625 | 34 | 0.000849 | |
6 | 49922 | 97.65625 | 90 | 0.001956 | |
7 | 53826 | 244.1406 | 211 | 0.004536 | |
8 | 57730 | 610.3516 | 558 | 0.010573 | |
9 | 61634 | 1525.879 | 1430 | 0.024757 | |
10 | 65538 | 3814.697 | 3908 | 0.058206 | |
15 | 85057 | 372529 | 4.379757 | ||
20 | 104576 | 36379788 | 347.8776 | ||
25 | 124096 | 3.55E+09 | 28628.8 | ||
30 | 143615 | 3.47E+11 | 2415794 | ||
40 | 182654 | 3.31E+15 | 1.81E+10 | ||
50 | 221693 | 3.16E+19 | 1.42E+14 |
当结构有25个点时可能的结构数量约为35亿个,迭代次数每增加一个值对应28628个不同的结构,所以随着点数量的增加,结构迭代次数分布的密度在急剧变大。