算力网络有关论文自用笔记（2）

MADRLOM: A Computation offloading mechanism for software-defined cloud-edge computing power network

本质上还是计算卸载，概念套壳

主要工作

• 一种由软件定义的云边缘计算电力网络体系结构，包括多个用户设备、多个边缘节点和一个云数据中心。用户可以根据需要将任务分割，并选择在本地、边缘节点或远程云数据中心中处理任务。
• 集成了卸载和资源分配决策，最小化延迟和能量消耗的加权和。
• 通过将卸载问题转化为马尔可夫决策过程，并定义系统状态、行动空间和奖励函数等关键元素，实现了有效的问题解决方案
• 基于多智能体深度强化学习的创新计算卸载技术，引入的MADDPG算法，结合了复合优先级体验重放采样策略，提高了卸载决策的性能。

DRL设计

• 状态

Tn(t)	用户设备n在决策时间t的执行时间
Dn(t)	表示用户设备n在决策时间t的剩余任务数据大小
Fn(t)	用户设备n在决策时间t的计算资源
Fm(t)	具有索引m的边缘节点在决策时间t的计算资源
Cn(t)	用户设备n在决策时间t的执行成本

S t = { T n ( t ) , D n ( t ) , F n ( t ) , F m ( t ) , C n ( t ) } S_t = \{\ \ T_n(t),D_n(t),F_n(t),F_m(t),C_n(t) \ \} St​={  Tn​(t),Dn​(t),Fn​(t),Fm​(t),Cn​(t) }

• 动作：用户设备视为智能代理，卸载决策和卸载比例

• 奖励：最小化延迟和能耗的加权和，所有任务在本地执行时的总成本，使用DRL算法的总成本

实验

对比PPO（2023）、DDPG（20203）、改进DQN（2019）、随机任务卸载（RTO）、全部卸载（AO）、全部本地计算（ALC）

Multi-Visual-GRU-Based Survivable Computing Power Scheduling in Metro Optical Networks（流量预测）

计算力网络（CPN）已成为一种有前景的网络范式。鉴于光网络具有带宽高、延迟低、通信可靠性高的特点，它们已被视为在都市区建立CPN基础设施的潜在框架。

motivation：在城市CPN中，由于计算力请求的低延迟需求，计算力请求流量更容易突发。这种突发流量会导致流量负载瞬间指数增长，从而引发过载形式的软故障，并打破资源利用与负载均衡之间的平衡，这些都会严重降低系统的生存能力。

MO-CPN：一个基于误差反馈的多视图门控循环单元（MV-GRU）神经网络，以实现高精度的突发流量预测

根据突发流量预测结果，设置了一个保护阈值，以避免节点过载。此外，针对低延迟和负载均衡的多目标需求，调度方案中将计算力、频谱资源、突发流量和保护阈值作为约束条件。实验结果表明，本文提出的方法能够显著提高突发流量期间的生存能力，并提升资源利用率。同时，该方案还能降低阻塞概率和平均处理延迟，具有较强的鲁棒性和可靠性。

实验环境：Mininet-ubuntu

Energy-Efficient Task Transfer in Wireless Computing Power Networks

提出了无线计算力网络（WCPN）模型，该模型联合统一了终端设备和MEC服务器的计算资源

多智能体深度强化学习（DRL）算法，以找到最优的任务转移和资源分配策略。异步联邦聚合方案与其他智能体协作，训练全局策略模型。

model

在接入层，用户设备通过无线通信连接到附近的基站（BS）。它们也是计算能力的请求者，需要执行计算任务。

在任务传输层，边缘服务器（包括基站和MEC服务器）连接到计算能力网络。这些边缘服务器向最终用户提供计算服务，以满足其计算请求。

应用层包含云服务器和数字孪生网络，从全局角度支持各种应用。

问题定义

基本思想是将发布的任务传输到适当的计算节点，以减少执行延迟并提高计算效率。主要有三种类型的计算节点，即边缘服务器、终端设备和云服务器。

每个MEC服务器根据其覆盖范围内的任务需求及其周围系统环境来决定终端用户的任务传输策略，（多智能体）一个MEC服务器的决策通常会对其他MEC服务器中的任务执行产生重大影响

与移动边缘计算（MEC）系统中的任务卸载相比，WCPN中的任务传输问题具有以下独特挑战：

分布式多类型计算节点：在WCPN中，计算节点可以包括终端设备、MEC服务器甚至云服务器。这些节点都被视为平等的计算节点，并且它们的计算能力将被统一量化

垂直和水平调度：与传统MEC系统不同，WCPN中的计算能力可以在垂直和水平方向上进行分配。一个计算任务可以从WCPN中的一个终端设备传输到另一个终端设备。

一对多传输：计算任务可以从一个源端用户传输到多个计算节点。

MDP

状态空间：计算能力网络的状态包括计算节点的可用计算能力f(t) = {f1(t), f2(t), …, fj(t)}，节点i和节点j之间的距离d(t) = {dij(t)}，任务队列D(t) = {D1(t), D2(t), …, Dk(t)}，以及用户与智能体之间链路的信道增益h(t) = {h11(t), h21(t), …, hmn(t)}。基于信道增益，可以获得传输数据速率r(t) = {rij(t)}。

动作空间：该动作决定了任务的传输策略，包括任务k的目标计算节点列表xij、信道分配策略bm(t)、上行链路功率pm(t)，以及每个目标计算节点分配给任务k的计算资源fm(t)。

奖励：最小化开销，包括执行时延和能量消耗

总结

算法包含actor critic、实验环境未知

实验对比：随机、平均

In-Network Pooling: Contribution-Aware Allocation Optimization for Computing Power Network in B5G/6G Era

在处理资源密集型和实时应用时，大多数现有研究未能充分利用空闲的计算和缓存资源，且几乎无法评估单个资源提供者的贡献。

我们提出了一种基于新型改进深度强化学习（DRL）方案的网络内池化框架，该框架首先建立动态资源池（RP）模型以充分利用空闲网络资源，然后将联合计算和缓存问题转化为长期系统效用最大化的问题。

最后，采用基于注意力机制的近端策略优化（APPO）来解决该问题。集成了注意力机制，评估对不同资源池对系统效用的贡献。

使用DRL决策task是否在每个rp上计算和缓存

总结

没有交代实验环境，对比AC、AAC、DQN、随机、静态（20、21、21、08、18）

将基础设施抽象成资源池（RP），通过DRL为task决策对RP的使用

FedTAR: Task and Resource-Aware Federated Learning for Wireless Computing Power Networks联邦学习

任务和资源感知的联邦学习模型，称为FedTAR，该模型通过联合优化单个计算节点的计算策略及其协同学习策略，使所有计算节点的能量消耗总和最小化。FedTAR异步聚合算法

贡献

1）我们提出了一种新的计算架构——WCPN，该架构针对特定计算任务对异构节点的计算和网络资源进行编排。WCPN中的计算节点可以相互协作，以支持用户的按需和全面计算任务。

2）为了在WCPN中提供智能服务，我们设计了一种任务和资源感知的联邦学习模型（FedTAR），该模型通过根据特定任务需求联合优化各个计算节点的计算策略及其协作学习策略，来最小化总能耗。

3）从优化问题中，我们发现最佳更新频率与节点的通信能耗与计算能耗之比有关。然后，我们提出了一种具有最佳和细粒度更新频率的异步联邦学习算法，以进一步适应WCPN中的异构计算节点。

2023年的文章，实验对比17、19、18年的文献

算力网络中的确定性调度与路由联合智能优化方案

Ｓｈｉ 等［６］提出了一种在边缘计算场景下用启发式算 法解决基于路由和调度联合优化的确定性时延传输 问题。

为了解决 ＭＥＣ 计算环境中复杂多变的网络资 源变化的问题，Ｗａｎｇ 等［９］ 采用强化学习方法进行 智能资源分配

模型

在异质算力资源问题上主要考虑到与时延 强相关的中央处理器的频率，因此网络模型中的算力处理节点由不同 ＣＰＵ 处理能力的本地节点和边缘节点构成。

动作：在 ｔ 时刻对应 ８ 个优先级门控的开关状 态和相同优先级中不同业务流的转发序号

状态：尚未被转发业务流的剩余业务流的集合

改进：奖励回退机制，在训练后期概率给予负奖励

论文introduction写作思路：
**第一，概念/术语。**首先说明，参与和共同设计可以用来帮助对技术进行设计提升（明确主题），老年人越来越参与到设计过程中（明确人群）。

第二，背景。从这个工作至今以及参考文献中，我们了解到老年人对设计过程有很大的作用。结合实际背景（自己和前人的研究中）说明使用效果，使用意义，这部分也可以结合不同国家、文化背景等说明这个方法有效或者有前景。

**第三，主题。**尽管这个方法很好，但仍然有一些问题。比如不知道老年人对技术本身在设计过程中的态度，这个技术居然对参与设计的老年人本身不适用等等。这里就是文献中的坑了，我们的研究主题就被缩小了。

**第四，方法。**我们做了什么呢？我们从一些物联网的workshop中提炼出了发现。这部分和第五步的问题部分可以互换。

**第五，问题。**经过了这么多铺垫，自然而然读者就该好奇我们到底想要研究什么问题。比如老年人对待自己对设计产生影响的态度是什么?

**第六，发现。**这一步比较好理解，即说明文章最后的发现是什么。例如本文就是发现老年人会在除了对技术态度不匹配的地方汇聚idea。

**第七，贡献。**这个也比较容易理解。本文贡献主要是扩展了以前的工作，提供了对这个领域的理解，文章的讨论对老年人的参与式共同设计提供了建议。