环境和能源安全问题导致电力电子接口分布式发电应用越来越广泛。可再生能源的日益普及和电力电子转换器的渗透率的提高，降低了弱电网下电力系统的惯性和阻尼。这导致频率与电网阻抗较大的变化，影响到功率响应速度。为了提高功率响应快速性，本文提出了一种下垂控制仿真策略，该策略使用双延迟深度确定策略梯度（TD3）算法来实现变流器的快速功率调节。对TD3方案与传统方法进行了比较分析。结果表明，在各种工况下，基于TD3的下垂控制比传统下垂控制提供了更快的功率调节与频率跟踪能力。仿真结果证明了所提出的控制方案的可行性。