all_gather_object

paddle.distributed. all_gather_object ( object_list, obj, group=None ) [源代码]

组聚合，聚合进程组内指定的 picklable 对象，随后将聚合后的对象列表发送到每个进程。 过程与 all_gather 类似，但可以传入自定义的 python 对象。

注解

该 API 只支持动态图模式。

参数

  • object_list (List[Any]) - 用于保存聚合结果的列表。

  • object (Any) - 待聚合的对象。需要保证该对象是 picklable 的。

  • group (Group，可选) - 执行该操作的进程组实例（通过 new_group 创建）。默认为 None，即使用全局默认进程组。

返回

无返回值。

代码示例

>>> import paddle
>>> import paddle.distributed as dist

>>> dist.init_parallel_env()
>>> object_list = []
>>> if dist.get_rank() == 0:
...     obj = {"foo": [1, 2, 3]}
>>> else:
...     obj = {"bar": [4, 5, 6]}
>>> dist.all_gather_object(object_list, obj)
>>> print(object_list)
>>> # [{'foo': [1, 2, 3]}, {'bar': [4, 5, 6]}] (2 GPUs)