我是否一定需要保证不同机器之间可以免密登陆才能使用多机训练

[yhcc]

如题

[Wesley-Jzy]

如果使用的是CAI自带的多机管理，需要配置免密登录， CAI runs on multiple nodes with Slurm framework. 。Slurm要求集群节点间免密登录。

[Wesley-Jzy]

https://github.com/hpcaitech/GPT-Demo 多机启动可以参考这个repo

[yhcc]

比如在单机（这个单机是我通过slurm获取到的，相当于下发的任务是打开一个terminal）上我运行（例子来于https://github.com/hpcaitech/ColossalAI-Examples/tree/main/features/tensor_parallel）

colossalai run --nproc_per_node=4 run.py --config ./configs/tp_2d.py

会报以下的错误

Error: failed to run torchrun --nproc_per_node=4 --nnodes=1 --node_rank=0 --rdzv_backend=c10d --rdzv_endpoint=127.0.0.1:29500 --rdzv_id=colossalai-default-job run.py --config ./configs/tp_2d.py  on 127.0.0.1

但假设我只运行

torchrun --nproc_per_node=4 --nnodes=1 --node_rank=0 --rdzv_backend=c10d --rdzv_endpoint=127.0.0.1:29500 --rdzv_id=colossalai-default-job run.py --config ./configs/tp_2d.py

则是可以的。

[Wesley-Jzy]

我在测试环境中没有能repro这个错误，能正常启动，这两句命令理论上是等价的。有更详细的环境配置吗？

[yhcc]

我是通过slurm分配的机器，我这个机器应该是没有配置免密登陆的，
环境如下

System: Centos 7
torch: 1.12
colossal-ai: nightly
cuda: 11.3
driver:

我尝试在colossalai中报错信息打印，以下是报错信息

Traceback (most recent call last):
  File "~/miniconda3/envs/colossalai/lib/python3.8/site-packages/colossalai/cli/launcher/multinode_runner.py", line 46, in run_on_host
    fab_conn.run(cmds, hide=False)
  File "<decorator-gen-3>", line 2, in run
  File "~/miniconda3/envs/colossalai/lib/python3.8/site-packages/fabric/connection.py", line 29, in opens
    self.open()
  File "~/miniconda3/envs/colossalai/lib/python3.8/site-packages/fabric/connection.py", line 636, in open
    self.client.connect(**kwargs)
  File "~/miniconda3/envs/colossalai/lib/python3.8/site-packages/paramiko/client.py", line 450, in connect
    self._auth(
  File "~/miniconda3/envs/colossalai/lib/python3.8/site-packages/paramiko/client.py", line 781, in _auth
    raise saved_exception
  File "~/miniconda3/envs/colossalai/lib/python3.8/site-packages/paramiko/client.py", line 757, in _auth
    self._transport.auth_publickey(username, key)
  File "~/miniconda3/envs/colossalai/lib/python3.8/site-packages/paramiko/transport.py", line 1635, in auth_publickey
    return self.auth_handler.wait_for_response(my_event)
  File "~/miniconda3/envs/colossalai/lib/python3.8/site-packages/paramiko/auth_handler.py", line 259, in wait_for_response
    raise e
paramiko.ssh_exception.AuthenticationException: Authentication failed.
Error: failed to run torchrun --nproc_per_node=4 --nnodes=1 --node_rank=0 --rdzv_backend=c10d --rdzv_endpoint=127.0.0.1:29500 --rdzv_id=colossalai-default-job run.py --config ./configs/tp_2d.py on 127.0.0.1

[yhcc]

我或许知道答案了，应该是由于

ColossalAI/colossalai/cli/launcher/multinode_runner.py

Lines 41 to 47 in d42afd3

	if hostinfo.is_local_host:
	# execute on the local machine
	fab_conn.local(cmds, hide=False)
	else:
	# execute on the remote machine
	fab_conn.run(cmds, hide=False)
	send_conn.send('success')

这段代码没有识别出我是本地运行，它尝试了远程登录。

只需要把代码修改为

colossalai run --nproc_per_node=4 run.py --config ./configs/tp_2d.py --host myHostName

就可以成功运行了

[Wesley-Jzy]

感谢反馈，应该确实是local和remote的判断问题。

ColossalAI/colossalai/cli/launcher/hostinfo.py

Line 41 in cf6d1c9

localhost = socket.gethostname()

所以我理解是在你的环境中如果执行hostname = socket.getfqdn(hostname)获取的到的addr并不是真正的localhost？

[yhcc]

是的，它获取到的就是当前主机的hostname，与在命令行中执行hostname命令得到的是一样的。

[Wesley-Jzy]

我用slurm下发的Cent-OS Terminal做了一个实验：
首先，因为没有传入host或者hostfile，程序会走到

ColossalAI/colossalai/cli/launcher/run.py

Line 246 in 7850912

if not active_device_pool:

default hostname会被赋予"127.0.0.1"
判断是否local exec的代码在这里：

ColossalAI/colossalai/cli/launcher/hostinfo.py

Line 39 in 7850912

if hostname in ("localhost", "127.0.0.1", "0.0.0.0"):

我在下发的Terminal中实验获取到的hostname是localhost，应该会正常通过is_local_host的check。
如果方便的话可以请您看一下哪个部分和您环境走到的逻辑不一致吗？

[yhcc]

socket.getfqdn('127.0.0.1')  # 返回的是localhost.localdomain
socket.getfqdn()  #返回的是DC-10-172-3-2

[Wesley-Jzy]

感谢反馈，这应该是一个bug，判断local的时候没有考虑getfqdn()可能返回addr+domain。
@FrankLeeeee

[FrankLeeeee]

Got it. 我这周尝试修复一下。

[FrankLeeeee]

#2465
修复了这个问题