실행환경에서 tensorflow 추가가 안되네요.

[eunjungchoi]

실행환경 > Image 에서 tensorflow 2.4 이미지를 추가하려고 합니다.

승인을 누르면 자원이 부족하다고 에러가 뜹니다.
이미지를 가져오기 위한 필요한 최소한의 자원이 없거나 지원되지 않는다고 에러가 뜹니다.

자원제한을 그대로 둔 상태로 해도 에러가 나고, 설정 버튼을 통해 자원 제한을 늘려도 에러가 나고, 줄여도 에러가 납니다.
어떻게 해야 할까요?

목적은 $ backend.ai run --rm --exec 'python single_minist.py' tf2 ./single_minist.py ./minist.py
명령어를 실행하기 위해서입니다. 현재 이미지를 찾을 수 없다고 에러가 납니다.

[youngjun0627]

backend.ai admin images를 통해서 이미지 확인하실 수 있어요. 저 이미지의 크기가 크기도 하고 아마 자원때문에 안되는 것 같습니다.
굳이 이미지를 받고 싶으시다면 저 같은 경우엔 직접 docker pull 명령어를 통해 다운받아서 실행했어요

[youngjun0627]

자원 때문이 아닌 not found로 인한 에러라면 다음과 같이 확인해주세요.

위 이미지와 같이 backend.ai admin images를 치시면 확인할 수 있습니다. 우선 alias 되어있는지 확인해보세요.
(저 같은 경우엔 파이토치를 이용하였기 때문에 pytorch1.7-py38-cuda11.1를 pytorch로 aliasing 하였습니다)
안되어 있다면 backend.ai admin alias-image A B 명령어를 통해 aliasing 하신 후 backend.ai를 이용하여 다운 받으시면 됩니다.
또는 해당 이미지의 이름과 태그를 확인하시고 docker 명령어를 통해 직접 다운받으시면 됩니다.

[eunjungchoi]

감사합니다. backend.ai admin images 로 확인해보니 목록들이 뜨는데 python 만 alias가 되어 있고, python-tensorflow는 alias가 안되어 있더라구요.

$ backend.ai admin alias-image tf2 cr.backend.ai/stable/python-tensorflow:2.4-py38-cuda11.1

==> 위와 같이 명령어를 실행해서 tf2 라고 alias를 추가했습니다.
✔ An alias has created: tf2 -> cr.backend.ai/stable/python-tensorflow:2.4-py38-cuda11.1

(tf2 라고 alias가 추가된 결과 스크린샷)

그리고 다시
$ backend.ai run --rm --exec 'python single_minist.py' tf2 ./single_minist.py ./minist.py
이 명령어를 실행시켜봤는데요.

일단 여기서 멈춰있구요.

agent server 띄워둔 곳에서 2021-08-22 19:29:40.809 INFO ai.backend.agent.docker.agent [84836] pulling image cr.backend.ai/stable/python-tensorflow:2.4-py38-cuda11.1 from registry 이라고 뜹니다.

그런데 뭔가 pulling image 과정이 되게 오래 걸리네요. 17분이 지났는데도 아직도 pulling 중이라고 뜹니다.
$ backend.ai ps 명령어로 체크해보면 pulling 이라고 status가 뜨는데 이거 원래 이렇게 오래 걸리는 것일까요?...

[youngjun0627]

네 저도 너무 오래걸려서 저같은 경우엔 docker pull 명령어 사용해서 직접 가져왔습니다.
docker pull로 하면 download되는거 display 되어서 계속 모니터링 안하시고 기다리실 수 있을거에요

[eunjungchoi]

정말 감사합니다.

$ docker pull cr.backend.ai/stable/python-tensorflow:2.4-py38-cuda11.1 <- 요 명령어로 다운받아봤습니다.
이것도 몇 분 걸리긴 했는데 아까 것보다는 빨리 되네요.

다시 $ backend.ai run --rm --exec 'python single_mnist.py' tf2 ./single_mnist.py ./mnist.py 명령어를 돌려보니 이제 뭔가 좀 동작하는 것 같습니다.

다만 Successfully opened dynamic library libcudart.so.11.0 에서 그냥 멈춰있네요.

agent server 쪽을 보니 커널 컨테이너를 못 찾는 에러가 나서 여기서 멈춰있네요.

아오... 이건 뭔가 다른 질문 쓰레드로 문의를 올려야 할지 고민됩니다..

[VSFe]

직접 다운로드 시도할 땐 backend.ai cuda 플러그인 (https://github.com/lablup/backend.ai-accelerator-cuda) 이 설치되어 있지 않으면 위에서 발생한 오류가 뜨더라고요.

하지만 manual 하게 docker pull 하면 저런 에러 무시하고 진행할 수 있을거에요~

[inureyes]

저기서 "매우 오랜 시간" 이 회선에 따라선 두시간 세시간도 될 수가 있어서 그렇습니다;;;

[inureyes]

참고로 TensorFlow 2.4 환경은 압축상태에서의 크기는 12기가, 압축 해제하여 이미지로 등록된 상태에선 40기가입니다.