Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

输出图片尺寸问题 #15

Open
sunyclj opened this issue Dec 13, 2022 · 5 comments
Open

输出图片尺寸问题 #15

sunyclj opened this issue Dec 13, 2022 · 5 comments

Comments

@sunyclj
Copy link

sunyclj commented Dec 13, 2022

输入是4k(38402160),AGCM和LE输出均与输入相同,但是HG输出尺寸为(38402176),我定位了一下,是因为generate_mask.py代码中
if H%32!=0 or W%32!=0:
H_new = int(np.ceil(H / 32) * 32)
W_new = int(np.ceil(W / 32) * 32)
img_LQ = cv2.resize(img_LQ, (W_new, H_new))
请问为什么在HG网络中尺寸需要调整成可以整除32的呢?输出尺寸变化的问题怎么解决呢?

@xiaom233
Copy link
Collaborator

这个原因主要是因为Hallucination_Generator使用了一个类似UNet的结构,为了保证下采样再上采样时的特征向量尺寸对齐问题,在生成数据时做了一个尺寸的调整。这个问题在生成数据过程中可以把GT用相同的方式调整到与HG相同的尺寸。如果想输出与GT相同的尺寸,使用padding + crop的方式即可。我们正在对现在这个模型进行改进,拟对ICCV版本增刊,欢迎持续关注~

@sunyclj
Copy link
Author

sunyclj commented Dec 13, 2022

这个原因主要是因为Hallucination_Generator使用了一个类似UNet的结构,为了保证下采样再上采样时的特征向量尺寸对齐问题,在生成数据时做了一个尺寸的调整。这个问题在生成数据过程中可以把GT用相同的方式调整到与HG相同的尺寸。如果想输出与GT相同的尺寸,使用padding + crop的方式即可。我们正在对现在这个模型进行改进,拟对ICCV版本增刊,欢迎持续关注~

谢谢,会持续关注!
请问如果我希望获取的是一个HLG的视频,是否可以直接在最终的ffmpeg合成帧阶段(对应代码:synthesizing_hdr10_video.sh)进行更改,而不使用HDR(HLG标准)、SDR图像对重新对模型进行训练呢?

@chxy95
Copy link
Owner

chxy95 commented Dec 13, 2022

这个原因主要是因为Hallucination_Generator使用了一个类似UNet的结构,为了保证下采样再上采样时的特征向量尺寸对齐问题,在生成数据时做了一个尺寸的调整。这个问题在生成数据过程中可以把GT用相同的方式调整到与HG相同的尺寸。如果想输出与GT相同的尺寸,使用padding + crop的方式即可。我们正在对现在这个模型进行改进,拟对ICCV版本增刊,欢迎持续关注~

谢谢,会持续关注! 请问如果我希望获取的是一个HLG的视频,是否可以直接在最终的ffmpeg合成帧阶段(对应代码:synthesizing_hdr10_video.sh)进行更改,而不使用HDR(HLG标准)、SDR图像对重新对模型进行训练呢?

不可行。两种视频编码差异不小,按目前的训练集训练,网络输出的是HDR10的内容,按HLG标准编码可能会导致色彩和亮度偏差。

@sunyclj
Copy link
Author

sunyclj commented Dec 14, 2022

这个原因主要是因为Hallucination_Generator使用了一个类似UNet的结构,为了保证下采样再上采样时的特征向量尺寸对齐问题,在生成数据时做了一个尺寸的调整。这个问题在生成数据过程中可以把GT用相同的方式调整到与HG相同的尺寸。如果想输出与GT相同的尺寸,使用padding + crop的方式即可。我们正在对现在这个模型进行改进,拟对ICCV版本增刊,欢迎持续关注~

谢谢,会持续关注! 请问如果我希望获取的是一个HLG的视频,是否可以直接在最终的ffmpeg合成帧阶段(对应代码:synthesizing_hdr10_video.sh)进行更改,而不使用HDR(HLG标准)、SDR图像对重新对模型进行训练呢?

不可行。两种视频编码差异不小,按目前的训练集训练,网络输出的是HDR10的内容,按HLG标准编码可能会导致色彩和亮度偏差。

好的,谢谢

@sunyclj
Copy link
Author

sunyclj commented Dec 15, 2022

这个原因主要是因为Hallucination_Generator使用了一个类似UNet的结构,为了保证下采样再上采样时的特征向量尺寸对齐问题,在生成数据时做了一个尺寸的调整。这个问题在生成数据过程中可以把GT用相同的方式调整到与HG相同的尺寸。如果想输出与GT相同的尺寸,使用padding + crop的方式即可。我们正在对现在这个模型进行改进,拟对ICCV版本增刊,欢迎持续关注~

谢谢,会持续关注! 请问如果我希望获取的是一个HLG的视频,是否可以直接在最终的ffmpeg合成帧阶段(对应代码:synthesizing_hdr10_video.sh)进行更改,而不使用HDR(HLG标准)、SDR图像对重新对模型进行训练呢?

不可行。两种视频编码差异不小,按目前的训练集训练,网络输出的是HDR10的内容,按HLG标准编码可能会导致色彩和亮度偏差。

请问论文中Tone mapping使用Hable Tone mapping,公式中的I取值应该是多少,论文中有表述SDRTV是0-100,HDRTV是0-10000,如果我有raw数据,I应该怎么取值经过Tone mapping分别得到SDR和HDR呢?

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants