2020-2-capstone-design1 / HCS_project

Go to a project
Toggle navigation Toggle navigation pinning
김지훈
d303c1ce 1 parent 103822ab

Update README.md

Inline Side-by-side
Showing 1 changed file with 7 additions and 2 deletions
1 # 추론시간 개선 - 양자화 시도 1 # 추론시간 개선 - 양자화 시도
2 2
3 -## Pytorch quantization - 학습해도 cpu 에서만 실행 가능, 모델의 채널을 신중하게 고르지 않으면 속도 개선 미미함. 또한 양자화 과정으로 학습된 모델은 pytorch model -> onnx -> tensorRT 변환이 불가능하여 gpu 에서 실행 불가능 학습해도 cpu 에서만 실행 가능, 모델의 채널을 신중하게 고르지 않으면 속도 개선 미미함 3 +## Pytorch quantization
4 +- 학습해도 cpu 에서만 실행 가능, 모델의 채널을 신중하게 고르지 않으면 속도 개선 미미함.
5 +- 또한 양자화 과정으로 학습된 모델은 pytorch model -> onnx -> tensorRT 변환이 불가능하여 gpu 에서 실행 불가능 학습해도 cpu 에서만 실행 가능.
6 +- 모델의 채널을 신중하게 고르지 않으면 속도 개선 미미함.
4 7
5 -TensorRT - 양자화 학습을 사용하지 않고 바로 정밀도 감소 및 양자화 시도. float16 은 10% 정도 속도가 개선되었으나, int8 은 실패함 (사용법 미숙, 입력 값이 0.0 ~ 1.0 등)
...\ No newline at end of file ...\ No newline at end of file
8 +## TensorRT
9 +- 양자화 학습을 사용하지 않고 바로 정밀도 감소 및 양자화 시도.
10 +- float16 은 10% 정도 속도가 개선되었으나, int8 은 실패함 (사용법 미숙, 입력 값이 0.0 ~ 1.0 등)
...\ No newline at end of file ...\ No newline at end of file
......