캡틴테크의 실전 기술서

회귀 분석에 대한 간단한 설명을 지난 시간에 진행했었는데요. 오늘은 실제 파이썬으로 구현하는 과정을 설명드리도록 하겠습니다. 회귀분석이 기억나지 않으시는 분은 잠시 아래 글을 읽고 오실게요! 2023.03.17 - [Technology/AI, ML, Data] - 회귀분석(Regression Analysis) 회귀분석(Regression Analysis) 지난 시간에 박스플롯을 이용해서 데이터의 분포를 시각화 해봤었는데요, 오늘은 회기분석의 정의에 대해서 설명해보도록 하겠습니다. 제 블로그는 단순한 설명에 그치지 않고 실제 구현까지 hero-space.tistory.com 데이터 데이터는 이전에 박스플롯에서 썼던 데이터와 동일합니다. 박스플로의 경우 개별적인 요인에 대한 데이터의 유효성을 검증하는 것이었..

지난 시간에 박스플롯을 이용해서 데이터의 분포를 시각화 해봤었는데요, 오늘은 회기분석의 정의에 대해서 설명해보도록 하겠습니다. 제 블로그는 단순한 설명에 그치지 않고 실제 구현까지 이어지기 때문에 실전에 응용하실 수 있도록 설명드립니다. 지난 번 박스플롯에 대한 설명과 구현하기를 못보신 분은 빠르게 읽고 오실게요! 2023.03.15 - [Technology/AI, ML, Data] - 박스플롯(Box plot) 데이터 분석 박스플롯(Box plot) 데이터 분석 데이터 분석이 굉장히 중요한 시대인데요, 데이터 분석하는 방법도 굉장히 다양하게 진화되어오고 있습니다. 저는 하나의 카테고리를 잡아서 앞으로 데이터 분석에 관련된 내용을 연재하고자 hero-space.tistory.com 2023.03.16 -..

지난 시간에 데이터 분포가 시각적으로 어떻게 통계 그래프를 박스플롯으로 보여주는지 설명 했었는데요, 사실 정확하게 이해가 안가실 수 있습니다. 실제 데이터를 통해서 박스플롯이 어떻게 시각화하여 보여주는지 한번 해보도록 하겠습니다. 박스 플롯이 무엇인지 기억이 나지 않으신다면 아래 글을 다시한번 보고오실계요! 2023.03.15 - [Technology/AI, ML, Data] - 박스플롯(Box plot) 데이터 분석 박스플롯(Box plot) 데이터 분석 데이터 분석이 굉장히 중요한 시대인데요, 데이터 분석하는 방법도 굉장히 다양하게 진화되어오고 있습니다. 저는 하나의 카테고리를 잡아서 앞으로 데이터 분석에 관련된 내용을 연재하고자 hero-space.tistory.com 데이터 분석을 하기 위해서는 ..

데이터 분석이 굉장히 중요한 시대인데요, 데이터 분석하는 방법도 굉장히 다양하게 진화되어오고 있습니다. 저는 하나의 카테고리를 잡아서 앞으로 데이터 분석에 관련된 내용을 연재하고자 하며 정의 부터, 실제 구현에 이르는 내용을 통해서 쉽게 데이터분석가가 되도록 해보겠습니다. 그 중 첫번째 데이터 분석 기법으로 박스플롯부터 시작해 보도록 하겠습니다. 정의 박스플롯(Box plot)은 데이터 분포를 시각적으로 나타내는 통계 그래프 중 하나입니다. 주로 수치형 데이터를 다룰 때 사용되며, 데이터의 중앙값, 최대값, 최소값, 사분위수 등을 표현할 수 습니다. 카테고리 별 분포를 비교할 때도 유용하게 사용됨 데이터의 속성을 유추할 수 있는 5개의 대표적인 수치를 그림으로 표현하여 데이터 특성을 바로 알아낼 수 있음..

지금가지 학습 후 양자화와 사전 양화를 진행해보았는데, 학습 후 양자화 하는 방법 중 한가지 빼 놓은 것이 있습니다. 바로 UINT8로 INT8보다 훨씬더 타입을 축소하게 만드는 것인데 이를 위해서는 몇가지 절차가 필요한데요 오늘은 그 방법에 대해서 살펴보도록 하겠습니다. 소스코드 from __future__ import absolute_import, division, print_function import tensorflow as tf import cv2 import numpy as np import pathlib import glob, os BATCH_SIZE = 1 src = "/home/hero/data/datasets/representative/" im_path = glob.glob(os.pat..

지난 시간에 학습후 경량화에 해당하는 Post Training Quanitzation 에 대해서 진행해보았는데요. 오늘은 학습 과정에서 Quantization을 가정하고 시뮬레이션을 같이 돌림으로서 정확도를 더 높이면서 경량화 할 수 있는 방법에 대해서 알아보도록 하겠습니다. Post Training(PTQ, static) : 학습 이후에 quantization 하는것 Quantization Aware Training(QAT) : 학습 과정에서 quantization을 가정하고 시뮬레이션을 같이 돌림 아무래도 학습 하면서 경량화 하는 방법을 적용하고 나서 학습 후 경량화를 한 번 더 적용하는게 경량화적으로 이점이 있을 거라 생각하면서 혹시나 학습 후 양자화 내용을 확인하지 못하신 분은 아래 링크를 빠르게..

지난 시간에 양자화가 무엇이고 Tensorflow 프레임워크 내에 있는 TFLite를 이용해서 양자화가 가능한 방법에 대해서 설명했었는데요. https://hero-space.tistory.com/146 AI 모델 경량화의 지름길 TFLite Quantization 다양한 AI 모델이 시시각각 나오는 시대에서 경량화에 대한 이슈도 그만큼 높아져 가고 있는데요. 모델이 작으면서 정확도가 좋다면 그만큼 리소스를 절약할 수 있기 때문에 다양한 산업군에서 hero-space.tistory.com 실제 AI 사용모델을 가지고 학습 완료된 모델 파일에 대한 양자화를 진행해 보도록 하겠습니다. Float16 Post Quantization [Default] from __future__ import absolute_i..

다양한 AI 모델이 시시각각 나오는 시대에서 경량화에 대한 이슈도 그만큼 높아져 가고 있는데요. 모델이 작으면서 정확도가 좋다면 그만큼 리소스를 절약할 수 있기 때문에 다양한 산업군에서 점점 니즈가 생겨나고 있습니다. 클라우드 서비스를 하는 곳에서도 AI 모델을 사용한다면 클라우드 자체에 모델의 사이즈가 작다면 클라우드 비용을 그만큼 절약할 수 있는 가능성이 높기에 리소의 제약이 심한 엣지 디바이스 뿐 아니라 클라우드 환경에서도 가능하다면 적용하는 사례가 늘고 있습니다. 경량화를 연구하는 스타트업은 아래와 같습니다. 1. 노타(https://www.nota.ai/) 2. 에너자이(https://enerzai.com/) 3. 스퀴즈비츠 (https://squeezebits.com/) 4. 날비(https:..