싱싱미역상태

1) 탐색적 데이터 분석라이브러리 로드없으면 pip install Scikit-learn : import sklearnPandas : import pandasNumpy : import numpyMatplotlib : import matplotlib.pyplot as pltSeaborn : pip install seaborn -> import seaborn as sns데이터 로드 및 확인 데이터 로드(주어진 변수명에 맞게 pandas 패키지를 활용해 데이터 프레임을 로드합니다.)df = pd.read_csv('파일경로’) df = pd.read_excel(' 파일경로 ') dj = pd.read_json(' 파일경로 ') dx = pd.read_xml(' 파일경로 ') 데이터 확인(행, 열, 데이터 ..

Google OCR 비교 과정 스토리OCR을 회사에서 사용중인데 영어가 아닌 한글을 사용하는 경우가 생겼습니다. 따라서 기존에 사용하던 Google OCR을 사용했습니다. 하지만 결과값은 매우 처참했습니다.테스트용 문구해당 파일로 Google OCR을 돌려보니 아래와 같은 결과나 추출되었습니다.다른 파일로도 테스트를 해봤지만 이상한 문자까지 같이 출력이 되었습니다. 따라서 Google OCR은 한글보다는 영어를 잘 인식한다는 개인적인 결론을 내렸고, 대안으로 Naver OCR을 테스트하기로 결정했습니다.Naver OCR 결과일단 결과적으로 Naver OCR은 성공적이 였습니다. 위와 같은 테스트 문구를 동일하게 출력하니 아래와 같은 결과가 나오게 되었습니다.약간의 온점(.) 또는 띄워쓰기 같은 인식률은 ..

회사에서 새로운 프로젝트를 하면서 기존에 사용하던 LLM이 아닌, RAG모델을 추가한 LLM을 사용하려고 합니다. 그래서 저 또한 LLM과 RAG 모델이 무엇인지 궁금해서 열심히 구글링을 하면서 알아보았습니다.LLM과 RAG 모델 관계상호 보완적인 관계LLM은 Large Language Model의 약자로 대규모 데이터로 학습된 자연어 처리 모델입니다. 따라서 텍스트를 이해하고 생성하는 능력이 상당히 뛰어납니다. 우리는 여기서 생성이라는 단어에 집중해야 합니다. RAG는 Retrieval Augmented Generation라는 뜻을 가지고 있고, 결론적으로 먼저 기술하면 LLM의 한계를 보완하기 위해서 나온 것입니다.Shallow DiveLLM은 최신 정보나 학습 데이터에 없는 정보에 대하 정확하지 않..

OCR 성능을 올리기 위해서는 이미지 전처리 기술이 필요합니다. 따라서 코어가 되는 전처리 기술들을 알아보겠습니다.그레이스케일변환공식문서그레이스케일 변환은 컬러가 들어간 이미지는 불 필요한 색상 정보가 많기 때문에 처리속도가 감소하고 노이즈(방해)가 증가합니다. 따라서 그레이스케일 변환 시, 밝기에 대한 정보만 남기 때문에 이미지를 간소화 할 수 있는 장점이 발생합니다. 이는 OCR의 성능 증가로 이어집니다. 그래서 그레이스케일 이미지는 각 픽셀이 하나의 밝기 값으로만 이루어져 있기 때문에, 3개의 채널을 사용하는 컬러 이미지보다 훨씬 단순하기 다룰 수 있습니다. 동작 방법은 이미지를 흑백으로 변환 합니다. 흑백으로 변환하면서 밝기(명암도)의 정보만 남게 됩니다. 따라서 단일 채널을 가지며, 각 픽셀은 ..

완성된 코드회사에서 OpenAI Vision을 사용할 때 어느정도의 토큰이 나오는지 계산이 필요했습니다. 따라서 Vision의 토큰 개수 구하는 방법을 알아보겠습니다.Vision먼저 vision의 토큰 개수 구하는 방법은 공식문서에 나와있습니다.요약하면, Vision의 토큰 개수는 이미지의 크기와 디테일 옵션에 따라서 결정이 됩니다.detail optionVision을 요청할 때는 아래와 같이 요청이 가능합니다. 주목할 부분은 messages.content.image_url.detail입니다. from openai import OpenAIclient = OpenAI()response = client.chat.completions.create( model="gpt-4o-mini", messages=[ ..