KJH

과거에 해본 기억과 자료를 토대로 다시 해봤는데 시작! 과 동시에 모든게 되지 않았음..새롭게 구축하는 것을 시작으로 예제까지 적용해서 정리해보고자 함 ※ 사용한 os는 ubuntu 22.04로 정말 클린한 환경에서 작업하였습니다.    현재 노드에 어떤 gpu가 있고 어떤 driver를 권장하는지 확인 합니다.sudo apt-get install -y ubuntu-drivers-common \ && ubuntu-drivers devices  nvidia driver와 toolkit을 노드에 설치합니다. 설치 후 재시작 필수sudo apt-get update --fix-missing \ && sudo apt-get install -y nvidia-driver-535 nvidia-dkms-53..

MLOps에 관심이 많기에 전반적인 흐름을 공부하고자 한다.ML enginner 수준으로 프레임워크를 이해하고자 하는 목표는 없고주로 쓰는 용어와 워크플로우, 시스템구조, 파이프라인에 초점을 맞추고 있다. 첫번째 tensorflow, pytorch 둘 다 딥러닝 프레임워크이고, 인공지능 모델을 만들고 훈련시키기 위해 사용한다. TensorflowPytorch개발사GoogleFacebook그래프 및 (성향)정적(짜여진 대로 실행하고 끝나야 결과 확인가능)동적(실행 중임에도 자유롭고 유동적인 수정이 가능)학습 곡선정적 그래프 사용이 복잡해 어렵다python친화적이라 쉽다환경프로덕션에도 용이테스트에 용이 결론전문가 : Tensorflow 어려운 만큼 지원하는 기능이 많다고 함.연구자, 일반인 : Pytorch..

데이터셋 준비18개의 행이 있고 17행 까지는 환자의 기록을 나타냄 (기침, 호흡 등등을 수치로 나타낸 것)마지막 18행은 0과 1의 데이터가 배치되고, 생존을 의미함. (0-사망, 1-생존)  Data 객체 준비 데이터의 마지막 행은 생존 유무를 나타내는 부분이고 나머지 행은 상태를 나타냄테스트 데이터 셋이 따로 있진 않아서 80%는 train, 20%는 test로 사용class ThoracicDataset(Dataset): def __init__(self, csv_file): self.data = pd.read_csv(csv_file) self.features = self.data.iloc[:, :-1].values self.labels = self.data..

pytorch에서 제공해주는 예제를 통해 어떻게 학습이 되는지 파악해보고자 한다.https://github.com/pytorch/examples/blob/main/mnist/main.py examples/mnist/main.py at main · pytorch/examplesA set of examples around pytorch in Vision, Text, Reinforcement Learning, etc. - pytorch/examplesgithub.com  딥러닝 모델을 학습할때는 기본적으로 세 가지 객체가 필요합니다.Data, Model, Optimizer 모델 학습 과정 1. data에서 입출력을 분리해서 실험 세팅에 맞게 준비 (data_x[실험데이터], data_y[검증데이터] 분리)2...

머신러닝 모델의 개발, 배포, 모니터링 및 관리를 자동화하고 최적화하는 접근 방식이며DevOps와 DataOps의 원칙을 머신러닝에 적용한 것이다.CI/CD 개념에서 CT(Continuous Training)가 추가되었다. 데이터가 업데이트 될 때마다 모델이 자동으로 학습이 되어야 한다.   MLOps를 통해 얻고자 하는 것모델의 학습, 검증 및 배포 프로세스를 간소화하여 수동 작업을 줄이고 속도를 높인다.변경 사항을 추적하고 모델의 레지스트리를 유지 관리한다.프로덕션 시스템에서 예상대로 수행되는지 확인한다.