2024.12.31 TIL - 빅데이터/인공지능 기초 개념 정리

Today I Learned (TIL)

---

빅데이터와 인공지능 기초 개념 정리

---

1. 빅데이터

1.1 데이터 종류

• 정형 데이터
  • 정의: 구조를 가진 수치적 데이터.
  • 예시: 시간, 금융 데이터, 온도, ID/PW, 카드번호, 수강생 기록 등.
  • 표 형태:number gender age cm

    1	m	45	178
    2	w	15	150
    3	m	20	160
    4	w	30	166

• 비정형 데이터
  • 정의: 수치화나 구조화되지 않은 데이터.
  • 예시: 그림, 소리, 영상 등.
• 반정형 데이터
  • 정의: 정형 데이터와 비정형 데이터의 특성을 모두 포함.
  • 예시:
    • DICOM 파일 (의료 데이터와 이미지 포함)
    • JSON, XML
    • 위치 정보가 포함된 사진

1.2 데이터 전처리

• 정의: 데이터를 분석 및 학습에 적합한 형태로 가공.
• 필요성: 데이터 품질을 향상시켜 분석 결과의 신뢰도를 높임.
• 전처리 과정:
  • 데이터 정제: 필요 데이터만 필터링.
  • 데이터 통합: 일관성 있는 데이터로 변환.
  • 데이터 변화: 비정상 데이터를 수정.
  • 데이터 분할: 훈련 및 테스트 데이터로 나눔.

1.3 빅데이터의 3대 특성

• 규모 (Volume): 방대한 양의 데이터.
• 속도 (Velocity): 데이터 생성과 처리 속도가 빠름.
• 다양성 (Variety): 데이터 형식과 종류가 다양.

1.4 빅데이터 활용 도구

• 저장: Hadoop, HDFS, Amazon S3
• 처리: Apache Spark, Flink
• 분석: Python (pandas, NumPy), R
• 시각화: Tableau, Power BI
• 데이터베이스: NoSQL (MongoDB), NewSQL

1.5 핵심 개념

• 메타데이터: 데이터에 대한 정보를 담는 데이터.
• 회귀분석: 변수 간 관계 분석 (단순, 다중, 다항, 로지스틱).
• 군집분석: 데이터 군집화.
• IoT (사물인터넷): 물리적 장치들이 연결된 시스템.

---

2. 인공지능

2.1 딥러닝 기초

• 뉴런 (Neuron): 신경망의 기본 단위.
• 레이어 (Layer): 뉴런들이 모여 구성된 층 (입력층, 은닉층, 출력층).
• 가중치 (Weight): 학습의 주요 매개변수로 결과의 정확도를 결정.
• 모델 (Model): 학습을 통해 만들어진 AI 시스템.

2.2 신경망 종류

• ANN (Artificial Neural Network): 기본적인 신경망.
• DNN (Deep Neural Network): ANN의 심화 형태.
• CNN (Convolutional Neural Network): 이미지 처리에 특화.
• RNN (Recurrent Neural Network): 시간적 특성을 학습.

---

오늘의 배운 점

1. 데이터를 다룰 때 정형, 비정형, 반정형 데이터의 차이를 이해하고, 활용 가능한 도구와 기술들을 학습했습니다.
2. 데이터 전처리 과정이 중요하며, 데이터 품질 향상이 분석 및 학습 결과에 미치는 영향을 알게 되었습니다.
3. 딥러닝의 기본 단위와 신경망 종류의 특성을 이해하며, 각각의 장점을 알게 되었습니다.

---

앞으로의 목표

1. 오늘 학습한 개념들을 실제 데이터셋으로 실습하며 정리.
2. 간단한 데이터 전처리 및 분석 코드 작성.
3. 딥러닝 기본 모델 (ANN, CNN) 간단히 구현.