본문 바로가기

Study/책『밑바닥부터 시작하는 딥러닝』10

4-1. 신경망 학습 4. 신경망 학습 학습이란 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것을 뜻한다. 4장에서는 신경망이 학습할 수 있도록 해주는 지표인 손실 함수를 다뤄본다. 손실 함수의 결괏값을 가장 작게 만드는 가중치 매개변수를 찾는 것이 학습의 목표다. 이번 장에서는 손실 함수의 값을 가급적 작게 만드는 기법으로 함수의 기울기를 활용하는 경사법을 살펴본다. 4.1. 데이터에서 학습한다. 신경망의 특징은 데이터를 보고 학습할 수 있다는 점이다. 데이터에서 학습한다는 것은 가중치 매개변수의 값을 데이터를 보고 자동으로 결정한다는 뜻이다. 실제 신경망에서 매개변수를 수작업으로 정한다는 것은 불가능하다. 신경망 학습에 대해 살펴보고 파이썬으로 MNIST 데이터셋의 손글씨 숫자를 학습하는 코드를 구현해본.. 2020. 3. 16.
3-2. 신경망 3.4. 3층 신경망 구현하기 3층 신경망에서 수행되는, 입력부터의 출력까지의 처리(순방향 처리)를 구현하겠다. 넘파이의 다차원 배열을 사용한다. 3.4.1. 표기법 설명 3.4.2. 각 층의 신호 전달 구현하기 입력층에서 '1층의 첫 번째 뉴런'으로 가는 신호를 보겠다. 편향을 뜻하는 뉴런ⓛ이 추가됐다. 가중치를 곱한 신호 두 개와 편향을 합하면 다음과 같이 계산한다. 여기에서 행렬의 곱을 이용하면 1층의 '가중치 부분'을 간소화할 수 있다. 행렬들은 각각 다음과 같다. 넘파이의 다차원 배열을 사용해서 간소화된 식을 구현해본다. 입력 신호, 가중치, 편향은 적당한 값으로 설정한다. X = np.array([1.0, 0.5]) W1 = np.array([[0.1, 0.3, 0.5], [0.2, 0.4, .. 2020. 3. 9.
보충) numpy 행렬의 형상 차이 - (N,) (N,1)(1,N) python numpy 라이브러리의 행렬 개념을 공부하다가 의문점이 생겼다. 일반적으로 numpy를 활용해 생성한 2X3 행렬 A의 형상을 알기 위해 A.shape로 프린트 하면 (2, 3)을 반환한다. 그러나 3X1 행렬 B의 형상은 B.shape을 통해 (3,)을 반환한다. 즉, 1이 생략된다는 것이다. stackoverflow에 비슷한 질문이 남겨져 있었고, 답변도 달려 있었다. 알게 된 내용을 추가해서 정리해본다. (N,1)과 (N,)의 형상을 가진 numpy 배열의 차이가 뭔가요? 두 배열 모두 NX1 행렬이지 않나요? 가끔씩 계산 결과가 두 배열 중 하나를 반환해서 여쭤봅니다. 정리하기 앞서, 배열의 차원은 아래와 같다. (사진 출처는 글 하단에 있다) (N,1)과 (N,)은 차원이 다르다. .. 2020. 3. 8.
3-1. 신경망 앞장에서 배운 2. 퍼셉트론 관련해서는 좋은 점과 나쁜 점이 존재한다. 좋은 점은 퍼셉트론으로 복잡한 함수도 표현할 수 있다는 것이다. (ex. 컴퓨터가 수행하는 복잡한 처리도 이론상으로는 퍼셉트론으로 표현 가능하다) 그러나 나쁜 점은 가중치를 설정하는 작업을 여전히 사람이 수동으로 한다는 것이다. 신경망은 이 나쁜 점을 해결해준다. 가중치 매개변수의 적절한 값을 데이터로부터 자동으로 학습하는 능력이 신경망의 중요한 성질이다. 3.1. 퍼셉트론에서 신경망으로 3.1.1. 신경망의 예 신경망을 그림으로 나타내면 아래와 같다. 여기서 가장 왼쪽 줄을 입력층, 맨 오른쪽 줄을 출력층, 중간 줄을 은닉층이라고 한다. 은닉층의 뉴런은 (입력층이나 출력층과 달리) 사람 눈에는 보이지 않는다. 그래서 '은닉'이다. .. 2020. 3. 7.
2. 퍼셉트론(Perceptron) 2.1. 퍼셉트론이란? 퍼셉트론은 프랑크 로젠블라트(Frank Fosenblatt)가 1957년에 고안한 알고리즘이다. 신경망(딥러닝)의 기원이 되는 알고리즘이기 때문에 퍼셉트론의 구조를 배우는 것은 신경망과 딥러닝으로 나아가는 데 중요한 아이디어를 배우는 일이기도 하다. 지금 기술하는 퍼셉트론은 정확히 말하는 '인공 뉴런' 혹은 '단순 퍼셉트론'을 지칭한다. 퍼셉트론은 다수의 신호를 입력으로 받아 하나의 신호를 출력한다. 퍼셉트론 신호는 '흐른다/안 흐른다(1이나 0)'의 두 가지 값을 가질 수 있다. 위의 그림은 입력으로 2개의 신호를 받은 퍼셉트론의 예다. x1과 x2는 입력 신호, y는 출력 신호, w1과 w2는 가중치를 뜻한다(w는 weight의 머리글자). 그림의 원을 뉴런 혹은 노드라고 부른.. 2020. 3. 2.