티스토리

냥냠
검색하기

블로그 홈

냥냠

sueeee-e.tistory.com/m

구독자
0
방명록 방문하기

주요 글 목록

  • [NLP] 자연어처리 9. 트랜스포머 적용 Transformer란? "Attention Is All You Need" (논문-구글 연구원)-> 여기서 자연어 처리 분야에서 가장 혁신적인 모델 중 하나인 Transformer를 소개한다. Seq2Seq모델에서 사용되는 RNN, LSTM의 장기 의존성 문제와 병목 현상을 해결하고자 Self-Attention 메커니즘을 사용하여 Transformer 모델을 제안한다. *Self-Attention 메커니즘 : 입력시퀀스의 각 원소들이 다른 원소들과 상호작용 -> 긴 시퀀스에서의 장기 의존성 문제를 해결할 수 있다. Transformer 모델: 인코더 + 디코더로 구성되며 입력시퀀스를 인코더에서 인코딩하고, 디코더에서 디코딩하여 출력 시퀀스를 생성한다.  인코더 : 입력 시퀀스를 받아서 순차적으로 처리한다.. 공감수 3 댓글수 0 2024. 10. 7.
  • [NLP] 자연어처리 8. RNN,LSTM 적용 & 허깅페이스 딥러닝기초에서 RNN, LSTM 내용 적용,  마지막에 허깅페이스에 대한 내용까지의 정리3. RNN, LSTM📍RNN(순환신경망)- 시퀀스 데이터를 처리하는 신경망 구조(시계열)- 순환적인 특성을 통해 시퀀스 데이터의 패턴, 트렌드, 의존성을 학습한다. - 장기 의존성 문제 - 활성화 함수 : tanh 📍 RNN 변형 : LSTM, GRU- 장기의존성 문제 해결, 그래디언트 소실 완화 - LSTM : 시그모이드로 곱하고 과거 메모리 셀을 더함- GRU : 연산속도가 빠르고 LSTM의 덮어씌워지는 문제가 없다.  📍Bidirectional RNN - 정보의 불균형 발생- 2개의 은닉층으로 구성되고 서로 연결되어 있지 않다. - 전방향 + 후방향 순환신경망을 이용한 데이콘 실습을 진행해보겠다. * 라.. 공감수 4 댓글수 3 2024. 10. 6.
  • [NLP] 자연어처리 7. 딥러닝 활용(분류 분석) ❕딥러닝을 이용한 자연어처리에 대해 아래의 순서대로 진행해보겠다.1. 단어 벡터화와 임베딩 차이 (feat.텐서플로)2. 딥러닝 기초 - DNN 적용3. RNN, LSTM으로 데이콘 대회 적용해보기  -> 다음 편에서 !1. 단어 벡터화와 임베딩 📍텍스트 벡터화 : 수치형 벡터로 표현하는 일반적인 개념 (희소행렬)- 3가지 과정 : 토큰화 -> 어휘생성(필요어휘) -> 벡터 생성- 종류 : BOW, 원-핫 인코딩, TF-IDF 📍임베딩 : 유사한 단어가 유사한 인코딩을 갖는 효율적이고 조밀한 표현을 사용하는 방법 (밀집벡터)- 밀집 벡터에서 의미적 유사성이 뚜렷하다.- 종류 : Word2Vec, GloVe, FastText  텐서플로에서 제공하는 텍스트 벡터화와 단어임베딩을 이용하여 corpus=[.. 공감수 2 댓글수 0 2024. 10. 6.
  • [NLP] 자연어처리 6. 머신러닝 활용 (텍스트 분류) 앞에서 공부했던 텍스트 전처리( 토큰화, 형태소 분석기, 태깅, 불용어 처리 등) 와 단어 벡터화(TF-IDF, CountVectorizer) , 토픽 모델링, 군집화, 유사도 분석과 머신러닝을 활용하여 데이콘의 실제 대회에 적용해보는 실습을 해보겠다.  데이콘의 대회 정보 :https://dacon.io/competitions/official/235747/overview/description 월간 데이콘 뉴스 토픽 분류 AI 경진대회 - DACON분석시각화 대회 코드 공유 게시물은 내용 확인 후 좋아요(투표) 가능합니다.dacon.io데이터 전처리 과정과 머신러닝 모델 적용 과정, 최적의 하이퍼파라미터 찾는 방법 순서 등으로 구성된다.이번 대회는 정답데이터가 있고, 7개의 토픽으로 분류하는 텍스트 분류.. 공감수 4 댓글수 1 2024. 10. 5.
  • [NLP] 자연어 처리 5. 군집화 & 유사도 분석 📍군집화 Cluter analysis: 주어진 데이터들의 특성을 고려해 데이터 집단을 정의하고 데이터 집단의 대표할 수 있는 대표점을 찾는 것 (데이터마이닝 기법 중 하나)- 대표적인 비지도학습 , 범주형일 때 사용된다.  - k-means, 계층적 군집화, DBSCAN ⚒️ K-means : k-평균 알고리즘 , k개의 클러스터로 분류하는 방법. EM알고리즘을 활용한 클러스터링과 구조적으로 유사하다.* Elbow Method : 클러스터의 개수를 결정하는 단계, 그래프에서 급격히 떨어지는 지점에서 K값을 정함⚒️ DBSCAN  밀도 기반 공간 클러스터링 방법, 고밀도, 모양에 제한이 없다.  ❕실습 과정 ❕전처리(형태소 분석기, pecab) - 텍스트 벡터화(TfidfVectorizer) - 군집화(.. 공감수 2 댓글수 1 2024. 9. 29.
  • [NLP] 자연어처리 4. 토픽 모델링(LDA, NMF) 🎈토픽 모델링 (Topic Modeling)- 문서 내 잠재적인 "주제"를 식별하는 것 = 주제 파악/분류- LDA, NMF, pLSA, LSI, PLSI- 토픽 모델 : 문서 집합의 추상적인 "주제"를 발견하기 위한 통계적 모델  중 하나: 텍스트 본문에 숨겨진 의미구조를 발견하기 위해 사용되는 텍스트 마이닝 기법 중 하나 ✔️응용 : 문서 분류 및 요약, 추천 시스템, 시장 조사 및 여론 분석 ⚒️ 잠재 의미 분석, LSI : 최초의 토픽 모델, 문헌-용어행렬 = 문헌-의미행렬 + 의미-용어행렬 분해하여 잠재변수 의미를 발견하고자 함⚒️ 잠재 디리클레 할당LDA : 각 문서의 토픽 분포와 각 토픽 내의 단어 분포를 추정 / 확률적 모델    ⚒️ NMF 비음수 행렬분해 : 모든 요소가 0 이상인 행.. 공감수 8 댓글수 6 2024. 9. 28.
  • [NLP] 자연어 처리 3. 텍스트 벡터화(BOW, TF-IDF) *자연어 분류 과정데이터 로드 -> 텍스트 데이터 전처리 -> 데이터 나누기(train,test) -> 텍스트 데이터 벡터화 -> 학습세트와 예측세트 적용  앞에서 형태소 분석을 통해 문장을 나누었다면 이제는 단어끼리 어떻게 묶을지 고민해야 한다. 여러 단어가 합쳐졌을 때는 하나의 단어와는 다른 의미가 되기 때문이다.  그 중 가장 간단하고 효과적인 방법은  📍단어가방 (BOW, Bag of Words): 텍스트를 담는 가방이라는 의미이다. 단어들의 순서를 고려하지 않고 단어들의 출현빈도에 집중하여 텍스트 데이터를 수치화 표현한다. *단어들의 순서를 고려하지 않는 것이 단점 예를 들어 "이것은 슬픈 일이 아니라 기쁜 일이다." 와  "이것은 기쁜 일이 아니라 슬픈 일이다."  는완전히 반대되는 의미를 .. 공감수 1 댓글수 1 2024. 9. 28.
  • [NLP] 자연어처리 2. 형태소 분석 앞서 워드클라우드 정리 중 Pecab을 이용한 형태소 분석을 간단하게 해봤는데 이번에는 형태소 분석에 대해 집중적으로 알아보겠다. 🎈형태소 분석- 형태소 : 의미를 가진 가장 작은 언어 단위- 어절(토큰) : 띄어쓰기로 구분된 각각의 단위 분해 : 한국어 문장을 어절 단위로 분해형태소 분석 : 각 어절을 다시 형태소로 세분화품사 태깅 : 분리된 형태소에 품사 정보 부여 한글 형태소 품사 : 체언, 용언, 관형사, 부사, 감탄사, 조사, 어미, 접사, 어근, 부호, 한글 이외로 나눔예시) 체언의 세부 품사NNG일반 명사NN명사NNP고유 명사NNP고유 명사NNB의존 명사NX의존 명사UM단위 명사NNM단위 의존 명사NR수사NU수사NP대명사NP대명사 형태소 분석은 하나의 어절의 의미를 정확하게 파악할 수 있고.. 공감수 2 댓글수 1 2024. 9. 27.
  • [NLP] 자연어처리 1. 기초, 워드클라우드 예전부터 배워보고 싶었던 자연어처리를 인프런 강의를 통해 듣게 되었는데 그 과정을 기록해보고자 한다 👏🏻 https://inf.run/uh9Xr 모두의 한국어 텍스트 분석과 자연어처리 with 파이썬 강의 | 박조은 - 인프런박조은 | 파이썬 한국어 텍스트 분석과 자연어처리 워드클라우드 시각화, 형태소 분석, 토픽모델링, 군집화, 유사도 분석, 텍스트데이터 벡터화를 위한 단어 가방과 TF-IDF, 머신러닝과 딥러닝을www.inflearn.com 박조은님 목소리가 엄청 차분하시고 발음도 좋으셔서 듣기 너무 편했음 - 추천 ❕유료 강의라 전체 코드는 공개 안하고 일부 발췌하여 정리할 예정이다. 개발 환경 : Google Colaboratory 우선 데이터 분석에서 알아야 할 기초를 먼저 정리하고 뒤에 워.. 공감수 4 댓글수 2 2024. 9. 27.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.