MODUCON 2023, 모두콘 - 2부

 

 

점심 맛있게 먹고 잠깐 돌아다녀봤다.

외국인들도 많이 놀러오더라.

 

6. 창작과 생산을 위한 AI 도구 : CLOVA for writing - 강재욱

네이버 블로그에 새로 추가된 'AI 글쓰기 도구'의 개발 과정에 대해 설명했다.

• 글쓰기 워크 플로우(일반적으로): 글감 수집 -> 초안 작성 -> 초안 편집 -> 해시태그/제목 등으로 마무리
• Demo 시연
  • AI 글쓰기 버튼이 있음
  • 내가 그동안 올린 글들로 글쓰는 스타일을 분석함
  • 글목적을 입력하면 글감을 추천해줌
  • 나오는 글감들이 일부 부정확할 수는 있지만, 브레인스토밍 과정으로 생각하고 시용 가능
  • 글감들을 선택하면 글을 써주기 시작함
  • 바로 사용하지는 말고 편집을 해야하는데, 이어쓰기, 요약하기, 바꿔쓰기 등의 추가 기능이 있음
  • 해시태그도 생성해줌
  • 여기까지 쓴 글을 바탕으로 제목 생성
• 전체 글 생성(페르소나, 글감, 초안생성) → 부분 편집(이어쓰기, 요약하기, 바꿔쓰기) → 전체 편집

• 테스터 모집중(3월에 모집 예정)
• 추가로, LLM to the rescue for Writing Bench
  • LLM이 만들어주는 답변이 정답인지 아닌지에 대한 평가 어려움
  • 기존에 언어모델을 평가하는 전통적인 지표가 있기는 함(어휘 유사도를 측정하는 지표 등)
  • 하지만 이거로 올바른 답변인지 아닌지 판단하기는 어려움
  • 또한 글 길이가 답변 품질과는 다른거기 때문에 하나의 지표만으로 판단하기도 어려움(키워드 반영/다양성/주제명확성 등)
  • 테스트를 해봤는데, 전통적 지표 기반 평가 체계로는 변별력이 없음
  • 사람이 평가를 할 수는 있지만, 사람도 바뀌고 매번 교육시키는 것도 어려움
  • 평가자의 개인적인 bias도 존재 함
• 새로운 평가 모델에 대한 연구(사람이 아니라 모델이 평가하게 하자!)
  • 문헌조사를 해보니, LLM이 글을 평가하는 연구들이 있음(GPTScore, G-Eval)
  • 평가 방식은 상대평가(두 글의 퀄리티가 차이나는 경우), 절대평가
  • 문제점은?
    • 1. Position Bias: 뒤에 나오는 글이 더 좋다고 평가하는 경향(순서 바꿔서 두번 실험해야 함)
    • 2. 000: 놓침
    • 3. Self enhancement bias: 자기가 쓴 글을 더 좋다고 평가함(평가모델, 생성모델이 달라야 함)
  • 이런것들을 개선하기 위해 프롬프트 연구가 계속 진행중
  • 사람평가 & GPT4Eval 평가 진행
  • 총 3차까지 모델이 있고 사람과 모델의 평과결과를 비교했을때, 모델로 사람을 대체할 수 있다고 판단됨(일치율 높음, 90% 이상)
  • 모델 대비 사람의 cost는 5배 이상
  • 평가 결과로는 clova for writing 서비스의 블로그 글쓰기 능력은 매우 높음
• 컨텐츠 질이 떨어지지 않도록 하기위해 계속 개선중(엄선된 임플루언서 선정해서 테스트 함)

느낀점: 현장에서 바로 시연을 했는데, 정말 강력한 기능이라고 느껴졌다. 글 쓰기를 원하는 사람은 많지만 실제로 글을 쓰고 꾸준히 유지하는 사람은 많지 않다고 생각되는데, 기능의 편리함이 이러한 문턱을 낮출수 있을 것 같다.

 

7. 인공지능을 이용한 험난한 투자 도전기 - 유주현

• AI팀이 하는 일은?
  • 정형 데이터로는 할만큼 했다고 생각됨
    • 종목을 어떻게 뽑을 것인가, 모멘텀 계산, 현재 경제상황 사이클 등 분석
    • Time series forecasting model 개발함
      • 마켓의 추세를 예측
      • DLinear(논문)을 기반으로
    • Weight adjustment for reinforcement-learning-based safety dynamic asset allocation stratagies (자산배분 모델)기반으로 모델 개발
      • 최근 트렌드는 다 강화학습 사용
      • State, agent 설계가 중요하고 어려움
      • state를 이용해서 autoencode를 만들고, 이때의 low-dimension을 state와 함께 이용해서 agent에 사용
      • 투자 전문가들이 만들어놓은 지표들을 이용해서 종목 스크리닝 필터링 함(8개 필터가 있음)
      • 종목군 리스트별 wight가 있음 
  • 비정형 데이터를 어떻게 사용할까 고민(LLM도 도입)
    • Sentimental, 뉴스와 주가의 상관성 파악, 테마주 관련 연구
    • 보고서 데이터 -> 요약해서 경제 지표와 연구
    • 해외도 비슷한 형태의 연구 진행중
    • DeBERTa를 활용한 공시 강도 측정 모델 개발(Multi-modal 모델, CRNN 구조를 기반으로 한 TSF 부분 + DeBERTa)
      • 갑작스러운 공시는 공시 이후 가격변동이 생기기 때문에, 이런건 캐치하면 주가예측에 도움이 됨
      • 아직은 데이터가 많지 않아서 성능평가 어려움
    • 카뱅이랑 금융 특화 언어모델 개발 함
• 비정형모델의 예시로, 인공위성 사진으로 경작지 풍년 등 파악해서 주가예측 하기도 함
• 강화학습으로의 트렌드 이동(이 업계를 가려면 강화학습은 기본지식이 될 것!)

느낀점: 내용이 어려워서, 알고리즘을 어떤식으로 적용하는지 대략적인 흐름만 이해하고 넘어갔다. 강화학습 공부해야지..

 

8. 모두연 DAO 만들기 - 한재선

• 개요
  • 조직화된 커뮤니티를 만들고, 기여에 따른 보상을 제공하고자 함
  • 기여에 대한 보상으로 주식 제공
  • 플랫폼 시대에는 고객이 소비자이며 생산자, 핵심은 고객(이해관계자)
  • 고객을 충분히 활용하고 대우하고 있는가?(단기 보상 + 장기 보상)
  • 주식으로 장기 보상을 제공하면 고객과 한배를 타는 구조가 됨
  • 이런 구조를 만들고자 함
• DAO(탈 중앙화 자율 조직)
  • 블록체인 기반
• 기존 DAO와 다른 점
  • 회사와 이해관계자가 페어링 될 때만 의미를 가짐
  • 토큰/코인이 아닌 주식이라는 기존 보상 체계를 기반으로 함(외부에서 나쁜 목적으로 참여하는 것을 차단하기 위함)
  • 기여 측정과 보상 메커니즘이 있음
• 이해관계자 DAO는 세계 최초의 실험(주식회사 문제점을 보완하고자 함)
  • 법적 절차 구조 필요(법무법인 미션)
  • DAO 거버넌스, 기여 측정과 보상 구조 개발
    • 새로운 제안 -> 투표 -> 실행
    • 기여 측정?
      • 최대한 정량적 측정(크레딧 활용)
      • 최대한 프로그램을 측정, 로직 공개
      • 추후 합의에 의해 바꿀 수 있음
    • 기여 보상?
      • 보상이 보상으로 느껴지도록 설계(금전적 가치를 넘어서는 가치)
      • 보상이라는 외적 동기로 인해 내적 동기(성장, 논문 등)가 훼손되는 걸 막아야 함
      • 형평성과 공정성 이슈가 없도록
  • 블록체인 등 실제 개발

느낀점: 흥미로운 주제였다. 기존의 문제점을 해결하기 위해 새로운 관점으로 사고를 확장시킨다는 것이 참 어려운 일인데, 이런식의 방법도 되겠구나 싶었다. 

 

결론

생각보다 큰 규모, 잘 기획된 행사여서 깜짝 놀랐다.

4가지 세션에서 원하는 주제의 발표를 듣기위해 돌아다닐 때는 (기획자의 의도대로) 재미있는 놀이기구를 타러가는 기분이었다. 각각의 주제도 재미있고 유익했다.

 

직장 생활을 하다보면 하나의 주제에 대해 깊게 고민하다가 매몰되는 경우가 많은데,

다른 도메인, 다른 연구분야에서는 문제해결에 어떻게 접근하는지 많은 아이디어를 얻었다.

 

밖에 나가는거 안좋아하는데, 이런 행사는 또 왜 이렇게 재미있는지 참..

 

이상 2023 모두콘 후기 끝!