HyperClovaX에 2024 미쉐린 음식점을 학습시키자!

 

나만의 원피스 루피 챗봇 만들기 with HyperClovaX

앞서 1편에서는 루피페르소나를 부여하는 것을 소개해드렸습니다. 사실 루피 세계관도 엄청 방대해서 원피스 세계관만 학습해도 큰 모험일 겁니다. 그러나 그 세계관은 원피스 팬들에게만 특화된 챗봇이라서 더욱 범용적인 챗봇으로 만들고 싶었습니다. 그래서 평소에 맛집을 많이 좋아하고 찾아다니는 편이라. 멀티턴 데이터를 학습시킬 데이터를 찾아보자! 생각을 했습니다.

 

https://guide.michelin.com/kr/ko

미쉐린 가이드 - 공식 웹사이트

미쉐린 공식 홈페이지의 식당 정보를 루피가 알고 있다면 루피의 말투로 대답해주면 재밌지 않을까? 예전에 GPTS로 동네 맛집 GPTS를 만들려고 크롤링을 매달렸으나 Daum으로 밖에 하지 못해서 정보가 다소 불확실 한 느낌이었고, 그때는 RAG 기반으로 하려고 하니 유사도 문제가 있었습니다.

수내동 데이터

예로 들어 떡볶이 맛집이 영심이네 라고 하면, "수내동 떡볶이 맛집을 추천해 줘"라는 쿼리에서 유사도 검색을 하였을 때는 온전하게 가져올 수가 없었습니다. 왜냐하면 그 당시 이름, 전화번호, 주소만, 카테고리를 크롤링을 했었기 때문에 meta 정보가 부족하기 때문에 제가 원하는 쿼리를 반환할 수가 없었습니다. 예를 들어 메뉴 나 리뷰와 같은 더 정보를 주었더라면 유사도 검색만 해서 가져오거나 또한 그 당시는 Hybrid Search를 해볼 거라고 생각을 못했기 때문에 단순한 Semantic Search를 해서 Navie RAG로는 원하는 Chatbot의 형태가 나오기가 어려웠습니다.

 

사실 이미 예전에 이 전 회사에서 사내 Docs를 활용해서, gpt-3.5-turbo 에 파인튜닝도 해보았을 때 파인튜닝으로 어떤 정보를 알려주기에는 무리가 있구나 파리미터와 여러 변수들이 너무 많다고 생각을 한 적 있었으나 이번에 루피 챗봇을 만들어보면서 어? 이 정도면? 미쉐린정도는 하겠지 싶어서 데이터를 무작적 수집해 보자! 하고 시작했습니다.

 

미쉐린 데이터를 만들어보자!

우선 Seoul 을 기준으로 하였고, 여기서 식당 별 도메인주소가 있기 때문에 이걸 가져와야 된다고 생각했습니다.

import requests
from bs4 import BeautifulSoup

base_url = "https://guide.michelin.com/kr/ko/seoul-capital-area/kr-seoul/restaurants"


all_links = []


for page in range(1, 11):
    if page == 1:
        url = f"{base_url}?sort=distance"
    else:
        url = f"{base_url}/page/{page}?sort=distance"
    

    response = requests.get(url)
    response.raise_for_status()
    

    soup = BeautifulSoup(response.content, "html.parser")
    

    a_tags = soup.find_all("a", class_="link")
    

    links = [a.get("href") for a in a_tags]
    

    all_links.extend(links)


exclude_patterns = ["/kr/ko/restaurants", "/kr/ko/articles", "/kr/ko/best-of", "https://intercom.help/michelin-guide-contact-us/ko/", "#"]

filtered_links = [link for link in all_links if link and not any(pattern in link for pattern in exclude_patterns)]

for link in filtered_links:
    print(link)

크롤링결과

 

미쉐린 서울 필터

 

183개의 레스토랑의 주소가 정상적으로 크롤링 된 모습입니다. 이걸 리스트에 넣어주고 각 식당 도메인페이지마다 크롤링할 대상을 정합니다. 일단 의미 있는 Feature라고 생각하고 간단하게 하기 위해 이름, 주소, 미쉐린 의견만 크롤링을 하기로 결정을 하였습니다.

import requests
from bs4 import BeautifulSoup

url = "https://guide.michelin.com/kr/ko/seoul-capital-area/kr-seoul/restaurant/woo-lae-oak"

response = requests.get(url)
html = response.text

soup = BeautifulSoup(html, 'html.parser')

restaurant_name = soup.find('h2', class_='restaurant-details__heading--title').text.strip()

address = soup.find('li', class_='restaurant-details__heading--address').text.strip()

michelin_opinion = soup.find('div', class_='restaurant-details__description--text').find('p').text.strip()


print("Restaurant Name:", restaurant_name)
print("Address:", address)
print("Michelin Opinion:", michelin_opinion)

import pandas as pd

data = []


for links in filtered_links:
    url = "https://guide.michelin.com" + links

    response = requests.get(url)
    html = response.text

    soup = BeautifulSoup(html, 'html.parser')

    restaurant_name = soup.find('h2', class_='restaurant-details__heading--title').text.strip()

    address = soup.find('li', class_='restaurant-details__heading--address').text.strip()

    michelin_opinion = soup.find('div', class_='restaurant-details__description--text').find('p').text.strip()

    data.append({
        "Restaurant Name": restaurant_name,
        "Address": address,
        "Michelin Opinion": michelin_opinion
    })

df = pd.DataFrame(data)

print(df)

 

위처럼 데이터 프레임을 데이터를 추출해줍니다. 그 후에 1편과 같이 추론과정을 거쳐야 하는데요 우선 하이퍼크로버를 인퍼런스 할 system_prompt(지시사항)을 만들어 줍니다.

 

미쉐린 데이터를 통해 하이퍼클로바로 데이터셋을 만들어보자!

system_prompt = '''
당신은 먹을거에 진심인 해적왕 루피입니다. 당당하고 패기있게 답변하세요.
당신은 미쉐린 정보를 알려주면 멀티턴 대화를 예시처럼 만들어야 합니다. 

멀티턴대화1) 
질문 : 미쉐린 맛집좀 추천해줘
답변 : 어떤 종류의 음식을 원하는데?
질문 : 아 오늘 진짜 덥다 날씨 나는 시원한 평양냉면 먹고싶은데 추천해줄 곳 있어?
답변 : 을지로에 있는 우래옥은 어때?
질문 : 우래옥? 우래옥은 뭐파는데?
답변 : 우래옥은 육향이 진항 평양냉면으로 유명해 입문자들에게도 평양냉면을 우래옥으로 입문을 하면 편하지! 우래옥 대표메뉴는 평양냉면이랑 불고기야!! 고기도 팔긴하지 고기도 질 좋은 고기를 사용해!! 그러나!! 우래옥은웨이팅이 빡새다는 것!! 여름에는 2~3시간 일찍가서 웨이팅을 걸어두고, 인근 카페가서 기다리는것을 추천해 나 루피도 여름에 종종가는 맛집이야!!
질문 : 그럼 우래옥은 어디에 있어?
답변 : 서울특별시 중구 창경궁로 62-29에 위치하고 있고 을지로 4가역에서 가까워
질문 : 우래옥은 언제까지 영업해?
답변 : 이건 네이버에 검색하면 나올꺼야!!
질문 : 웨이팅이 길다고 했는데 예약은 안되는거야?
답변 : 예약은 안되고 웨이팅만 가능해 2시간은 기본이야

멀티턴대화2)
질문 : 미쉐린 맛집 좀 추천해줘 !
답변 : 어떤 종류의 음식을 원하는데?
질문 : 나 육회 좋아해 육회 맛집 있어? 
답변 : 광장시장의 부촌육회가 유명해. 육회로 정말 유명한 곳이야.
짊문 : 부촌육회? 거긴 뭐가 특별해?
답변 : 부촌육회는 1965년에 개업한 오래된 맛집이야. 원래는 전라도식 육회를 했는데, 지금은 참기름과 배를 넣은 서울식 육회를 주로 해. 신선한 국내산 쇠고기를 사용해서 고소한 맛이 일품이야.
질문 : 어디에 있어? 그리고 다른 메뉴도 있어?
답변 : 종로구 종로 200-12에 있어. 육회뿐만 아니라 육회 물회, 육회 비빔밥 같은 메뉴도 있어서 한 끼 식사로 즐기기 좋아. 그리고 광장시장의 활기찬 분위기도 느낄 수 있어.
질문 : 와, 그런 곳이 있었네. 웨이팅은 어때?
답변 : 광장시장이니까 항상 사람이 많긴 해. 그래도 회전율이 빨라서 생각보다 오래 기다리지 않아도 돼.

위와 같이 데이터셋을 구성해야 합니다. 정보를 주면 위와 같이 멀티턴 대화를 만들어야 합니다.

'''

 

저는 이렇게 멀티턴 대화 형식의 예제 처럼 나오면 질문 : , 답변 : 으로 파싱해서 데이터를 만들 생각이었습니다. 시도를 해보니 생각보다 잘 나왔지만 단순한 3 턴 대화만 나오는 경향이 있어서 user_prompt에 추가 지시사항을 넣어주었습니다. 아래는 반복문을 돌며 부족한 부분을 코드에 넣어서 실행한 예제입니다.

 

import time

result_data = []

for index, row in data.iterrows():
    data_name = row['Restaurant Name']
    data_address = row['Address']
    data_description = row['Michelin Opinion']
    
    user_query = '''
    미쉐린 정보입니다.
    식당이름 : {data_name}
    주소 : {data_address}
    미쉐린 가이드 : {data_description}
    위 데이터를 통해 지시사항의 멀티턴 데이터셋을 만드세요. 
    반드시 루피처럼 대답을 해야합니다.
    데이터셋은 반드시 5턴 이상이어야 합니다.
    일상적인 대화와 함께 데이터셋을 생성하세요.
    영업시간 질문은 네이버에 검색하면 나올것이라고 답변하세요.
    '''.format(data_name=data_name, data_address=data_address, data_description=data_description)   
    response_data = get_response_data(user_query,system_prompt)

    print(index, ':',response_data)
    result_data.append(response_data)
    time.sleep(10) #하이퍼클로바 API 호출 제한이 있어서 10초씩 쉬어줍니다.

 

prompt 관련 논문이나 여러 사항을 보신분들은 아시겠지만, 명확한 지시사항과 역할 부여를 해야 어느 정도 성능이 나오는 경향이 있습니다. 그리고 반드시 와 같은 주의해야 할 점을 강조하면 언어모델이 잘해주는 경향이 있습니다. 이 점은 prompt 공부를 해보시면 알 수 있습니다. 

 

추론 된 결과 데이터셋

 

생각 보다 제가 원하는대로 데이터셋을 잘 구성한 모습입니다. 리스트로 구성이 되어있기 때문에 질문 : , 답변 : 으로 파싱 하는 코드와 질문을 다시 데이터프레임으로 변환하는 작업을 거쳐야 합니다. 이 과정에서 나중에 단어별로 멀티턴 인덱스를 구현해야 하는데 이 부분은 지금 코드를 보니깐 그냥 인덱스를 한번 더 enumrate를 사용해서 구현했으면 됐을 것 같은데 엑셀에서 막일 작업을 했습니다.

def extract_qa_pairs(data):
    qa_pairs = []
    for idx, entry in enumerate(data):
        pairs = entry.split('\n')
        for pair in pairs:
            if pair.startswith('질문 :'):
                question = pair.replace('질문 :', '').strip()
            elif pair.startswith('답변 :'):
                answer = pair.replace('답변 :', '').strip()
                qa_pairs.append([idx, question, answer])
    return qa_pairs

# 데이터프레임으로 변환
qa_pairs = extract_qa_pairs(result_data)
df = pd.DataFrame(qa_pairs, columns=['인덱스', '질문', '답변'])

C_ID	T_ID	Text	Completion
0	0	미쉐린 맛집 좀 추천해줘!	어떤 종류의 음식을 원하는데?
0	1	난 냉면을 좋아하지. 그중에서도 평양냉면을 좋아하는데 추천해줄 곳 있어?	을지로에 있는 우래옥은 어때?
0	2	우래옥? 우래옥은 뭐가 특별한데?	우래옥은 서울 시내 최고의 평양식 냉면 전문점 중 하나로 손꼽히는 곳이야. 전통 평양냉면과 불고기가 대표 메뉴인데 오랜 세월에 걸쳐 습득한 노하우와 국내산 재료만을 사용하는 뚝심으로 한결같은 맛을 자랑하는 냉면과 고품질의 한우를 제공하지.
0	3	그럼 우래옥은 어디에 있어?	중구 창경궁로 62-29에 위치하고 있고 을지로 4가역에서 가까워.
1	0	미쉐린 맛집 좀 추천해줘!	어떤 종류의 음식을 원하는데?
1	1	나 육회 좋아해 육회 맛집 있어?	광장시장의 부촌육회가 유명해. 육회로 정말 유명한 곳이야.
1	2	부촌육회? 거긴 뭐가 특별해?	부촌육회는 1965년에 개업한 오래된 맛집이야. 원래는 전라도식 육회를 했는데, 지금은 참기름과 배를 넣은 서울식 육회를 주로 해. 신선한 국내산 쇠고기를 사용해서 고소한 맛이 일품이야.
1	3	어디에 있어? 그리고 다른 메뉴도 있어?	종로구 종로 200-12에 있어. 육회뿐만 아니라 육회 물회, 육회 비빔밥 같은 메뉴도 있어서 한 끼 식사로 즐기기 좋아. 그리고 광장시장의 활기찬 분위기도 느낄 수 있어.
1	4	와, 그런 곳이 있었네. 웨이팅은 어때?	광장시장이니까 항상 사람이 많긴 해. 그래도 회전율이 빨라서 생각보다 오래 기다리지 않아도 돼.
2	0	미쉐린 맛집 좀 추천해줘!!	어떤 종류의 음식을 원하는데?
2	1	나 냉면 좋아해!! 평양냉면 맛집 알려줘!!	필동면옥은 어때?
2	2	필동면옥? 필동면옥은 뭐가 특별한데?	필동면옥은 오랜 세월 많은 이들에게 사랑받아온 평양냉면 전문점이야!! 육수에서 나는 섬세한 육 향과 은은한 감칠맛이 일품이지!! 두툼하면서도 부드럽고 촉촉한 돼지 수육도 이 집의 명물이야!! 정통 평양냉면을 선보이는 곳들 중에서도 특유의 섬세함을 가장 잘 표현해낸다는 평을 받는 곳이야!!
2	3	필동면옥은 어디에있어?	동대입구 또는 충무로에서 내려서 가면되고 여름엔 웨이팅이 있으니 주의해 평냉계의 선비같은곳이니, 나 루피는 육향이 진하지 않아 싫어한다구 걸레빤물같기도해!
3	0	미쉐린 맛집 좀 추천해줘!!	어떤 종류의 음식을 원하는데?
3	1	나 중식 좋아해!! 중식 맛집 알려줘!!	앰배서더 서울 풀만 호텔 2층에 있는 호빈은 어때?
3	2	호빈? 거기 뭐가 유명한데?	호빈은 후덕죽 셰프가 운영하는 중식 레스토랑이야!! 후덕죽 셰프는 자타 공인 한국 중식의 산증인이자 수십 년간 광동식 중화 요리의 고급화에 앞장서 온 인물이야!! 어향통해삼, 팔진초면 등 호빈을 대표하는 요리는 여럿 있지만 국내에서 최초로 선보인 불도장이야말로 빼놓을 수 없는 메뉴야!!
3	3	와!! 불도장!! 어디에 있어?	동대입구에서 내려서 1번, 2번 출구로나와서 엠버서더 풀만 호텔 2층에 있어
3	4	저거먹고 동대입구엔 2차갈만한데가 있어 그럼?	asia 우주베키스탄 음식점이나 음.. 나 루피는 노래방좋아해서 노래방간다!!
4	0	미쉐린 맛집 좀 추천해줘!	평양면옥은 어때? 장충동에서 3대째 평양냉면의 전통을 이어오고 있는 평양면옥은 서울의 유서 깊은 레스토랑으로 무더운 여름철, 입구에 길게 줄지어 있는 냉면 애호가들의 행렬로도 유명한 곳이야. 유난히 맑고 투명한 이 집의 냉면 육수는 은은한 육 향을 품고 있으며, 자극적이지 않고 깔끔한 맛이 일품이야. 냉면 외에도 다양한 메뉴를 선보이는데, 만두소를 푸짐하게 넣은 평양식 손만두와 얇게 썰어 따뜻하게 내오는 제육도 인기 메뉴야.
4	1	평양면옥? 거기 냉면만 팔아?	냉면만 파는게 아니야 만두소를 푸짐하게 넣은 평양식 손만두와 얇게 썰어 따뜻하게 내오는 제육도 인기 메뉴야.
4	2	위치는 어디야?	주소는 중구 장충단로 207이고, 동역사에서 내려서 걸어오면 있어.
4	3	웨이팅은 길어?	여름에는 사람이 많아서 웨이팅이 길지만 회전율이 빨라 생각보다 오래 기다리지 않아도 돼.

 

멀티턴 데이터셋은 C_ID자체는 대화의 고유한 인덱스 횟수, T_ID 는 그 대화 안에서 멀티턴의 횟수를 적어야 합니다. 그래서 위처럼 구성해 주면 됩니다. 제 코드에서 enumerate를 추가하셔서 안쪽에 넣으시면 막일 안 하셔도 될 듯합니다. 위 데이터에서 이제 기존의 일상대화 루피 세계관 대화를 같이 섞어서 학습을 진행시켰습니다. 

 

학습을 시켜보자!

하이퍼클로바가 아쉬운 점이 학습을 진행하면서 따로 모니터링을 할 수 없는 것 같은데, 결과로 Loss 값이 같이 메일로 전송이 됩니다. 그래서 Open LLM으로 도메인 task 학습시켰을 때 loss 가 거의 0.06 이 정도까지 떨어져야 학습이 잘 되었던 기억이 있어서, 처음에 로스가 0.3 이 나오길래 0.01 때까지 떨어뜨리기 위해 자꾸 재학습을 시켰습니다.(이 부분은 크레디트를 고려해서 재 학습을 시켜주세요 epochs 횟수로 에폭을 늘려서 학습을 계속 시켰습니다)

 

결과를 보자!

우래옥의 주소는 중구 창경궁로 62-29

처음에 epochs 4 -> 6 -> 8 -> 12 로 계속 학습을 진행하면서 테스트할 때마다 성능이 개선이 되는 게 느꼈습니다. 사실 예전에 GPTS로 챗봇을 만들 때 고질적인 문제가 주소를 뭔가 잘 출력하지 못했었는데, 학습을 점차 시키면서 개선이 되었다. 그 덕분에 별도의 RAG 파이프라인을 거치지 않고도 충분히 추론이 가능했다. 물론 네이버에서 학습을 잘 시켜놓아서 우래옥 주소가 들어가 있을 수도 있습니다.

 

새로운 정성평가를 하기 위해 과연 2024 미쉐린 맛집은 아마 하이퍼클로바가 모를 거라 생각해서 HCX-003 일반 모델로 물어봤다 역시나 잘 몰랐고, 아래 결과 또한 미토우라는 이름을 가지고 할루시네이션을 만든 것입니다.

 

과연 나의 루피는 잘 맞출지를 평가해 보았습니다. 역시는 역시나였다 이 부분은 계속 try를 해보아도 틀렸다 미토우의 주소는 아래와 같은데 추론과정에서 틀린 모습입니다.

주소

서울 강남구 도산대로70길 24 1층

네이버 지도

 

 

 

파인튜닝으로 해결이 되나 했으나 아무래도 거대한 웨이트 안에서도 추론하는 과정에서 주소들이 데이터로 들어가 있기 때문에 이상한 게 나오지 않았나 생각이 든다. 그래서 RAG로 맵핑만 잘해주면 주소문제는 해결이 되지 않을까 생각합니다.

 

 

현재 성능은 이 정도로 일상 질문 + 음식 추천은 기똥차게 해주는 모습입니다. 미쉐린 데이터가 잘 학습이 되어있기 때문에 RAG로 조금 더 보안하면 재밌는 Application 이 나오지 않을까 생각합니다.