초보자를 위한 BigQuery(SQL) 입문

선욱님 안녕하세요! 요즘 시기에 꼭 필요한 좋은 질문이네요. 질문 남겨주셔서 감사합니다. 질문의 핵심을 정리해보면 "GPT가 대부분 잘 해주는데, 빅쿼리를 공부할 필요가 있을까?"로 볼 수 있겠네요. 요즘 프로그래밍, AI 등 다양한 분야에서 ChatGPT가 좋은 성능을 보여주기에 많은 분들이 비슷한 고민을 하고 계실 것 같아요. 기존엔 개발계의 지식인이였던 스택오버플로우에서 자료를 찾던 것이 ChatGPT에게 옮겨온 상황이지요. 제 생각을 공유드리면 GPT를 "도구" 관점에서 바라보기 GPT를 사용하다보면 오류가 생기는 경우가 있는데, 그 오류를 수정해서 다시 의도에 맞는 것으로 바로 잡아야 합니다 예를 들어 특정 지표에 대한 쿼리를 작성해달라고 GPT에게 이야기를 한다고 해볼게요 이 상황에서 문법적 오류가 났습니다. 문법적 오류는 또 GPT한테 물어보면 답을 찾을 가능성이 있어서 그래서 빠르게 해결될 수 있을거에요 다만 이걸 가능하려면 어느정도의 빅쿼리 지식이 있어야 더 잘 질문할 수 있다고 생각해요 무지성으로 다시 이 오류 발생해, 이 오류 발생해라고 하는 것이 간단한 것은 잘 해결해주지만, 그게 개인의 역량으로 귀속이 될까?라는 질문을 하게 되네요 결국 우리가 일을 더 잘하고, 개인의 역량을 얻어 커리어를 쌓는 과정에서 GPT를 사용하는데 이렇게 사용하면 개인의 역량이 체득이 되지 않을 것 같아요. 다만 쿼리를 짰다?라는 성취감은 있을 수 있지만 바닥부터 짜라고 하면 못할수도 있지요. 결국 GPT가 없다면 아무것도 못하게 되지 않을 수 있으려나? 싶어요. GPT가 장애가 발생할 때 퍼포먼스가 낮은 분들이 있더라구요. 확인해보니 GPT 장애라서 못한다.. 이런 이야기를 들을 때 음..? 이런 생각이 들었어요 지금 선욱님은 어느정도 SQL을 작성할 수 있는 상황이여서 GPT를 사용할 때 잘 사용하시는게 아닐까 싶어요. 아예 모르는 분들은 막막함에 막막함이 쌓이지 않을까?라는 생각도 드네요 또한 처음엔 쉬운 수준의 데이터를 보고 싶지만 점점 복잡한 수준의 데이터를 보고 싶게 되더라구요. 그러면 쿼리를 어느정도 작성해야 할 수 있는데, 그 땐 GPT를 일부 컴포넌트를 짤 때 활용하고 전체 구조는 스스로 잡는게 좋긴 하더라구요. 전체 구조를 잡는 것도 어느정도 쿼리를 알아야 할 수 있지 않을까 싶어요 문법적 오류가 아닌 의미론적인 오류 이런 경우라면 GPT도 잡지 못합니다. 나의 의도를 제대로 파악하지 못했기 때문이에요. 이럴 때는 작성된 쿼리문을 읽고 해석하는 리터러시 역량이 필요합니다. 이게 안되면 그냥 쿼리 나오는 것으로 지표 사용하고 => 근데 이 지표가 전사 회의에서 피드백을 받았다면? 잘못된 지표를 뽑는 경우인데 어떻게 뽑았냐?라고 하면 GPT가 말해줬어요 라고 말은 하기 어렵지요.. 뭔가 이렇게 답하기 어려울 것 같아요 이런 경우엔 무지성으로 GPT의 답변을 쓰는 것보다 한번 정도는 읽어보는 것이 필요하지요. 그럴 때 강의의 내용이 필요할 것이라 생각해요 에어비앤비나 우버, 데이터 환경이 잘 발달된 회사들은 GPT가 나오기 전에도 "데이터 마트"라는 개념을 만들어서 데이터를 쉽게 추출할 수 있도록 만들고 있었어요. 거기선 SQL 쿼리를 간단히만 작성하면 원하는 값이 나오곤 했지요. 데이터 마트를 구성할 때 논리적으로 점검하는 과정을 사람이 할테고, 그 후에 GPT랑 연동하면 원하는 데이터를 더 쉽게 획득할 수 있을거에요. 인터페이스가 SQL 쿼리 => 자연어로 바뀌고 있는 시기가 된 것 같네요 GPT가 쿼리문을 작성을 대체할 수 있냐? 라는 질문엔 "그럴 수도 있고, 아닐 수도 있지 않을까요?"라고 답할 것 같네요 이분법적인 질문엔 대부분 위와 같은 스탠스를 취하곤 합니다 (쉬운 쿼리는) 잘 작성해주고, (어려운 쿼리나 최근 문법)은 아닐 수도 있지 않을까요? 로 해석해도 될 것 같네요 100% 대체보다는 GPT를 활용하는 사람의 생산성, 퍼포먼스가 증가할 수 있게 도와주는 도구라고 생각하고 있어요. 그래서 1시간 당 진행할 수 있는 퍼포먼스가 과거보다 더 많아지고 있는 것이지요 GPT가 쿼리 작성에 대해서 간단한 것은 잘 진행하지만 최근 문법은 학습하지 않아서 모를 가능성이 있지요. 그래서 모든 것을 다 하긴 어려울 것 같고, GROUP BY ALL도 최근에 나와서 모를 가능성이 있지 않을까 싶네요(스노우플레이크엔 이 함수가 있어서 이 부분은 알고 있더라구요) GPT가 회사 내의 도메인 Specific한 내용은 모를거라서 이 부분도 사람이 추가하거나 보면서 판단해야 할 것 같네요 그렇다면 이런 시기에 무엇이 중요할까? 생각해보면 논리적인 사고, 추론하는 역량 스스로 사고하고, 어떤 것이 맞는지 판단하는 과정이 더 중요해지는 것 같아요 예전부터 이 부분이 중요하다고 생각해서 PM을 위한 데이터 리터러시 강의를 만들었는데, 요즘 더 중요해진 것 같다란 생각이 드네요 기본적인 빅쿼리, SQL 해석 역량 꼭 100% 쿼리문을 실행해야 하는 것은 아니여도 읽을 정도의 능력이 있어야 의도와 맞는지 확인할 수 있을 것 같아요 디버깅 역량, 문제가 발생할 때 해결하는 역량 문제 발생 => 어떻게 문제를 해결하는가 이 부분은 우리가 매일 진행하고 있는 과정일거에요. 이 부분이 GPT에선 더 중요해지는 것 같네요 문제를 어떻게 바라보고 접근하느냐? 이 부분이 핵심이지 않을까 싶어요. 그리고 상황 판단하고 또 하나씩 해보고 초보자를 위한 BigQuery 입문을 무료로 냈던 것 의도 중에 GPT가 어차피 다 잘 짜주는데 뭐가 필요해요? 이런 분들에게 그래도 BigQuery SQL에 대한 기본적인 지식을 알고난 후에 해보면 어떨까요?라는 제안을 드리고 싶었어요 그래야 더 디버깅을 잘 진행할 수 있고, 데이터를 잘못 뽑는 일이 적을 것이라 생각했어요 그런데 GPT가 다 해주는 과정에서 또 강의를 유료로 수강하기 애매한 부분도 있을 것 같아 그냥 무료로 공개했어요 한번 이런 강의를 통해 큰 맥락을 이해하시고 GPT를 사용하시면 더 쿼리를 잘 작성하고 데이터도 잘 활용할 수 있을거라 생각해요 제 이야기는 GPT 쓰지 말라!라는 의도가 아닌 원리를 잘 이해하고 잘 써보자라는 의도가 큽니다. GPT를 저도 많이 활용하고 내가 짜기 번거롭거나 귀찮은(정규표현식 등) 일을 자주 맡기곤 해요 또한 강의 내용 중에 섹션 3. SQL 쿼리 잘 작성하기에 오류를 디버깅하는 방법, 섹션 6에 데이터 결과 검증이 있는데 이 부분을 꼭 알고 계시면서 데이터를 바라보시면 좋겠다란 생각을 했어요. 이 부분은 판단, 의사결정의 영역이니 사람이 해야한다고 생각해요. 정리하면 GPT가 사람의 퍼포먼스 향상에 기여하고 있으나, 그래도 근본적인 기본 지식은 인간이 알아야 더 잘 활용할 수 있지 않을까?란 질문을 계속 던지고 있습니다. 물론 GPT가 5가 나오면서 더 큰 변화를 가져올 수 있지요. 근데 이렇게 되면 우린 어떻게 살아야 할까에 대한 고민을 해보지 않을까 싶네요 간단한 문제만 푸신다고 하시면 GPT로 충분할 수 있고, 그 이상을 해야하는 시기가 온다면 강의를 듣거나 학습을 하시면 어떨까 싶네요 좋은 질문해주셔서 감사합니다! 저도 정답을 알진 못하지만 이렇게 생각하며 지내고 있어요. 꼭 쿼리 뿐만 아니라 많은 영역에 적용되는 부분이 아닐까 싶어요