변동값을 group by 하는 tip

예를 들어 각 나이대별 00 건수 데이터를 뽑고 싶을 때

구분 5년이상 10년이하 10년이상 15년이하 15년이상 20년이하 ~~~
20세 ~ 30세        
30세 ~ 40세        
40세~ 80세        
         

위와 같은 표의 데이터를 뽑을 때 처음에 어떻게 데이터를 뽑아야 할지 머리가 안 돌아갔다.
구분값이 다 변동값인데 이걸 어떻게 group by로 뽑아내지 하다가 문득 든 생각 

20세와 30세를 그룹으로 묶고 30세~40세를 그룹으로 묶어 버리자.

그래서 gruop by를 하기 전 case when 컬럼1 between 20 and 30 then '1'
when 컬럼1 between 30 and 40 then '2' 
...

이런 방식으로 그룹핑을 지어주었다. 그리고 또한 기간도 case when 컬럼2 between 5년 between 10년 then '1'
when 컬럼2 between 10년 and 15년 then '2'

이렇게 변동값을 그룹으로 한정해버리고 쿼리 추출!!

쿼리는 항상 너무 어렵다 ㅠㅠ

Posted by 知彼知己百戰不殆
,

왜 프레임워크를 안 쓰는지 모르겠으나 ㅠㅠ 쌩 java로만 돌리는 환경.
대량 조회 하는 SQL을 thread까지 사용해서 동시에 돌리니 기존에 잘 돌아가던 쿼리도 executeQuery 부분에서 OutOfMemory가 발생함ㅠㅠ

생각한 해결책
1. executeQuery의 Fetch Size 조절(현재는 40,000건씩 fetch)
2. mybatis 프레임워크 도입(Spring을 이용한 mybatis 정보는 상당히 많음 ㅠㅠ)

일단 급한 불부터 꺼야 했기에 1번 해결책으로 Fetch 사이즈를 조절해보았다. 10,000건으로 줄여보았는데도 똑같이 Heap space 에러가 발생하였다. 근데 default fetch를 쓰자니 10건씩이고...10배만 늘리자 타협하여 100건씩 fetch하니 일단은 잘 돌아간다.
하지만, 지금까지 대량건 조회는 Spring에서 rowhandler를 써왔기에 java 코드 안에 SQL이 들어가 있어서 관리하기도 불편해서 이번 기회에 java mybatis without Spring 을 도입해보기로 했다.

오류 내용
- AbstractMethodError : Method oracle/jdbc/driver/OracleResultSetImpl.isClosed()Z is abstract
Exception in thread "main" java.lang.AbstractMethodError: Method oracle/jdbc/driver/OracleResultSetImpl.isClosed()Z is abstract
        at oracle.jdbc.driver.OracleResultSetImpl.isClosed(OracleResultSetImpl.java)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:497)
        at org.apache.ibatis.logging.jdbc.ResultSetLogger.invoke(ResultSetLogger.java:68)
        at cohttp://m.sun.proxy.$Proxy2.isClosed(Unknown Source)
        at org.apache.ibatis.executor.resultset.DefaultResultSetHandler.handleRowValuesForSimpleResultMap(DefaultResultSetHandler.java:364)
        at org.apache.ibatis.executor.resultset.DefaultResultSetHandler.handleRowValues(DefaultResultSetHandler.java:337)
        at org.apache.ibatis.executor.resultset.DefaultResultSetHandler.handleResultSet(DefaultResultSetHandler.java:310)
        at org.apache.ibatis.executor.resultset.DefaultResultSetHandler.handleResultSets(DefaultResultSetHandler.java:202)
        at org.apache.ibatis.executor.statement.PreparedStatementHandler.query(PreparedStatementHandler.java:66)
        at org.apache.ibatis.executor.statement.RoutingStatementHandler.query(RoutingStatementHandler.java:80)
        at org.apache.ibatis.executor.SimpleExecutor.doQuery(SimpleExecutor.java:65)
        at org.apache.ibatis.executor.BaseExecutor.queryFromDatabase(BaseExecutor.java:336)
        at org.apache.ibatis.executor.BaseExecutor.query(BaseExecutor.java:158)
        at org.apache.ibatis.executor.CachingExecutor.query(CachingExecutor.java:110)
        at org.apache.ibatis.executor.CachingExecutor.query(CachingExecutor.java:90)
        at org.apache.ibatis.session.defaults.DefaultSqlSession.selectList(DefaultSqlSession.java:154)
        at org.apache.ibatis.session.defaults.DefaultSqlSession.selectList(DefaultSqlSession.java:147)
        at org.apache.ibatis.session.defaults.DefaultSqlSession.selectList(DefaultSqlSession.java:142)
        at org.apache.ibatis.session.defaults.DefaultSqlSession.selectOne(DefaultSqlSession.java:75)
        at org.apache.ibatis.session.defaults.DefaultSqlSession.selectOne(DefaultSqlSession.java:69)
        at dao.(~~~~~). (~~~~~) ( (~~~~~) .java:9)
        at logic.Main.main(Main.java:74)

구글링 해보니 ojdbc 버전이 안 맞아서 발생하는 오류라는 것 확인. Oracle 홈페이지에 들어가 현재 업무 환경에 맞는 jdbc는 ojdbc6.jar란 것을 확인. ㅡㅡ 시스템은 개판이면서 현재 ojdbc14를 사용 중
출처: https://www.oracle.com/database/technologies/faq-jdbc.html

 

Oracle JDBC Frequently Asked Questions

For byte data, there are three Oracle SQL types: VARCHAR2, LONG and CLOB. VARCHAR2 data is of limited length, is stored directly in a column, and is transmitted to the server in inline packets. LONG data has a much larger limit (2 Gigibytes), is stored via

www.oracle.com

https://mvnrepository.com/artifact/com.oracle.database.jdbc/ojdbc6/11.2.0.4

메이븐 리포지토리에 들어가 ojdbc6.jar 다운로드 후 jar파일 적용하니 mybatis로 쿼리가 동작한다!
(처음부터 rowhandler를 만들면서 테스트 하기엔 무리라고 판단되어 정말 간단한 select 1 from dual 쿼리로 조회)

File list
1. xml 패키지 밑에 mybatis-config.xml (원하는 이름으로 해도 되는지는 추후 확인 필요)
2. sqlMappers 패키지 밑에 "원하는이름"-mapper.xml (SQL 작성 파일)
3. database 패키지 밑에 "원하는이름" .java (getSqlSession() 메소드 존재)
4. dao 패키지 밑에 "원하는이름" .java(mapper id로 쿼리 실행)

to-do : 추후 정보 제거한 핵심만 간추린 소스 업로드

Posted by 知彼知己百戰不殆
,

A조건 : 건수
B조건 : 건수
C조건 : 건수

위와 같이 각 조건별로 건수를 한 방에 출력하고 싶을 때 

select count(case when ~~~~ then 1 end ) as column1
        , count(case when ~~~~ then 1 end ) as column2  
        , count(case when ~~~~ then 1 end ) as column3
  from 테이블명

Posted by 知彼知己百戰不殆
,