본문 바로가기

반응형
SMALL

Software

(58)
[Data processing]- Bayesian Bootstrap Method Bayesian Bootstrap Bayesian Theorem - Bayesian Statistic은 일반적인 Statistic 과 가장큰 차이가 Population을 미리 확정하지 않는 점이 가장 큰 차이점이다. 즉 Bayesian Theorem은 이전의 경험과 현재의 증거를 토대로 어떤 사건의 확률을 추론하는 과정이다. 새로운 정보를 토대로 어떤 사건이 발생했다는 주장에 대한 신뢰도를 갱신해 나가는 방식으로 베이지안 관점의 통계학에서는 사전 확률과 같은 경험에 기반한 선험적인, 혹은 불확실성을 내포하는 수치를 기반으로 하고, 거기에 추가 정보를 바탕으로 사전확률을 갱신하게 된다. P(H) ; H의 사전 확률 ( prior probablistic , 과거의 경험적 확률 ) P(D|H) ; 사건 H가 ..
[Data processing]Bootstrapping /Compiler/ Statistic/ ML 관점의 정리 Introduce : What's the bootstrapping Density Forecasting for Long-Term Peak Electricity Demand 및 Constructing Probabilistic Load Forecast From Multiple Point Forecast: A Bootstrap Based Approach 의 논문을 보면 Bootstrapping 기법이 소개 되었다. 신호처리 관점에서 Sampling을 학부및 대학원과정에서 다루어 보았지만 다시한번 복귀하는 차원으로 검색을 해보았다. BootStarp은 일반적으로 Random sampling with replacement에 기반한 통계 검증과 추정을 의미한다. 특정 통계량(추정량)의 분포를 구하기 위해, 관측된 R..
[interpolation] - Spline method 이번 포스팅에서는 리뷰했던 논문 Density Forecasting for Long-Term Peak Electricity Demand 에서 나왔던 Spline에 대해 다루어 보고자한다. Spline 이란 ? 스플라인 곡선(spline curve)은 주어진 복수의 제어점을 통과하는 부드러운 곡선으로, 인접한 두 점 사이에의 구간마다 별도의 다항식을 이용해 곡선을 정의한다고 정의한다. n차 Spline Curve을 이용하면 n차 다항식을 의미하게되고 일반적으로 Spline curve는 3차 곡선을 이용한 보간법(interpolation) 으로 자주 이용되게된다. 여기서 polynomial interpolation은 한번에 모든 데이터를 사용하여 Curve를 생성하게 되지만 Spline interpolati..
[Data PreProcessing]TimeSeries-Smoothing 기법 정리 Terminology Timse Series(시계열) ; 동일한 간격의 연속적인 일련의 시간(연속적인)동안 취한 데이터 시퀀스. Level ; 시계열 데이터의 평균값. Trend ; 시계열 데이터의 증 감 추세 Seasonality ; 시계열 데이터에서 반복되는 단기적인 주기성 cycle. Symbol discription X Observation S Smoothing observation B Trend factor C Seasonal index F The forecast at m periods ahead α Data smoothing factor α ∈ ( 0, 1 ) β Trend smooothing factor β ∈ ( 0,1) γ Seasonal change smoothing factor γ ∈..
[모델 성능지표& Python 코드] Regression - 성능 측정 지표 총정리 머신러닝은 데이터 가공/변환 , 모델 학습/ 예측 그리고 평가의 프로세스로 구성된다. 즉 머신러닝 및 딥러닝 그리고 데이터 모델에대한 최종적인 평가는 성능지표를 통하여 판단하게 된다. 이 이야기는 센서 혹은 여러 비정형 정형데이터를 피나는 노력으로 수집, 전처리, 모델링까지 진행하였다고 하더라도 모델에 대한 평가 지표를 알지못하거나 지표수치가 낮은 수치를 획득하게 된다면 삽질을 하는 순간이 된다. 따라서 논문에 나오는 주요 지표 및 분야별 모델에 대한 성능 지표에 대해 정리해보고자한다. 1. 지표 분류 지표는 주로 regression, classfication, unsupervised models , other로 나누었고 각 파트별로 지표에대한 수식과 그래프적 이유를 설명하고자 한다. regression..
공룡책 - 운영체제 정리4.1 본 게시물은 Abraham Silberschatz의 Operating System Concepts 공룡책을 참고하며 개인적으로 공부 및 정리한 자료입니다. 1.메인메모리 2.가상메모리 3.저장시스템 가상메모리 Virtual Memory 일반적으로 한 시스템의 다수의 프로세스들은 CPU와 메인 메모리를 공유하게된다. CPU를 공유하는 부분에 있어 작업 부하로 인해 Wait시간이 길어질 뿐 심각한 이슈는 발생하지 않지만 메모리의 여유가 없이 지나치게 많은 Request가 발생할경우 . 머신상 오류가 나게 된다. 이러한 이슈를 해결하기 위해 메모리 관리기법으로 가상메모리 방법이 등장하게 되었다. 가상메모리는 메모리 관리 기법중에 하나로 , 머신에서 실제 사용하는 자원을 이상적으로 추상화하여 프로그램에 실제 메..
[Paper - Review& Summary ]Density Forecasting for Long-Term Peak Electricity Demand 논문 리뷰 및 정리 그리고 구현을 시작하기에 앞서... 스마트 그리드 시스템( 하드웨어적 해결법과 소프트웨어적 해결법이 공존하지만 그중 전력량 예측 기법을 이야기하자면)은 에너지 관점에서 본다면 통신인프라 및 전력데이터 수집 통신 인프라를 통해 수집된 빅데이터와 계절성, 인적데이터의 상관관계를 토대로 상용화 할 수 있는 효율적인 에너지 예측 모델이 도출 된다면 산업적, 경제적으로 큰 가치를 가지는 미래 기술이라 생각한다. 또한 스마트 그리드 내의 장기간 시간구간동안의 에너지 수요예측기술은 새로운 인프라 ( 전력과 통신 그리고 기반시설)에 있어 매우 필요한 알고리즘문제라고 생각한다. 왜냐하면 만약 장기간의 에너지 예측결과가 실제 수요보다 크게 평가 된다면 에너지 과생산 문제로 인하여 투비 및 생산과정에 있..
[C++] STL - Vector 정리 2021.12.24 - [programming/C++] - [C++] STL Container 특징 과 String class [C++] STL Container 특징 과 String class STL(Standard Template Librate ) 란 ? C++ 템플릿을 이용한 표준으로 정리된 라이브러리로 구성요소로 반복자, 컨테이너, 알고리즘을 3가지 구성요소로 가지고있다. ** string 은 c++ 표준라이브러리로 STL에 hofe-rnd.tistory.com 2021.12.27 - [programming/C++] - [C++] STL - Array 정리 [C++] STL - Array 정리 2021.12.24 - [programming/C++] - [C++] STL Container 특징 과 ..
[C++] STL - Array 정리 2021.12.24 - [programming/C++] - [C++] STL Container 특징 과 String class [C++] STL Container 특징 과 String class STL(Standard Template Librate ) 란 ? C++ 템플릿을 이용한 표준으로 정리된 라이브러리로 구성요소로 반복자, 컨테이너, 알고리즘을 3가지 구성요소로 가지고있다. ** string 은 c++ 표준라이브러리로 STL에 hofe-rnd.tistory.com Array란? c++에 내장되어있는 고정 배열(Fixed Array)를 대체 할 수 있는 고정 길이 자료구조 Container이다. [ 즉 함수에 전달시 포인터로 형 변환되지 않는 고정 길이 배열 이다 ] std::array 크기가 고정이..
[C++] String class 2021.12.24 - [programming/Language] - [C++] STL Container 특징 과 String class [C++] STL Container 특징 과 String class STL(Standard Template Librate ) 란 ? C++ 템플릿을 이용한 표준으로 정리된 라이브러리로 구성요소로 반복자, 컨테이너, 알고리즘을 3가지 구성요소로 가지고있다. ** string 은 c++ 표준라이브러리로 STL에 hofe-rnd.tistory.com STL에 대하여 전체적으로 정리를 했으니 이제 전체 내용의 한요소요소를 뜯어보고자 한다 STL Container와 다르지만 문자열 처리에 필요한 String class에 대해 먼저 기술한 이후 차근차근 STL Container 요..

반응형
LIST