সর্বশেষ সম্পাদনা করেছেন invarbrass (০৫-০৩-২০১০ ১২:১৫)

টপিকঃ PyDSnap - ওপেনসোর্স ঢাকা/চিটাগং স্টক এক্সচেন্জ ডেটা ক্যাপচার স্ক্রিপ্ট

dsnap, ddu, ddd, stock exchange, DSE, CSE, share market, bangladesh, trading, intraday

                 
                  --=[ PyDSnap ]=--


Announcing PyDSnap: an opensource, x-platform stock price snapshot capture tool, written in python (geared towards Bangladeshi trader community)! dancing

This application is hereby released under the 3 clause "new BSD" license.
Portions Copyright (c) 2010, M Nasimul Haque
Portions Copyright (c) 2010 invarBrass
All rights reserved.

PyDSnap running in Linux:
http://g.imagehost.org/0578/pydsnap3.png

PyDSnap running in Windows:
http://i.imagehost.org/0906/pydsnapwin.png

PyDSnap running in Mac:
http://img69.imageshack.us/img69/6064/screenshot20100227at010.png

PyDSnap program options:
http://g.imagehost.org/0506/pydsnaphelp.png

PyDSnap raw CSV output in Linux:
http://g.imagehost.org/0791/pydsnapcsv.png

PyDSnap output imported into Excel:
http://g.imagehost.org/0610/pydsnapcsvw.png

PyDSnap CSV output imported into OpenOffice.org Calc (Courtesy of Sarim Khan):
http://img651.imageshack.us/img651/7439/oocalc.png

PyDSnap output imported into Excel:
http://img69.imageshack.us/img69/7800/screenshot20100227at010i.png

Imported into AmiBroker:
http://i.imagehost.org/0932/amibroker-pydsnap.png

ডাউনলোড:

http://www.mediafire.com/file/zo1jzhynqmx/pydsnap-0.3.zip
http://rapidshare.com/files/359149910/pydsnap-0.3.zip

এই স্ক্রিপ্টটের মূল পার্সিং কোডবেইজ লিখেছিলেন স্বপ্নচারী ভাই। আমি উনার ওয়েব-বেইজড গুগল এ্যাপ-এন্জিন স্ক্রিপ্টটাকে এক্সটেন্সিভলী রিফ্যাক্টর করে লোকাল কম্পিউটারে স্ট্যান্ড-এ্যালোন হিসাবে ব্যবহার উপযোগী করেছি (এছাড়া কিছু নতুন ফীচার যোগ করেছি)। তবে কোর কোডটার কৃতিত্ব স্বপ্নচারী ভাইয়ের  clap (উনার অনুমতি না নিয়েই কাজটা শুরু করে দিয়েছিলাম, যোগাযোগ করেছিলাম কাজ শেষ হবার পরে tongue)
স্বপ্নচারী ভাইয়ের গিটহাব প্রোযেক্ট: http://github.com/nsmgr8/dsexporter

স্ক্রিপ্টটি তৈরী করা হয়েছে পাইথনে। উইন্ডোজে চালানোর জন্য পাইথন ইন্টার্প্রেটার ভার্সন 2.6.x লাগবে। (*খেয়াল করুন - এটা পাইথন ৩-তে চলবে না, ২.৫ বা ২.৬ লাগবে)। পাইথন ডাউনলোড করতে পারেন এখান থেকে:

http://www.activestate.com/
http://python.org/

যিপ আর্কাইভটি যে ফোল্ডারে এক্সট্র্যাক্ট করবেন, সেখানে csv নামে একটি ফোল্ডার তৈরী হবে। প্রোগ্রামটি চালানোর পর সব সিএসভি আউটপুট ওই ফোল্ডারে জমা হবে।

লিনাক্সে chmod +x dsnap.py কমান্ড দিয়ে dsnap.py ফাইলটিকে এক্সিকিউটেবল করে নিতে হবে, এরপর সরাসরি কমান্ড লাইনে dsnap.py দিলেই রান করা যাবে।

উইন্ডোজে রান করা নির্ভর করছে আপনার মেশিনে পাইথন কিভাবে ইনস্টল করা আছে। যদি *.py ফাইল পাইথন ইন্টারপ্রেটারের সাথে রেজিস্টার হয়ে থাকে তাহলে ডস প্রম্পটে সরাসরি dsnap.py লিখলেই রান করবে।
এভাবে কাজ না করলে, আলাদা করে পাইথন কল করতে হবে:

python.exe dsnap.py

এটাও যদি কাজ না করে তাহলে:

C:\পাইথন_ইনস্টলেশন_ফোল্ডার\python.exe dsnap.py

৩য় ছবিটি দেখে বুঝতে পারছেন বেশ কিছু অপশন দিয়ে প্রোগ্রামটি মডিফাই করা যায়।

-c এই অপশনটি দিলে সিএসই-র ডেটা ক্যাপচার করবে। (ডিফল্ট: শুধু ডিএসই-র ডেটা ক্যাপচার করবে)। ২য় ছবিটি দেখুন - এখানে সিএসইর স্ন্যাপশট নেয়া হচ্ছে।

-f এই অপশন দিয়ে আপনি নিজের পছন্দের ফাইলে সিএসভি আউটপুট সেইভ করতে পারবেন (ডিফল্ট: csv ফোল্ডারের মধ্যে অটোমেটিকালী ফাইল তৈরী করবে)
যেমন:

dsnap.py -f myfile.csv

-e সিএসভি আউটপুটে টাইটেল রো (হেডার) যোগ করবে। এ্যামীব্রোকারের জন্য এটা দেবার দরকার নাই, তবে এক্সেলে দেখার জন্য এই অপশন দিতে পারেন। যেমন, উপরে এক্সেলের স্ক্রীণশটটা খেয়াল করুন। ঐ স্ন্যাপশটটা জেনারেট করা হয়েছে এই কমান্ড দিয়ে:

dsnap.py -c -e -f myfile.csv

-n বাই ডিফল্ট নন-ট্রেডিং কোম্পানী গুলোকে ফিল্টার আউট করা হচ্ছে। এই অপশন দিলে ইনএ্যাক্টিভ কোম্পানীগুলোকে বাদ দেয়া হবে না।

-p এই অপশন দিলে সিএসভির আউটপুট স্ক্রীণে দেখাবে।

একই সফটওয়্যার-এর গ্রাফিকাল ভার্সন জাভা দিয়ে তৈরী করেছেন সারিম ভাই। তাঁর Java-DSnap টুলের জন্য দেখুন:
http://forum.projanmo.com/topic15089.html

Calm... like a bomb.

Re: PyDSnap - ওপেনসোর্স ঢাকা/চিটাগং স্টক এক্সচেন্জ ডেটা ক্যাপচার স্ক্রিপ্ট

শেয়ার বাজারের ব্যাপারটাই বুঝিনা। sad

Feed থেকে ফোরাম সিগনেচার, imgsign.com
ব্লগ: shiplu.mokadd.im
মুখে তুলে কেউ খাইয়ে দেবে না। নিজের হাতেই সেটা করতে হবে।

শিপলু'এর ওয়েবসাইট

লেখাটি GPL v3 এর অধীনে প্রকাশিত

সর্বশেষ সম্পাদনা করেছেন sohoj (২৭-০২-২০১০ ০৯:৪৬)

Re: PyDSnap - ওপেনসোর্স ঢাকা/চিটাগং স্টক এক্সচেন্জ ডেটা ক্যাপচার স্ক্রিপ্ট

শিপলু লিখেছেন:

শেয়ার বাজারের ব্যাপারটাই বুঝিনা। sad

তেমন কঠিন কিছুনা চাইলেই বুঝতে পারেন

Re: PyDSnap - ওপেনসোর্স ঢাকা/চিটাগং স্টক এক্সচেন্জ ডেটা ক্যাপচার স্ক্রিপ্ট

অনেক ধন্যবাদ। ট্রাই করে দেখি।

লেখাটি GPL v3 এর অধীনে প্রকাশিত

Re: PyDSnap - ওপেনসোর্স ঢাকা/চিটাগং স্টক এক্সচেন্জ ডেটা ক্যাপচার স্ক্রিপ্ট

clap clap clap clap
সুন্দর জিনিস। ধন্যবাদ ইনভার ভাই। সামনে আরো এমন কিছু আবিস্কার করবেন। thumbs_up

Re: PyDSnap - ওপেনসোর্স ঢাকা/চিটাগং স্টক এক্সচেন্জ ডেটা ক্যাপচার স্ক্রিপ্ট

হয়তো আপনার লেভেলে অনেক তথ্য বহুল পোষ্ট, তবে আমার মতো গাধাদের মাথার উপর দিয়াই গেল। ষ্টক একচেন্জের ডাটা ক্যাপচার স্ক্রিপ্ট আমাদের কি কাজে আসবে। আন্দাজেই ধরে নিচ্ছি এটা দিয়ে ওই ষ্টক একচেন্জের ডাটা বেইজ থেকে ডাটা নামিয়ে নিজের পিসিতেই ওদের মত একখান ডাটাবেইজ  হয়ে যাবে, কিন্তু সে আপডেট ক্যামনে হবে, বা সোজা ভাষায় এর আসল ফযিলতটা কি পাব আপরা। এত্তো কষ্ট করে শেখানোর চেষ্টার পরে আমাদের এমন উদ্ভট টাইপের প্রশ্ন শুনে মাইন্ড খাবেননা প্লিজ।

টিপসই দিবার চাই....স্বাক্ষর দিতে পারিনা......

Re: PyDSnap - ওপেনসোর্স ঢাকা/চিটাগং স্টক এক্সচেন্জ ডেটা ক্যাপচার স্ক্রিপ্ট

এটা যারা শেয়ার মার্কেট নিয়ে কাজ করেন তাদের জন্য। এটা আমি লিখেছি, কিন্তু এটা আমার কোন কাজের না। আমি নিজে এটা ব্যবহার করি না। সবাইকে সবকিছু ব্যবহার করতে হয় না। এখানে আরও অনেকে আছেন, যারা এটা ব্যবহার করবেন।

Re: PyDSnap - ওপেনসোর্স ঢাকা/চিটাগং স্টক এক্সচেন্জ ডেটা ক্যাপচার স্ক্রিপ্ট

আজকে ব্যবহার করলাম কিন্তূ একবারের বেশী ডাটা ক্যাপচার হয়না একবার ডাবল ক্লিক করলে। স্বপ্নচারী ভাইয়ের প্রথম কোডটা ভালো ভাবে কাজ করেছিলো

Re: PyDSnap - ওপেনসোর্স ঢাকা/চিটাগং স্টক এক্সচেন্জ ডেটা ক্যাপচার স্ক্রিপ্ট

এটা একবারই ডাউনলোড করবে। আমার আগের স্ক্রিপ্ট বাতিল হয়ে যায়নি। ওটাও চলবে। ওটা আর এটার মধ্যে পার্থক্য হচ্ছে ওটা আমার ওয়েবসাইট থেকে ডাউনলোড করে আর এটা সরাসরি ডিএসই, সিএসই সাইট থেকে ডাউনলোড করে।

তবে ইনভারব্রাস ভাই সিএসই ডাউনলোডে সমস্যা পেয়েছেন। যেখান থেকে ডাটা ডাউনলোড করা হচ্ছে, সেটা সবসময় একই ফরম্যাটে থাকছে না। ফলে সিএসই ডাটা সঠিক নয়।

১০ সর্বশেষ সম্পাদনা করেছেন invarbrass (২৮-০২-২০১০ ১৯:১৯)

Re: PyDSnap - ওপেনসোর্স ঢাকা/চিটাগং স্টক এক্সচেন্জ ডেটা ক্যাপচার স্ক্রিপ্ট

sohoj লিখেছেন:

আজকে ব্যবহার করলাম কিন্তূ একবারের বেশী ডাটা ক্যাপচার হয়না একবার ডাবল ক্লিক করলে। স্বপ্নচারী ভাইয়ের প্রথম কোডটা ভালো ভাবে কাজ করেছিলো

হ্যাঁ, ওটা রান করলে এক বারই ডেটা ক্যাপচার করবে। এখন, আপনার আইডিয়া কাজে লাগিয়ে প্রোগ্রামটা মাল্টিথ্রেডেড করে দিলাম!

এখন প্রতি ১ মিনিট পরপর প্রোগ্রামটা রিপিটেডলী ডেটা ক্যাপচার করতে থাকবে।

-r অপশনের মাধ্যমে রিপিট ইন্টারভাল কাস্টমাইজ করতে পারবেন। ডিফল্ট ইন্টারভ্যাল হলো ১ মিনিট।
যেমন, ৫ মিনিটের ইন্টারভ্যাল চাইলে অপশন হবে: -r 5

নীচের শটে ৩০ সেকেন্ড ইন্টারভ্যাল (০.৫ মিনিট) সেট করা হয়েছে:
http://g.imagehost.org/0578/pydsnap3.png

স্ক্রিপ্টটা বন্ধ করতে চাইলে Ctrl+C চাপতে হবে।

ডাউনলোড লিংক মূল পোস্টে আপডেট করে দিয়েছি।

স্বপ্নচারী ভাই ঠিকই বলেছেন। আজকে টেস্ট করতে গিয়ে অদ্ভূত ব্যাপারটা আবিষ্কার করলাম। এই স্ক্রিপ্ট দিয়ে আপাতত: ট্রেডিং আওয়ারে সিএসই-র ডেটা ক্যাপচার করতে যাবেন না। অফিস টাইমে সিএসই-র পেইজ চেন্জ হয়ে যায় - এরা অনেক ডেটা দেয় না... শুধু Ticker, LTP, YCP, Trades, Vol এইরকম অল্প কয়েকটা কলাম থাকে (Open, High, Low, Close এগুলো বাদ  sad) কাজেই প্রোগ্রামটা মার্কেট রানিং থাকা সময়ে কাজ করবে না। তবে ফ্লোর ক্লোজ হয়ে গেলে এরা পূর্ণ ডেটা দেয় - এখন যেমন স্ক্রিপ্টটা কাজ করছে চমৎকার। এটা ফিক্স করেছিলাম আজকে সকালে, তবে এখানে আর দিলাম না (দরকারী অনেক কলামই নাই)। ভবিষ্যতে আরো ভালো সোর্স পেলে সেখান থেকে ডেটা নেয়া হবে।

স্বপ্নচারী ভাইয়ের মূল স্ক্রিপ্টটা উনার গুগল এ্যাপস্পট সাইট থেকে ডেটা নিচ্ছে - আর এই স্ক্রিপ্টটা সরাসরি ডিএসই/সিএসইর সার্ভার থেকে ডেটা কালেক্ট করছে। গুগলের সার্ভারগুলোর কানেক্টিভিটি গিগাবিট মানের - তাই আগেরটা তূলনামূলকভাবে ফাস্ট মনে হবে।

Calm... like a bomb.

১১

Re: PyDSnap - ওপেনসোর্স ঢাকা/চিটাগং স্টক এক্সচেন্জ ডেটা ক্যাপচার স্ক্রিপ্ট

ধুর মনটাই খারাপ লাগছে আপনারা কিছু চাইলেই করে ফেলতে পারেন আর আমি কিছুই পারিনা। smile smile smile smile crying crying crying crying

অনেক ধন্যবাদ।
thumbs_up thumbs_up thumbs_up
এবার পোর্টফোলিও ম্যানেজার টা বানিয়ে দেন তাহলে আর দোরে দোরে ঘুরতে হবে না। thumbs_up thumbs_up thumbs_up thumbs_up

১২

Re: PyDSnap - ওপেনসোর্স ঢাকা/চিটাগং স্টক এক্সচেন্জ ডেটা ক্যাপচার স্ক্রিপ্ট

আমি অভিভূত।
বিশাল একটা কাজ করেছেন।
ধন্যবাদ এর চাইতে বেশি কিছু আপনাদের পাওনা।

আমি অবশ্য ইনট্রাডে ইউজ করিনা। তবে ভবিষ্যতে হয়ত কাজে লাগাব।

লেখাটি CC by-nc-nd 3. এর অধীনে প্রকাশিত

১৩ সর্বশেষ সম্পাদনা করেছেন আরাফাত (০৫-০৩-২০১০ ১১:৩০)

Re: PyDSnap - ওপেনসোর্স ঢাকা/চিটাগং স্টক এক্সচেন্জ ডেটা ক্যাপচার স্ক্রিপ্ট

আমার কাজে লাগবে। তবে আমি প্রোগ্রামটি রান করতে গিয়ে নিচের এই এরর মেসেজ গুলো দেখতে পাচ্ছি। আমি পাইথনের পি ও পারি না।  hairpull
এই কমান্ড দিয়েছিলাম - $ ./dsnap.py -e

[11:23:25] Retrieving the last update time from DSE index page...
Exception in thread Thread-1:
Traceback (most recent call last):
  File "/usr/lib/python2.6/threading.py", line 525, in __bootstrap_inner
    self.run()
  File "/usr/lib/python2.6/threading.py", line 477, in run
    self.__target(*self.__args, **self.__kwargs)
  File "./dsnap.py", line 338, in thread_func
    handler.process()
  File "./dsnap.py", line 193, in process
    last_update = self._get_last_update_time()
  File "./dsnap.py", line 185, in _get_last_update_time
    tmp = self._RE_DSE_DATE.search(response).group()
AttributeError: 'NoneType' object has no attribute 'group'

আরাফাত রহমান
Web Application Developer
চি‌ৎকার করতে করতে গলাটা ফাইট্টা গেছে (প্রজন্ম ফোরামে)

১৪

Re: PyDSnap - ওপেনসোর্স ঢাকা/চিটাগং স্টক এক্সচেন্জ ডেটা ক্যাপচার স্ক্রিপ্ট

ফিক্স করা হয়েছে। নতুন লিংক:

http://www.mediafire.com/file/zo1jzhynqmx/pydsnap-0.3.zip
http://rapidshare.com/files/359149910/pydsnap-0.3.zip
Calm... like a bomb.

১৫

Re: PyDSnap - ওপেনসোর্স ঢাকা/চিটাগং স্টক এক্সচেন্জ ডেটা ক্যাপচার স্ক্রিপ্ট

ধন্যবাদ এটা কাজ করছে। এবার ভাবছি পাইথন শিখবো।  tongue

আরাফাত রহমান
Web Application Developer
চি‌ৎকার করতে করতে গলাটা ফাইট্টা গেছে (প্রজন্ম ফোরামে)

আরাফাত'এর ওয়েবসাইট

লেখাটি CC by 3.0 এর অধীনে প্রকাশিত

১৬

Re: PyDSnap - ওপেনসোর্স ঢাকা/চিটাগং স্টক এক্সচেন্জ ডেটা ক্যাপচার স্ক্রিপ্ট

ইনভারব্রাস, এখানে থ্রেডিংয়ের প্রয়োজনীয়তাটা বুঝতে পারলাম না।

১৭

Re: PyDSnap - ওপেনসোর্স ঢাকা/চিটাগং স্টক এক্সচেন্জ ডেটা ক্যাপচার স্ক্রিপ্ট

আপনি ঠিকই ধরেছেন।

আমি আসলে একই সাথে ডিএসই এবং সিএসই কনকারেন্টলী ক্যাপচার করার কথা চিন্তা করেছিলাম - এ কারণেই মাল্টিথ্রেডিং-এর দিকে গিয়েছি (প্রতিটি এক্সচেন্জের জন্য ডেডিকেটেড থ্রেড)।

তবে এখন যেহেতু সিএসই-র রিয়েলটাইম ডেটা ক্যাপচার করা যাচ্ছেনা, শুধু ডিএসই-র জন্য থ্রেডিং-এর উপযোগীতা তেমন একটা নেই। সিম্পল লুপিং করলেও চলবে।

Calm... like a bomb.

১৮

Re: PyDSnap - ওপেনসোর্স ঢাকা/চিটাগং স্টক এক্সচেন্জ ডেটা ক্যাপচার স্ক্রিপ্ট

এই লিংকটা দেখেন যারা প্লাগ ইন বানাতে চান

http://amibroker.codeplex.com/

http://amibroker.codeplex.com/SourceCon … iew/46748#
বাংলাদেশের এক কোম্পানী ও বানিয়েছে

http://www.stockbangladesh.com/ami_brok … plugin.php

১৯

Re: PyDSnap - ওপেনসোর্স ঢাকা/চিটাগং স্টক এক্সচেন্জ ডেটা ক্যাপচার স্ক্রিপ্ট

ইনভারব্রাস ,সারীম্‌ ,মাজহার,স্বপ্নচারী ভাই সবাই কে প্রচেস্টা ও সাফল্যে ধন্যবাদ ও শুভেচ্ছা ।

- ডিজ্যুস মুক্ত তারুন্য

২০

Re: PyDSnap - ওপেনসোর্স ঢাকা/চিটাগং স্টক এক্সচেন্জ ডেটা ক্যাপচার স্ক্রিপ্ট

sohoj লিখেছেন:

ধুর মনটাই খারাপ লাগছে আপনারা কিছু চাইলেই করে ফেলতে পারেন আর আমি কিছুই পারিনা। smile smile smile smile crying crying crying crying

অনেক ধন্যবাদ।
thumbs_up thumbs_up thumbs_up
এবার পোর্টফোলিও ম্যানেজার টা বানিয়ে দেন তাহলে আর দোরে দোরে ঘুরতে হবে না। thumbs_up thumbs_up thumbs_up thumbs_up

vai sobai sob kisu pare na para thiko na amio kisu pari na .sobai jodi sob pare tahole er mormo/sharthokota kara bujbe.amar ekta dream sob vaia like mrtq13,invarbass,majsis, ei rokom jara ase eder sobai re nia ekta ek platform like corporate unite koira bastobe dekhte.sobar proti hats of