AmiBroker DSE, CSE ইমপোর্ট টুল 14 পাতা থেকে পাতা 4

প্রথমত আপনাকে ডাটার জন্য SEC r সাথে চুক্তি করতে হবে ডাটা নেওয়ার জন্য। আমরা ট্রেড করি T+3 তার মানে ডে ট্রেডিং নেই। তাই কতো লোক জয়েন করবে বলা মুসকিল।

মোটামুটি ২০০-৩০০ লোক তো করে বেশী ও  হতে পারে। অমিব্রোকার আপনলাইনে গেলে ক্রাক কপি কাজ করে না। তার মানে অরিজিনাল অমিব্রোকার ও কিনতে হবে।

এতোদিন মানুষ ফ্রি ই এইসব টুল পেয়ে আসছে । আমি কোয়ালিটি সার্ভিসের জন্য খরচ করতে রাজি আছি, হয়তো আরো অনেকেই আছে।

ধুর, তাইলে কাম নাই। কিছুদিন আগেই এক সরকারী অফিসে সাধারণ ১০ মিনিটের একটা কাজের জন্য ৪ দিন ধরে ঘুরতে হইছিলো, প্রত্যেকদিন গেলে বলে অমুক দরখাস্ত লাগবে কালকে আসেন, আজকে ছার আসেন নাই, কালকে সকালে ১১ টার আগে আসেন, আবার ছার থাকলেও উনি ব্যস্ত আছেন, অপেক্ষা করেন, অপেক্ষা করার পরে আজকে তো অফিস টাইম শেষ হইতে বেশি বাকি নাই, কালকে আসেন....  আগামী ১০ বছর কোনো সরকারী প্রতিষ্ঠানে পদধূলি দেওয়ার আপাতত: খায়েশ নাই।

তবে ডিএসই-র সাথে রেজিস্টার্ড ব্রোকারেজ ফার্ম তো অনেক আছে - এদের কারো কাছ থেকে রিয়েলটাইম ডেটাফীড নেবার ব্যবস্থা করা যায় না? রিয়েলটাইম দেয় এইরকম কিছু ফার্মের এ্যাড্রেস থাকলে শেয়ার করেন (আমি অলরেডী একটাতে এ্যাকাউন্ট করে ফেলেছি - তবে রিয়েলটাইম কিনা বুঝতেছি না। আগামীকাল ট্রেডিং আওয়ারে আবার ঢুকে দেখবো)।

T+3 কেন বলছেন? আমার ঘড়িতে সময় এখন ১৮:২২, আর ডিএসইর latest_share_price_scroll_l.php-তে লাস্ট আপডেট দেখাচ্ছে ১৭:০৮, আর ব্রোকারেজ ফার্মের লাস্ট আপডেট ১৭:২২ - এটা তো T+1 মনে হচ্ছে?  (আগামীকাল অফিসটাইমে আবার ট্রাই করে দেখতে হবে)

হ্যাঁ, নেটে দেখলাম এ্যামিকোট চালাইতে গেলে নাকি শশী শেঠী বাবুর শঠে শাঠ্যং হয়ে যায়!  তবে ab-কে অনলাইনে নেওয়ার দরকার নাই - আমরা এখন যেটা ডেভেলপ করছি ঐটা দিয়েও মনে হয় রিয়েলটাইম ইমপোর্ট করা যাবে।

ডেটার জন্য এস ই সি -র সাথে চুক্তি করা লাগবে কেন? আমরা তো ওদের সাইট থেকে নেব, এবং নিচ্ছি।

ইনভারব্রাস ভাই যে আইডিয়ার কথা বললেন সেটা ইতিমধ্যে আমরা ভেবেছি এবং এ ব্যপারে সারিম ভাইও জানেন, মামুন ভাই ও সারিম ভাইয়ের মধ্যে ইমেইলে আলাপ হয়েছে। এটা সম্ভব,  তবে টাকা খরচ করা লাগবে।

শশী সেঠীর সাথে এমিকোটের সমস্যা আছে। আমরা যে পথে কাজ করব সেটাও  ইনটারনেটের মাধ্যমে হবে, কিন্তু এই পথে সেই সমস্যাটা হবে কিনা এখনো জানি না। উল্লেখ্য, আমরা কুইকপপ ইউজ করি কোনো সমস্যা ছাড়াই, যদিও সেখানে নেট কানেকশন লাগে। সুতরাং আমার ধারনা, সমস্যা হবেনা। শুধু এমিকোট ইউজ করলে 'ক্র্যাক ভার্শন' ক্র্যাক করে। এমিব্রোকার অথরিটি বোধ হয় শুধু এই লাইনটাই চেক করে থাকে।

একটু আগে যে ব্রোকারেজ হাউজের ওয়েবসাইটে (সংগত কারণেই নাম উল্লেখ করতেছি না) রেজিস্টার করেছিলাম, ওদের সাইটের কোড একটু ঘাঁটাঘাঁটি করতেছিলাম কিছুক্ষণ ধরে।

সামান্য একটু উনিশবিশ করার পরেই দেখি:

এরর মেসেজ দেখে স্পষ্ট বোঝা যাচ্ছে সামান্য একটু চালাকি করলেই (SQL injection) ওদের পুরা সাইটের ডেটাবেইজ ওয়াইপ করে দেওয়া সম্ভব! অথবা আরো চালাক হইলে শেয়ার প্রাইসগুলো ম্যানিপুলেট করা যাবে।

দেশে তো প্রফেশনাল পিএইচপি ডেভেলপারের অভাব নাই। কিন্তু ফাইনান্শিয়াল সেক্টরের মত গুরুত্বপূর্ণ জায়গায় এরা কেন যে এ্যামেচার (তাও আবার যেই সেই এ্যামেচার না, একেবারে ভোদাই লেভেলের এ্যামেচার) দিয়ে কাজ করায়?

ডিএসইর সাইটেও যদি এইরকম বিশাল সিকিউরিটি হোল থেকে থাকে তাইলে তো কাম সারছে - কিছু লোক রাতারাতি "রাজু বন গয়া ক্রোড়পতি" হয়ে যাইতে পারবে! 

যাকগে, আমি এই লাইনের মানুষ না। অন্য সাইট খুঁজি গিয়া... এই ধরণের সাইটের উপর ভরসা করা যায়না 

আর এমনিতেও এই সাইটটাতে রিয়েলটাইম ফীড নাই মনে হইতেছে। পেইজের হেডিং-এ অবশ্য "রিয়েল টাইম" শব্দটা লিখে রাখছে, পেইজের তলায়ও বিরাট ওয়াজ নসিহত করছে রিয়েলটাইমের ফযিলত সম্পর্কে - কিন্তু আপডেট টাইম দেখাইতেছে T+1। (নাকি এরা এখনো গত বছরের ডিএসটি নিয়ে পড়ে পড়ে ঘুমাইতেছে কে জানে?)

নাসিম ভাইয়ের এক্সেল শীটটা দেখছি - কিন্তু CPVL আর NVL-এর ব্যাপার ঠিক বুঝলাম না।
উনার স্প্রেডশীটে এই ফর্মূলা ব্যবহার করছেন:

NVL = Volume - CPVL

এই কলামগুলো ঠিক কি বোঝাচ্ছে?

হুমম, ডিএসই-র এই ডকুমেন্ট থেকে কিছু তথ্য পেলাম: http://dse.com.bd/dse_automation.php

ডিএসই-র ব্যাকঅফিস সাপোর্ট বেশ সলিড বলে মনে হচ্ছে।

যাকগে, প্রাথমিকভাবে আমাদের ডাইরেক্ট TESA এ্যাক্সেস না পেলেও চলবে। (আমরা এমনিতেও ডিএসইবিডির ওয়েবপেইজ থেকে ডেটা কালেক্ট করছি) তার বদলে, কোনো TESA সাবস্ক্রাইবার ব্রোকারেজ হাউজের ওয়েবসাইট স্ক্যান করেও হয়তো এটা করা যেতে পারে।

তবে রিলায়েবল এবং স্টেবল সার্ভিস দিতে চাইলে অবশ্যই TESA-র মত ডেটা চ্যানেল দরকার হবে - এখন যতগুলো সফটওয়্যার আছে (DDU, DSNAP, এক্সেল) সবগুলোই ডিএসই-র ওয়েবপেইজ থেকে ডেটা কালেক্ট করছে। এটা যে error-prone প্রসেস শুধু তাই না, ডেটার পিউরিটিও নষ্ট হবার সম্ভাবনা আছে।

কিছু বিদেশী ফাইনান্শিয়াল কোড ঘাটঁলাম - সবগুলোই high precision ডেটা নিয়ে কাজ করছে (high precision মানে দশমিকের পরে অনেকগুলো সংখ্যা, যেমন 1234.0123456789) ডিএসই-র হিস্টোরিকাল ডেটায় দশমিকের পরে দুইয়ের বেশি ডিজিট আছে এমন কোনো ফিগার পেলাম না। হতে পারে ট্রেডিং-এর জন্য ২ ডিজিটের বেশি প্রেসিশন দরকার নাই। আবার এমনও হতে পারে যে এ্যাকচুয়াল ফিগারটা হাই-প্রেসিশন (দশমিকের পরে অনেকগুলো ডিজিট), কিন্তু ডিএসই-র ওয়েবসাইটে ২ ডিজিটে রাউন্ডিং করে দেখাচ্ছে? এই ক্ষেত্রে তো কিছু ডেটা লস হয়ে যাচ্ছে।

http://www.dsebd.org/latest_share_price_scroll_l.php থেকে ডাটা csv তে এক্সপোর্ট করার স্ক্র্যাপার এখানে বানালাম:
http://dsecse.latest.nsmgr8.appspot.com/
। এটা শুধু সিএসভি ফরম্যাটে ডাটা ডাউনলোড করার জন্য, আর কিছু নয়। উল্লেখ্য, এখানে VOLUME = 0 ডাটাসমূহ বাদ দেয়া হয়েছে। এখানে এক মিনিট পরপর ডাটা আপডেট হবে। অবশ্য আমি জানি না, মূল সাইটে কতক্ষণ পরপর ডাটা আপডেট হয়। এই সাইটে কোন প্রকার ডাটা সংরক্ষণ করা হয় নাই। তবে সংরক্ষণ করার পরিকল্পনা আছে, যদি না আইনগত কোন বাধা না থাকে।

সাইটের সোর্সকোড পাওয়া যাবে এখানে -
http://github.com/nsmgr8/dsexporter

তারিখটা কিভাবে দেয়া হবে, সেটা নিয়ে সন্দিহান। তাই দেয়া হয়নি। এই ডাটাগুলো কতক্ষণ পরপর আপডেট হয় জানি না। ইনভারব্রাস আর সারিমের আউটপুট থেকে দেখা যাচ্ছে শুধু তারিখ দেয়া, কোন সময় নেই। তারমানে কি এটা এক দিন বা ২৪ ঘন্টা পরপর আপডেট হয়?

ডেস্কটপ প্রোগ্রামারদের কাজ সহজ করার জন্য এই সার্ভিস বানানো হয়েছে। ডেস্কটপ প্রোগ্রামাররা যাতে সহজেই ডাটা পায় এখান থেকে। মূলত এটা ঐ কুৎসিত এইচটিএমএল যাতে পার্স করতে না হয়, সেকারণে বানানো হয়েছে। এই সার্ভিস কোনকিছু সম্পর্কে কিছুই জানে না। এটা শুধুমাত্র এইচটিএমএল-কে সিএসভি বানায়।

@স্বপ্নচারী
অনেক ধন্যবাদ।
আসলে আমিও ভাবছিলাম ওয়েব বেসড প্রসেসিং করার জন্য।
http://www.dsebd.org/latest_share_price_all.php
এটা থেকে পার্স করতে খুব একটা সমস্যা হচ্ছে না। এটার html খুব একটা ভাংগা না।

dse হোম পেজ নিয়েই যত সমস্যা।

আর উবুন্টুতে amibroker এ অটোফিড দেয়ার জন্য আমাদের কাজ করতে হবে।
আমি এই বিষয়ে কাজ শুরুই করেছিলাম এই জন্য। মাজহার ভাই মিন্ট চালাবেন কিন্তু মিন্টে আগের সফট গুলা চলত না।

@invarbass
আপনি amibroker এর সাথে কমিউনিকেশন করছেন কিভাবে ? কমান্ড লাইন এ আরগুমেন্ট দিয়ে না রেজিস্টিতে অক্সেস করে নাকি অন্য কোন প্রোটোকল দিয়ে? ১,২ হলে ওয়াইনে করা যাবে কিন্তু ....................